原创 Spark作業基於Yarn模式提交File file:/tmp/spark- /__spark_libs__.zip does not exist
基於Yarn模式下spark作業執行遇到的問題 1.spark作業提交腳本 #!/bin/sh /home/hadoop/spark-2.1-hadoop2.6/bin
2020-05-25 16:43:40
4
原创 基於Contos7.X+CDH6.2.0大數據平臺搭建(下)
目錄 一、CDH6.2.0 啓動 二、CDH6.2.0 初始化 三、CDH6.2.0集羣安裝 一、CDH6.2.0 啓動 主節點啓動CM服務： [root@cdh01 ~]# systemctl start cloudera-scm
2020-04-21 03:53:12
原创 HIVE 開窗函數
在開窗函數出現之前，存在着很多用 SQL 語句很難解決的問題，很多都要通過複雜的相關子查詢或者存儲過程來完成。爲了解決這些問題，在2003年ISO SQL標準加入了開窗函數，開窗函數的使用使得這些經典的難題可以被輕鬆的解決 ; SQL標準
2020-04-19 05:52:06
原创 機器學習分類算法 SVM-支持向量
1. 支持向量 1.1 線性可分 首先我們先來了解下什麼是線性可分 樣本中距離超平面最近的一些點，這些點叫做支持向量。 複習下函數和向量 假如有個方程 y=x/2-1可以變化爲 -
2020-04-14 11:00:45
原创 今日頭條的推薦算法原理分析(轉)
今日頭條發佈了後臺的算法原理，不過用詞比較考究、說的比較深奧，讓人感覺雲裏霧裏不知何處，本篇儘量用通俗語言進行解析，希望對大家有所幫助。 1、【原文】今日頭條算法推薦系統，主要輸入三個維度的變量。一是內容特徵，圖文、視頻、UGC小視頻、問
2020-04-14 11:00:45
原创 相似度計算方法(三) 餘弦相似度
一. 餘弦相似度算法基本概念 餘弦相似度算法：一個向量空間中兩個向量夾角間的餘弦值作爲衡量兩個個體之間差異的大小，餘弦值接近1，夾角趨於0，表明兩個向量越相似，餘弦值接近於0，夾角趨於90度，表明兩個向量越不相似。 二.
2020-04-14 11:00:45
原创 推薦系統-協同過濾推薦
一、協同過濾推薦概述 協同過濾(Collaborative Filtering)作爲推薦算法中最經典的類型，包括在線的協同和離線的過濾兩部分。所謂在線協同，就是通過在線數據找到用戶可能喜歡的物品，而離線過濾，則是過濾掉一些不值得推薦的數據
2020-04-14 11:00:45
原创 相似度計算方法(二) 歐幾里德距離相似度
1. 歐幾里德距離的相似度計算 歐幾里德距離計算相似度是所有相似度計算裏面最簡單、最易理解的方法。它以經過人們一致評價的物品爲座標軸，然後將參與評價的人繪製到座標系上，並計算他們彼此之間的直線距離。 圖中用戶A和用戶B
2020-04-14 11:00:45
9
原创 機器學習分類算法 邏輯迴歸分類算法與梯度上升算法
邏輯迴歸算法原理 https://www.jianshu.com/p/eab7c1aee6ea https://blog.csdn.net/kun_csdn/article/details/88876524 https://www.cnb
2020-04-14 11:00:45
原创 相似度計算方法(一) 皮爾森相關係數
皮爾森（pearson）相關係數 1. 相關係數： 考察兩個事物（在數據裏我們稱之爲變量）之間的相關程度。如果有兩個變量：X、Y，最終計算出的相關係數的含義可以有如下理解： (1)、當相關係數爲0時，X和Y兩變量無關係。 (2)、當X
2020-04-14 11:00:45
3
原创 騰訊-信鴿實現消息推送
1、API Store：http://apistore.baidu.com/ 2、推送 3、騰訊信鴿推送平臺 4、SDK與文檔 下載了之後， 10分鐘快速指南，請先參考本指南接入 http://developer.xg.qq.co
2020-02-25 06:58:39
原创 Android NDK開發
NDK概述 NDK全稱：Native Development Kit。 1、NDK是一系列工具的集合。 * NDK提供了一系列的工具，幫助開發者快速開發C（或C++）的動態庫，並能自動將so和java應
2020-02-25 06:58:39
原创 版本控制之SVN使用
SVN使用參考導航 1、概要、管理模式:請到百度百科資料。同時也到百度百科裏面查找Git。概念的對比、管理模式的對比。 (1)、點擊SVN百度百科查看概要、管理模式 (2)、點擊Git百度百科查看概要、管理模
2020-02-25 06:58:39
原创 Android 清理應用緩存
/* * 文 件 名: DataCleanManager.java * 描 述: 主要功能有清除內/外緩存，清除數據庫，清除sharedPreference，清除files和清除自定義目錄 */
2020-02-25 06:58:39
原创 SVN服務器和客戶端下載與搭建（一）
http://subversion.apache.org/packages.html 這是二進制文件包的下載地址,你可在左側的導航欄找到源代碼,文檔的下載地址. windows操作系統下面的二進制文件包一共有5種,如圖:
2020-02-25 06:58:39