台部落eyeofeagle

spark訪問hive表：在spark/conf目錄下：引入hive配置文件 ln -sf /soft/hive/conf/hive-site.xml /soft/spark/conf/ 錯誤1： Hive Schema vers

2018-10-27 08:14:11

redis命令行 idea 讀寫redis redis集羣搭建下載redis最新版，中文官網 http://www.redis.cn/download.html wget http://download.redis.io/rel

2018-10-27 08:14:11

1，全概率公式： 2，貝葉斯公式： 3，樸素貝葉斯分類器：定義： 1，設 x= {a1, a2, a3…, am } 爲一個待分類項，而每個a爲x的一個特徵屬性。 2，有類別集合：C ={ y1, y2, y3 …, y

2018-10-27 08:14:11

參考《推薦系統實踐》項亮概念：基於物品的協同過濾算法，優化算法對比：用戶協同過濾的優缺點 python編碼實現 1，算法定義基於用戶的協同過濾算法基於商品的協同過濾算法適用場景時效性較強,用戶個性化興

2018-10-21 07:12:41

參考《推薦系統實踐》項亮概念：協同過濾算法在一個在線個性化推薦系統中,當一個用戶 A 需要個性化推薦時,可以先找到和他有相似興趣的其他用戶,然後把那些用戶喜歡的、而用戶 A 沒有聽說過的物品推薦給 A 概念：協同過濾算法

2018-10-21 07:12:41

定時任務執行：crontab -e 編輯任務 1, crontab命令：定時任務管理 crontab -e : 此命令會打開一個定時任務管理文件，格式爲 #每天23:00 定時關機分時天月周幾具體命令 0

2018-10-21 07:12:41

hdfs 和RDBMS區別 mr 和網格計算，志願計算 1，數據存儲磁盤存儲解決分佈式問題硬件需求系統瓶頸 hdfs 磁盤陣列-集羣硬件故障，多數據源的數據準確性普通機數據傳輸：硬盤帶寬 RDB

2018-10-21 07:12:41

bin目錄： { spark-shell , spark-sql } --> spark-submit–> spark-class sbin目錄： part1: bin目錄 spark-shell function main()

2018-10-20 07:57:03

參考書籍《深入理解mapreduce架構設計與實現原理》 yarn：各組件的通信協議理解yarn工作流程： yarn–>appMaster–>管理job part1：yarn內部通信協議 part2: yarn啓動appMa

2018-10-15 07:22:22

wordcount: 統計詞頻，排序歷年溫度最值： max, min, avg part1: spark rdd 之 wordcount spark-shell //word.txt var file="/home/wang/

2018-10-13 07:41:27

wordcount: 統計詞頻，排序 (jdk7, jdk8-lambda表達式) 歷年溫度最值： max, min, avg  <dependency> <groupId

2018-10-13 07:41:27

scala複雜數據類型的基本使用類，對象，函數： class,object, def … scala集合：模擬map-reduce part1: scala 數組/集合基礎 Array List，Set Map Tup

2018-10-10 07:36:18

hadoop集羣管理腳本： diy-ssh.sh==> ssh免密登錄 diy-syn.sh==> 同步節點配置文件 diy-op.sh==> jps查看進程, 更新時間日期 diy-kill.sh==> 殺死某進程，如

2018-10-10 07:36:18

條件判斷：布爾值，非空常用小腳本 part1： shell中的條件判斷條件並列判斷 #!/bin/bash if [ 1 -gt 2 ] && [ 1 -gt 0 ] #if [ 1 -gt 2 ] || [ 1 -gt

2018-10-06 07:35:15

hive優化: 表設計, mr作業 linux系統下，在用戶當前目錄創建配置文件~/.hiverc，加入配置參數 #顯示頭，db: set hive.cli.print.current.db=true ; set hive

2018-10-06 07:35:15