原创 Rhadoop中修改Reduce輸出分割符
mjiang@jiangmingyan:~/hadoop_work/hadoop-1.0.3/src/mapred/org/apache/hadoop/mapred$ ls -i *Format* 7996170 FileInputFor
2020-07-03 07:37:10
原创 hive細節測試
select weekofyear('2013-02-02'), weekofyear('2013-02-03'),weekofyear('2013-02-04') from udfdate; 5 5 6 週六 週日 週一
2020-07-03 07:37:10
原创 ccms bug記錄1
20130202 週期表結果中有重複記錄：查到是t_latitude_period_exuid的重複記錄： 重新跑： insert overwrite table t_latitude_period_exuid partition(s
2020-07-03 07:37:10
原创 hive 細節
如果reduce個數過少(配置文件設置，而非自動生成)，可能會出現錯誤：013-01-16 18:04:49,311 FATAL org.apache.hadoop.mapred.Child: Error running child :
2020-07-03 07:37:10
原创 ccms未解決錯誤
Starting Job = job_201301281440_18226, Tracking URL = http://master:50030/
2020-07-03 07:37:10
原创 machine learning in action
k-Nearest NeighborsPros: High accuracy, insensitive to outliers, no assumptions about dataCons: Computationally expensi
2020-07-03 07:37:10
原创 ccms 工作記錄
一共有job數爲：86 週期可以重複計算 bug1: where month(send_time)=month('{STAT_DATE}')-1 當month爲1時，會得出結果爲0. 所以要改爲： where month(send
2020-02-25 02:54:50
原创 Rstudio畫圖問題
Error in RStudioGD() : Shadow graphics device error: r error 4 (R code execution error) 原來時安裝的時候： ./configure
2020-02-25 02:54:50
原创 linux系統分區調整失敗後補救
當時安裝ubuntu系統時，給/home的分區太大了，想縮小/home分區， dd cp -a 只要不格式化 分區一致就OK cp -a /home/mjiang後，修改chown就OK 一波剛平，一波又起。 新掛載的sdc又出
2020-02-25 02:54:50
原创 ubuntu安裝軟件列表與系統配置
開發軟件： hadoop hive sqoop thrift eclipse rstudio 日常軟件： scrot 系統配置： 終端提示顏色：force_color_prompt=yes 只有在每個用戶下生效，沒有統一生效的方法 e
2020-02-25 02:54:50
原创 峯度（Kurtosis）和偏度（Skewness）
3.1.6 峯度（Kurtosis）和偏度（Skewness） 峯度是描述總體中所有取值分佈形態陡緩程度的統計量。這個統計量需要與正態分佈相比較，峯度爲0表示該總體數據分佈與正態分佈的陡緩程度相同；峯度大於0表示該總體數據分佈與正態
2020-02-25 02:54:50
原创 R安裝問題
configure: error: No F77 compiler found apt-get install gfortran C++ preprocessor "/lib/cpp" fails sanity check apt-ge
2020-02-25 02:54:50
1