原创 TDH-學習材料

官網幫助地址: https://www.warpcloud.cn/#/documents-support/docs/products?category=TDH

原创 JAVA----JVM垃圾回收GC

轉載:http://www.cnblogs.com/redcreen/tag/jvm/ https://cloud.tencent.com/developer/article/1336613 java內存組成介紹:堆(Heap)和非堆(N

原创 推薦系統之LFM--潛在因子模型

推薦系統之LFM 原網址:http://www.cnblogs.com/hxsyl/p/4882768.html   這裏我想給大家介紹另外一種推薦系統,這種算法叫做潛在因子(Latent Factor)算法。這種算法是在NetFlix(

原创 個性化推薦系統實戰入門必修課-協同過濾算法

個性化推薦的背景、落地場景、架構剖析: 一、推薦系統在工業界主流落地場景: 1、信息流:如今日頭條、騰訊新聞等; 2、電商:如淘寶京東的猜你喜歡,爲你推薦板塊; 3、O2O(點對點)的LBS(基於位置服務):如百度地圖找附近餐館; 二、推

原创 Bash設置啓動

#! /bin/sh execpid=`ps -ef|grep -i "submit" | grep -v "grep" | grep "push.properties" |awk '{print $2}'` #execpid=`p

原创 hdfs missing blocks. The following files may be corrupted

https://www.cnblogs.com/itboys/p/9596441.html   There are 2 missing blocks. The following files may be corrupted: 步驟1,

原创 Apache Avro 入門

原網址:https://cloud.tencent.com/developer/article/1336572 1. 簡介 Apache Avro(以下簡稱 Avro)是一種與編程語言無關的序列化格式。Doug Cutting 創建了這個

原创 shell腳本

Linux date命令的用法 date +%Y%m%d-%H:%M:%S time=$(date "+%Y%m%d-%H%M%S") or time=$(date "+%Y-%m-%d %H:%M:%S") echo "${time}"

原创 maven--加載其他目錄下的jar

  <dependency>             <groupId>org.wltea</groupId>             <artifactId>analyzer</artifactId>             <vers

原创 轉載:推薦系統冷啓動

https://mp.weixin.qq.com/s?__biz=MzI1NjM1ODEyMg==&mid=2247483914&idx=1&sn=0549cee422010a25003fceab5e77750d&chksm=ea26a1

原创 JAVA-JVM

https://docs.oracle.com/javase/specs/

原创 轉載:Hadoop性能調優

https://blog.csdn.net/dehu_zhou/article/details/52808752 https://blog.csdn.net/dxl342/article/details/52840455 https://

原创 Hadoop數據壓縮

1 gzip壓縮 優點:壓縮率比較高,而且壓縮/解壓速度也比較快;hadoop本身支持,在應用中處理gzip格式的文件就和直接處理文本一樣;有hadoop native庫;大部分linux系統都自帶gzip命令,使用方便。 缺點:不支持s

原创 Hbase-角色

– Master • 爲Region server分配region • 負責Region server的負載均衡 • 發現失效的Region server並重新分配其上的region • 管理用戶對table的增刪改操作 – Region

原创 Spark Shuffle原理、Shuffle操作問題解決和參數調優

參考美團 《Spark性能優化:開發調優篇》 《Spark性能優化:資源調優篇》 《Spark性能優化:數據傾斜調優》 《Spark性能優化:shuffle調優》 原網站:https://www.cnblogs.com/arachis/p