原创 推薦系統-猜你喜歡設計
一，概述 猜你喜歡與最近瀏覽相響應，用戶在頁面上點擊一個商品時，首先會出現在最近瀏覽部分，最近瀏覽部分隨即會出現本頁最近瀏覽商品對應的分類信息，將出現的分類，對應的瀏覽量最大的商品推薦出來即爲猜你喜歡。 二，數據源 2.1商品
2020-06-16 03:52:34
原创 第八界中國雲計算大會---簡單回憶
第八界中國雲計算大會，簡單回憶 1,關於機器學習 (1)同一個深度學習算法做同一件事，可以做得很好，但是不可以形成模塊化，事實上一人也不可能只做一件事。 (2)開發通用的深度學習算法，讓同一算法可以做多件事情，發現可以實現模
2020-06-16 03:52:34
原创 HBASE自帶小工具，統計表的行數
./hbase org.apache.hadoop.hbase.mapreduce.RowCounter '表名' 速度挺快
2020-06-16 03:52:34
原创 Mapreduce從HBASE抽取數據，生成搜索下拉服務數據，hadoop jar 調用異常問題解決
程序功能：MapReduce程序，從hbase裏面取搜索日誌，生成搜索下拉服務的數據。 問題： 程序採用Extract required libraries into generated jar,packate requited li
2020-06-16 03:52:34
原创 Linux環境下一種比較有用的多線程程序調試技巧
1，前先看一下一個常用的linux命令 ps -ef|grep <PROC_NAME> 查找進程的PID 2，何時用到 <1>有時一個程序跑着跑着就停那不動了，也沒
2020-06-16 03:52:34
原创 ctrl+c 導致securt假死的問題
CTRL-S and CTRL-Q are called flow-control characters. They represent an antiquated way of stopping and restarti
2020-06-16 03:52:34
原创 HBASE元數據及數據讀取過程
一， 基於hbase0.98版本的HBASE元數據信息 查看通過 zk查看HBASE的元數據信息，可以能過目錄看出來無數據信息較以前的版本有較大的改動，現在已經沒有了root-region-server的信息。 Get /hb
2020-02-23 18:37:14
原创 Hadoop2.4.1(QJM HA)+HBASE0.98 雙MASTER問題分析
一，問題源由 參考網上各位同行的博客，基於HADOOP2.4.1(QJM HA)+HBASE0.98（雙master）想搭建一個HA集羣，方法有很多，到處都是，這就不說了，主要說一下問題解決過程。 集羣搭建好以後，每次重新啓動都會報下面的
2020-02-23 18:37:13
原创 storm中的RotatingCache技術
一，基本的原理 偶遇storm中的rotatecache算法，特地研究一下。 核心： 1，是採用了鏈表來組織多個桶來存儲數據； 2，插入數據時直接插入到第一個桶中，清除到其它桶中的同key值的數據； 3，刪除數據移除
2020-02-23 18:37:13
原创 storm指南
Tutorial Inthis tutorial, you'll learn how to create Storm topologies and deploy them to aStorm cluster. Javawill be t
2020-02-23 18:37:13
原创 推薦系統-埋點
現在幾乎所有的電商平臺都或多或少的上了推薦系統，常用的推薦系統有。熱門推薦、最近瀏覽、猜你喜歡、看了還看、買了還買、綁定銷售，等等，這麼多NB的系統都依賴一點，就是用戶行爲數據，這些用戶行爲數據都從那來的呢，那就是埋點
2020-02-23 18:37:13
原创 storm並行機制
Understandingthe Parallelism of a Storm Topology STORM的並行機制 What makes a running topology: worker processes,executors
2020-02-23 18:37:13
原创 HBASE table導出到文件的方法
主要是介紹利用HBASE自帶的org.apache.hadoop.hbase.mapreduce.Driver包現將HBASE TABLE中的數據導出到HDFS文件的功能一，命令介紹 [hadoop@M-172-16-73-194 bi
2020-02-23 18:37:13
原创 org.apache.hadoop.hbase.mapreduce.Driver 導入數據到HBASE table
1，具體的命令介紹見上篇文章 利用HBASE自帶的org.apache.hadoop.hbase.mapreduce.Driver包實現將之export的數據import到useraction表的方法。 命令的意思是將hdfs://
2020-02-23 18:37:13
原创 最近寫mapreduce程序從hbase中抽取程序遇到的一些問題
1,報錯信息 Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/hadoop/hbase/protobuf/generated/ClientPro
2020-02-23 18:37:13