原创 No FileSystem for scheme: hdfs,No FileSystem for scheme: file
原文：http://blog.newitfarmer.com/tags/hadoop hadoop 打成jar 打包插件assembly的問題，目前hadoop 2.4.0的應用有兩個jar。 這兩個jar分別 hadoop-comm
2020-02-22 12:54:05
原创 數據倉庫和數據集市的區別
數據倉庫與數據集市 看了很多數據倉庫方面的資料，都涉及到了“數據集市”這一說法，剛開始對數據倉庫和數據集市的區別也理解得比較膚淺，現在做個深入的歸納和總結，主要從如下幾個方面進行闡述： （1） 基本概念 （2） 爲什麼提出數據集市 （
2019-09-02 23:38:16
原创 Redis常用命令
Redis常用命令集1）連接操作命令quit：關閉連接（connection）auth：簡單密碼認證help cmd： 查看cmd幫助，例如：help quit2）持久化save：將數據同步保存到磁盤bgsave：將數據異步保存到磁盤la
2019-05-11 02:59:08
原创 數據倉庫架構發展
一、什麼是數據倉庫 傳統數據倉庫的概念是數據倉庫是決策支持系統（dss）和聯機分析應用數據源的結構化數據環境。是爲企業所有級別的決策制定過程提供支持的所有類型數據的戰略集合。 簡單來說之前的數據倉庫只
2018-09-03 00:09:10
原创 對比了下的spark mllib和 Liblinear 的LR的實現
對比了下的spark mllib和 Liblinear 的LR的實現： liblinear 是基於TRON的求解方式，Mllib的LR是基於LBFGS和SGD兩種實現方式都有。 http://spark.apache.or
2018-09-03 00:09:03
原创 Google第二代深度學習系統TensorFlow開源（PPT下載）
Google Research宣佈推出第二代深度學習系統TensorFlow。TensorFlow針對先前的DistBelief的短板有了各方面的加強。任何能夠用計算流圖形來表達的計算，都可以使用TensorFlow。任何基於梯度的機器
2018-09-03 00:09:02
原创 修改hive表location
兩種方式： 一、通過修改表DDL： alter table t_m_cc set location 'hdfs://heracles/user/video-mvc/hive/warehouse/t_m_cc' 二、直接修改hive 的me
2018-09-03 00:09:02
原创 搜狐視頻招聘多名創新、研發工程師
搜狐視頻招聘多名創新、研發工程師，工作和研究方向主要是： 自然語言處理、機器學習、大數據處理、數據挖掘、推薦系統等方向的前沿技術的調研與探索，並應用到實踐 要求： 1. 計算機或數學相關專業，碩士或以上學歷，最好是清華、北大、北郵、北航等
2018-09-03 00:09:02
原创 kafka queue full解決辦法
(kafka.producer.async.AsyncProducer:109) - Event queue is full of unsent messages, could not send event: queue.enque
2018-09-03 00:08:58
原创 2014年總結之dm組數據倉庫設計總結
來搜狐移動視頻dm組已經快一年半了，今天是2014年12月31號，是2014的最後一天，想想寫點東西。寫點什麼尼，咱們就簡說說數據倉庫dm組設計的一些實踐把。 我這裏也感謝我得領導給我的機會和舞臺。ok，進入正題。簡單聊聊數據倉庫設計在我
2018-09-03 00:08:53
原创 個性化推薦系統方向簡單介紹
先介紹下的我們這邊目前推薦系統的做的兩個大方向： 1、基於自然語言處理的用戶短期和長期興趣+rank 排序。 推薦方法：a)、基於topic&keywrods等信息構建的video profil
2018-09-03 00:08:53
原创 個性化push推薦系統架構和經驗分享 （一）
從負責做個性化push推薦系統已經快一年了。開始做個性化push推薦系統，開始收集了各方面數據，通過各方面的數據表現和經驗，來制定我們戰略，然後好制定我們戰術的打法。 下面我從以下三方面介紹push思考過程和做法：
2018-09-03 00:08:53
原创 個性化push推薦系統架構和經驗分享 （三）
** 這裏簡單個性化push推薦系統架構： ** ** 這個架構大家一定見過挺多的了。這裏我重點說下混合模型推薦系統這塊，上個圖吧： ** 多模型融合和模型基於預發送更新都是基於隊列的message來進行update。系統間得
2018-09-03 00:08:53
原创 IntelliJ IDEA 快捷鍵大全和使用技巧
———————————————— 實用快捷鍵: Ctrl+/ 或 Ctrl+Shift+/ 註釋（// 或者/*…*/ ） Ctrl+D 複製行 Ctrl+X 刪除行 快速修復 alt+enter (modify/ca
2018-09-03 00:08:52
1