原创 數據倉庫中歷史拉鍊表的更新方法
轉載：http://lxw1234.com/archives/2015/08/473.htm本文中假設：數據倉庫中訂單歷史表的刷新頻率爲一天，當天更新前一天的增量數據；如果一個訂單在一天內有多次狀態變化，則只會記錄最後一個狀態的歷史；訂單
2020-02-21 09:58:39
原创 數據倉庫之 ETL
轉載：http://lxw1234.com/archives/2015/04/31.htmETL，Extraction-Transformation-Loading的縮寫，中文名稱爲數據抽取、轉換和加載。 大多數據倉庫的數據架構可以概括爲
2020-02-21 09:58:39
原创 瀑布模型
瀑布模型（Waterfall Model） 是一個項目開發架構，開發過程是通過設計一系列階段順序展開的，從系統需求分析開始直到產品發佈和維護，每個階段都會產生循環反饋，因此，如果有信息未被覆蓋或者發現了問題，那麼最好 “返回”上一
2020-02-21 09:58:39
原创 快速原型模型
快速原型模型需要迅速建造一個可以運行的軟件原型 ，以便理解和澄清問題，使開發人員與用戶達成共識，最終在確定的客戶需求基礎上開發客戶滿意的軟件產品。 快速原型模型允許在需求分析階段對軟件的需求進行初步而非完全的分析和定義，快速設計開
2020-02-21 09:58:39
原创 hive知識點
1 外部表和內部表的使用場景Hive中的表分爲內部表(MANAGED_TABLE)和外部表(EXTERNAL_TABLE)。內部表和外部表最大的區別內部表DROP時候會刪除HDFS上的數據;外部表DROP時候不會刪除HDFS上的數據;內部
2020-02-21 09:58:39
原创 數據倉庫所思
1 設計表的時候，需要考慮到存儲能量和數據沉澱，減少計算。比如說，計算近3個月的指標，可以通過上一次的近3個月數、上一日的數和當前日的數想計算得出，而不需要對三個月的數做sum操作。 當日的近3月累計數 = 上日的近3月累計數
2020-02-21 09:58:39
原创 一個母嬰電子商務網站貝貝網的大數據平臺及機器學習實踐
轉載：http://lxw1234.com/archives/2016/02/609.htm貝貝網的主要產品是垂直的母嬰類，母嬰相對一般的電子商務網站有一些特點：第一個特點是商品週期短，在母嬰網站上的商品，在線的時間不會超過5-7天，第二
2020-02-21 09:58:39
原创 python3常見錯誤
1 unindent does not match any outer indentation level錯誤日誌：File "d:\ProgramFilesWer\python3.6\MachineLeaning\kNN.py", li
2020-02-21 09:58:39
原创 SHELL查看文件內容的多種命令
轉載：https://blog.csdn.net/piaoxuan1987/article/details/51647617cat 由第一行開始顯示檔案內容 tac 從最後一行開始顯示，可以看出 tac 是 cat 的倒着寫！ mor
2020-02-21 09:58:29
原创 推薦數據分析書籍
1 《數據驅動：從方法到實踐》 --神策數據創始人&CEO 桑文鋒所著2 《精益數據分析》 內容簡介 · · · · · ·本書展示瞭如何驗證自己的設想、找到真正的客戶、打造能賺錢的產品，以及提升企業知名度。30多個案例分析，全球10
2020-02-21 09:58:29
原创 Hive分析窗口函數
分析窗口函數應用場景：（1）用於分區排序（2）動態Group By（3）Top N（4）累計計算（5）層次查詢Hive分析窗口函數(一) SUM,AVG,MIN,MAXHive中提供了越來越多的分析函數，用於完成負責的統計分析。抽時間將所
2018-08-22 07:43:04
1
原创 Hive.GROUPING SETS的“陷阱” 轉載：https://blog.csdn.net/mashroomxl/article/details/23022123
轉載：https://blog.csdn.net/mashroomxl/article/details/23022123之前整理了一下Hive 0.10版引進的GROUPING SETS子句特性，並作了簡單的句法使用體驗和數據驗證。但是當
2018-08-22 07:43:04
原创 從瀑布模型、極限編程到敏捷開發
軟件開發是一種對人類智慧的管理，對人大腦思維的“工廠化”管理。人是有感情的、有情緒的、變化的、相對獨立的工作單元，這與冰冷的機器是不可比的，所以在中國的歷史上，管理人是最難的工作；“學而優則仕”的觀點就是讓最聰明的人應該選出來做官，做官就
2018-08-22 07:43:04
4
原创 乾貨合集】項目管理、需求快速迭代如何實現？17篇文章搞懂敏捷開發！
轉載：https://yq.aliyun.com/articles/591419?utm_content=m_49379爲了讓大家get到研發效能有關的敏捷開發和架構的相關知識，現將雲棲社區2017年度與之相關的前沿技術理念及實踐技術成果
2018-08-22 07:43:04