原创 數據標準化中數據域的確定
在進行數據標準化的過程中需要確定屬性或者實體的域，通過該域可完成屬性或者實體的類別劃分以及屬性的某些類型約束。例如我們可以在域中確定域的描述信息例如類型、長度以及解釋信息，從而實現了域某種程度上的約束。 在我看來在數據標準中引入域的概念可
2020-02-22 15:41:08
原创 數據標準化中詞彙分類中需要注意的小問題
在進行數據標準化方法的學習過程中，結合平常的項目開發的一些例子，感覺我們在詞彙整理與規範化過程中需要注意的幾個小問題。 師出有名。數據標準化需要有一定的驅動或者契機，甲方或者某些利益相關的羣體有了這樣的需求，需要我們對數據進行標準化，這樣
2020-02-22 15:41:08
原创 OLAP系統功能小析
OLAP系統小析 OLAP與OLTP系統從本質上都屬於數據處理的基本方式，只是在系統的功能與作用上有一定的區分，OLTP更適合或者傾向於業務數據處理，限時返回業務處理結果，同時在業務處理的過程中一般都是業務邏輯的處理過程。而OLAP一般都
2020-02-22 15:41:08
原创 我的劍留給能揮舞它的人——紀念逝去的2015
2015將漸漸成爲往事，沒有什麼比時間的流逝更讓人悲傷。面對慘淡收場，心中多少會有些許淒涼。 回憶整整一年發現一直都是獨自忙碌的身影，望着一路走來的自己除了疲於奔命我還能說些什麼呢？ 理想的豐滿與現實的骨感交相輝映，共同協奏一曲關於奮鬥的
2020-02-22 15:41:08
原创 MongoDB如何無縫版本升級
什麼情況下需要做版本升級 穩定性提升 MongoDB比較年輕，穩定性方面問題相對較多穩定性是什麼 進程崩潰進程異常系統上下文頻繁切換，CPU佔用率高MongoDB新版本穩定性提升 線下充分的驗證測試性能提升 表現那些方面（相同條件下）
2018-09-04 05:30:50
3
原创 MongoDB常見問題及解決方案
1、大量刪除數據問題及解決方案 在線消息定時刪除 請求量增加，垃圾數據需要進行刪除離線批量刪除 msgidcontenttimestampflagobjectidfromto針對flag=1時進行刪除時的問題，並非索引或者分片結果；更新
2018-09-04 05:30:49
原创 Spring定時任務之Quartz
Spring通過DI和IoC方式給大家提供了很多便捷操作，很多地方不需要編寫大量代碼，僅需要通過配置文件加簡單的註解就可以完成，最近在項目開發過程中用到Quartz，藉此學習並跟大家分享一下。 Quartz作爲老牌Scheduler執行
2018-09-04 05:30:49
原创 MongoDB Sharding及數據庫設計
1、MongoDB Sharding 基本共識 隨機I/O轉爲順序I/O；步驟越少，查詢越簡單，性能越高。多做不如少做，少做不如不做；大數據查詢，分佈式並行查詢能力高；三個注意事項 插入文檔必須帶上sharding key不接受修改
2018-09-04 05:30:49
原创 MongoDB集羣如何無縫擴容擴展
1、什麼情況下需要進行擴容 數據量接近單機磁盤總容量 數據容量接近磁盤容量80% df內存使用量接近內存容量80% free訪問量 iostat -xdk 1storage與datesize兩倍左右關係2、常用的MongoDB集羣擴容方
2018-09-04 05:30:49
原创 一種通用的DAO訪問方法
在SpringMVC開發過程中各個層級需要編寫大量重複代碼，解決方法有三：其一、粘貼複製，似乎不少人這麼幹；其二，通過代碼生成工具，設置變量替換大量文件；其三，構建通用方法實現代碼複用。寫者疲於複製，沒有采用第一種，沒有現成好的模板沒有采
2018-09-04 05:30:48
2
原创 大數據業界最新動態（2016.07.26，第14期，不斷更新中）
大數據業界最新動態 @(大數據)[投資|技術] bigdata （https://sens2010.gitbooks.io/bigdata）是一個爲國人提供大數據資訊的項目，資訊來源於各大知名互聯網門戶並進行彙總整理，所有內容均以交流學習
2018-09-04 05:30:48
2
原创 MongoDB3.0版本特性
1、主要特性 性能提升7-10倍；數據壓縮率80%；減少95%運維成本；插件式存儲引擎：Wired Tiger文件鎖磁盤壓縮可配置內存使用上限MMAPV1存儲引擎優化庫級鎖到表級鎖文檔分配方式優化副本集優化、集羣優化、其他優化2、Mong
2018-09-04 05:30:48
原创 MongoDB環境配置及集羣一鍵部署
1、MongoDB在Linux下的安裝配置 應用shutdown kill -2/-4use admin； db.shutdownServer();kill -9 可能會導致數據丟失、文件損壞、之後需要
2018-09-04 05:30:48
原创 MongoDB表的設計
1、Collection Sharding是否靠譜 Sharding key的一些煩惱； 單一key可能導致分佈不均勻；使用符合Sharding KEY複合sharding key也不是萬能的；Coun
2018-09-04 05:30:48
2