原创 代碼常見錯誤與自查清單(一)

作者:  蘇鵬 、樸星海、戈峯、張雁 一 內存越界檢查 1  字符串操作越界:strcpy( )和 sprintf (fullName, "%s%s", dir, fileName),檢查是否長度會超過緩衝區,建議採用strncpy

原创 模塊設計與實現經驗總結(一)

作者:  朱賽凡   楊雷 當開始進行模塊開發時,系統負責人會給模塊開發負責人描述模塊功能與要求,但是此時模塊功能與需求一般是比較粗線條和不完備的,例如很多細粒度異常情況處理需求一般系統負責人可能會考慮不到。 模塊負責人通過詳細設計完成:

原创 模塊設計與實現經驗總結(三)

3  模塊詳細設計指南與規範 模塊詳細設計要完成兩個方面工作:一是明確模塊的功能需求和非功能需求、二是設計如何完成和實現模塊的功能需求,包括類結構、線程結構設計等。本節根據後臺模塊特點,描述了兩部分工作需要考慮和設計的關鍵點。 3.1確定

原创 代碼常見錯誤與自查清單(二)

五  ICE調用檢查 1  請檢查ICE調用設置瞭如下參數:        props.setProperty("Ice.CacheMessageBuffers", "0");     //內存參數                   

原创 用戶體驗設計閱讀筆記

作者:朱賽凡 一 什麼用戶體驗設計 1) 用戶體驗並不是指一件產品本身如何工作,用戶體驗是指產品如何與外界聯繫並發揮作用。 2) 一部電話因爲具有撥打和接聽的功能而被定義爲電話;但實際上在打電話這件事情上有無數種方式可以實現上述定義(

原创 並行文件系統近期的一些研究

作者:朱賽凡 近期對並行文件系統做一些一些研究,主要閱讀了GPFS、ceph論文,同時查找了一些行業使用並行文件系統的應用場景。總結如下: 1 並行文件在性能方面主要優勢是通過“條帶”來提高傳輸帶寬,而相反隨機小IO效率低下。 2 並

原创 模塊設計與實現經驗總結(四)

4  代碼編程指南與過程規範 強烈建議採用測試驅動的模式來完成代碼編程。測試驅動開發中編寫測試代碼目的是利用測試代碼來描述和確認類的功能規格,然後編寫實現代碼來實現測試代碼規定的功能規格並利用測試來驗證編寫的代碼確實是符合事先設計好的功能

原创 模塊設計與實現經驗總結(二 )

1詳細設計過程明確劃分爲兩個階段 第一個階段是明確模塊的需求,能夠以詳細的功能規格說明書的方式,明確模塊的功能需求,重點考慮模塊要處理哪些例外和異常情況,儘自己最大努力把情況想全。 例如對本模塊對外提供的接口要詳細寫清楚,各種輸入參數情況

原创 大數據分析技術研究報告(三-1)

作者:朱賽凡  三大數據背景下數據統計分析技術介紹 隨數據量變大,和事務處理不同的是,單個統計分析涉及數據量會非常大,單個統計分析任務涉及數據會分散在多臺服務器上,且由於計算量大,採用單臺服務器進行計算,會導致計算時間非常長,單個統計

原创 系統突然掉電與數據安全問題研究

作者: 朱賽凡 一 掉電與數據安全概述 在系統掉電或者因爲服務器故障直接按電源按鈕時,經常會出現即使物理磁盤沒有任何故障,而數據庫系統或者文件系統損壞情形。數據是最寶貴的資源,爲此對此方面問題進行研究。 系統突然掉電導致數據丟失主要原因

原创 大數據分析技術研究報告(二)

二 大數據背景下事務型處理系統相關技術 在google、facebook、taobao等大互聯網公司出現之後,這些公司註冊和在線用戶數量都非長大,因此該公司交易系統需要解決“海量數據+高併發+數據一致性+高可用性”的問題。 爲了解決

原创 大數據分析技術研究報告(一)

作者:朱賽凡 一 數據分析處理需求分類 1 事務型處理 在我們實際生活中,事務型數據處理需求非常常見,例如:淘寶網站交易系統、12306網站火車票交易系統、超市POS系統等都屬於事務型數據處理系統。 這類系統數據處理特點包括以下幾點:

原创 應用架構B/S與C/S優劣比較(二)

三、發展態勢分析 1.   C/S最新發展 桌面應用主要以Windows系統和移動設備爲主。我們主要討論windows下的桌面應用發展技術。 l  C/S架構 1)     二層結構 早期的C/S使用兩層結構:前端是客戶機,完成界面展示、

原创 Druid.io系列(四):索引過程分析

Druid底層不保存原始數據,而是借鑑了Apache Lucene、Apache Solr以及ElasticSearch等檢索引擎的基本做法,對數據按列建立索引,最終轉化爲Segment,用於存儲、查詢與分析。 首先,無論是實時數據還是批

原创 位圖索引bitmap(三):位圖索引技術集合FastBit

本節所介紹的FastBit是位圖索引技術的集大成者,是一系列高級位圖索引技術的集合,該項目最初設計目標是爲美國國家高能物理實驗提供支撐。 在FastBit中,兩個核心創新點分別是: 字對齊混合壓縮編碼WAH,根據官方實驗數據顯示,其在