原创 對溫伯格書籍層次的分析
溫伯格(Gerald M. Weinberg)致中國讀者一文中關於書籍間關係的摘要和分析。 Gerald M. Weinberg:清華大學出
原创 Perl學習指南
http://wiki.perlchina.org/Perl%E5%AD%A6%E4%B9%A0%E6%8C%87%E5%8D%97 Perl學習指南 取自 PerlChina.org - wiki 跳轉到: 導航, 搜索 Perl
原创 Perl模塊多平臺安裝方法
Perl模塊多平臺安裝方法 http://wiki.perlchina.org/Perl%E6%A8%A1%E5%9D%97%E5%A4%9A%E5%B9%B3%E5%8F%B0%E5%AE%89%E8%A3%85%E6%96%B9%
原创 自動進行團隊構建和單元測試過程
自動進行團隊構建和單元測試過程 類別:Linux 編程技術 發佈時間:2008年12月01日 出處:Mark Wilkinson 收藏此篇文章 極限編程和敏捷方法建議開發過程要包含持續集成和單元測試。支持這些實踐的一個實際方法是設置一
原创 工具
1. Cygwin工具 : 安裝Cygwin工具(www.Cygwin.com),在Windows系統下得到一個類似Unix的shell以及一個非常類似於Linux提供的環境。 Cygwin工具並不能提供所有的Linux功能。
原创 CruiseControl 的 108 種調度模式
http://www.blogjava.net/chelsea/archive/2008/01/05/173004.html /*************************/ "擁抱變化" 是敏捷的態度之一, CruiseC
原创 Perl安裝說明
http://www.yuzi.net/Show.asp?id=9585 Perl對MySQL的支持藉助DBI/DBD客戶接口而提供。見20.5 MySQL Perl API。Perl DBD/DBI客戶代碼要求Perl 5.00
原创 C++資源列表
1. Brain Kernighan 和 Dennis Ritchie : “K&R”
原创 湯普金斯先生的日記
湯普金斯先生的日記 《最後期限》(The Dead Line) [美]湯姆.迪馬可(Tom Demarco)/著 UMLChina 翻譯組/譯
原创 理論與方法的觸發器學習法
理論與方法的觸發器學習步驟 1. 將理論與方法分類,並設置優先級,從中選出當前學習對象 2. 爲每個學習對象設置觸發器 3. 由開始的觸發器出發學習到成爲習慣 4. 記錄學習標誌階段,並改進 5. 循環過程
原创 基於Spark SQL 讀寫Oracle 的簡單案例分析常見問題
1 概述 本文主要內容包含Spark SQL讀寫Oracle表數據的簡單案例,並針對案例中比較常見的幾個問題給出解決方法。 最後從常見的java.lang.ClassNotFoundException(無法找到驅
原创 Hive 或 Impala 的數據類型與 對應底層的 Parquet schema的數據類型不兼容
背景: 修改了hive表的某些字段的數據類型,如從String -> Double , 此時,該表所對應的底層文件格式爲Parquet,修改之後,更新Impala索引,然後查詢修改數據類型的字段,會出現與Parquet schema 列
原创 hive 中 非默認數據庫的json字段
使用 hive 的函數 get_json_object, 方式: 1. 指定From中的表所在是數據庫名 SELECT get_json_object(tableName.json, '$.jsonField') , json FROM
原创 隨筆:配置屬性的設置
配置屬性: 1. 確認對應配置屬性是否正確 2. 確認配置屬性作用於哪個組件,如 :Spark 的 Master 還是 Worker 組件 3. 確認對應配置對應組件的使用時機:啓動時、運行時 —— 如:配置後是否需要重新啓動才能生效,或
原创 小知識點源碼解析-STAGE由最後一個RDD確定並行度的源碼解析
以ShuffleMapStage 爲例進行解析。 1 假設 RDD A – ShuffleDependency – RDD B 即 RDD B依賴 RDD A,並且依賴關係爲寬依賴—— 依賴,針對的是兩個RDD之間的關係,RD