原创 對溫伯格書籍層次的分析

    溫伯格(Gerald M. Weinberg)致中國讀者一文中關於書籍間關係的摘要和分析。 Gerald M. Weinberg:清華大學出

原创 Perl學習指南

http://wiki.perlchina.org/Perl%E5%AD%A6%E4%B9%A0%E6%8C%87%E5%8D%97 Perl學習指南 取自 PerlChina.org - wiki 跳轉到: 導航, 搜索 Perl

原创 Perl模塊多平臺安裝方法

Perl模塊多平臺安裝方法   http://wiki.perlchina.org/Perl%E6%A8%A1%E5%9D%97%E5%A4%9A%E5%B9%B3%E5%8F%B0%E5%AE%89%E8%A3%85%E6%96%B9%

原创 自動進行團隊構建和單元測試過程

自動進行團隊構建和單元測試過程 類別:Linux 編程技術 發佈時間:2008年12月01日 出處:Mark Wilkinson 收藏此篇文章 極限編程和敏捷方法建議開發過程要包含持續集成和單元測試。支持這些實踐的一個實際方法是設置一

原创 工具

1. Cygwin工具 : 安裝Cygwin工具(www.Cygwin.com),在Windows系統下得到一個類似Unix的shell以及一個非常類似於Linux提供的環境。      Cygwin工具並不能提供所有的Linux功能。

原创 CruiseControl 的 108 種調度模式

http://www.blogjava.net/chelsea/archive/2008/01/05/173004.html     /*************************/ "擁抱變化" 是敏捷的態度之一, CruiseC

原创 Perl安裝說明

  http://www.yuzi.net/Show.asp?id=9585   Perl對MySQL的支持藉助DBI/DBD客戶接口而提供。見20.5 MySQL Perl API。Perl DBD/DBI客戶代碼要求Perl 5.00

原创 C++資源列表

1. Brain Kernighan 和 Dennis Ritchie : “K&R”

原创 湯普金斯先生的日記

  湯普金斯先生的日記 《最後期限》(The Dead Line) [美]湯姆.迪馬可(Tom Demarco)/著 UMLChina 翻譯組/譯

原创 理論與方法的觸發器學習法

理論與方法的觸發器學習步驟 1.  將理論與方法分類,並設置優先級,從中選出當前學習對象 2.  爲每個學習對象設置觸發器 3.  由開始的觸發器出發學習到成爲習慣 4.  記錄學習標誌階段,並改進 5.  循環過程 

原创 基於Spark SQL 讀寫Oracle 的簡單案例分析常見問題

  1      概述 本文主要內容包含Spark SQL讀寫Oracle表數據的簡單案例,並針對案例中比較常見的幾個問題給出解決方法。 最後從常見的java.lang.ClassNotFoundException(無法找到驅

原创 Hive 或 Impala 的數據類型與 對應底層的 Parquet schema的數據類型不兼容

背景: 修改了hive表的某些字段的數據類型,如從String  -> Double , 此時,該表所對應的底層文件格式爲Parquet,修改之後,更新Impala索引,然後查詢修改數據類型的字段,會出現與Parquet schema 列

原创 hive 中 非默認數據庫的json字段

使用 hive 的函數 get_json_object, 方式: 1.  指定From中的表所在是數據庫名 SELECT get_json_object(tableName.json, '$.jsonField') , json FROM

原创 隨筆:配置屬性的設置

配置屬性: 1. 確認對應配置屬性是否正確 2. 確認配置屬性作用於哪個組件,如 :Spark 的 Master 還是 Worker 組件 3. 確認對應配置對應組件的使用時機:啓動時、運行時 —— 如:配置後是否需要重新啓動才能生效,或

原创 小知識點源碼解析-STAGE由最後一個RDD確定並行度的源碼解析

以ShuffleMapStage 爲例進行解析。 1      假設 RDD A – ShuffleDependency – RDD B 即 RDD B依賴 RDD A,並且依賴關係爲寬依賴—— 依賴,針對的是兩個RDD之間的關係,RD