原创 python異常處理
異常處理要仔細，防治取不到值 zm_score = result["zm_score"] if 'zm_score' in result else None 這句話可以改成zm_score = result.get("zm_
2018-10-13 09:39:16
原创 sqoop併發度如果太小會怎麼樣
問題：sqoop 導入數據報內存溢出 解決：-m 100改成1024 思考：之前一直以爲sqoop -m參數設置的太小隻會影響運行時間。 結果昨天-m 100的時候一直崩，mentor設置成1024就解決了。
2018-09-30 09:44:29
2
原创 flume配置
agent1.sources = source1 agent1.sinks = sink1 agent1.channels = channel1 source： agent1.sources.source1.channels = ch
2018-09-19 09:02:56
1
原创 數據倉庫的Schema
公司etl的小姐姐表示 schema，類似於傳統的database的概念，只不過在數倉的概念下是個分層的概念，比如，dw1層是原始數據，經過處理形成dw2層，按照數據處理流程分成多層，也就是分成了多個schema。 但是和網上的一些說法出
2018-09-19 09:02:56
原创 ubuntu使用記錄
調出terminal（shell終端）：alt鍵+f2鍵調出運行程序對話框；輸入gnome-terminal回車調出終端窗口； 查看ubuntu32位還是64位：打開終端，輸入sudo uname --m ，按下enter 移動文件或者文
2018-09-15 01:24:34
3
原创 Dubbo簡介
Dubbo：https://github.com/apache/incubator-dubbo http://dubbo.apache.org/en-us/ 分佈式服務治理框架，soa基礎框架 解決多項目間服務的互相調用 或者說是一個微服
2018-09-13 11:45:32
原创 Java與python的面向對象對比
Java Python public class Employee { public static int empCount = 0; String name; int salary;
2018-09-13 11:45:32
原创 python dict 字典
字典是通過hash表的原理實現的，每個元素都是一個鍵值對，通過元素的鍵計算出一個唯一的哈希值，這個hash值決定了元素的地址，因此爲了保證元素地址不一樣，必須保證每個元素的鍵和對應的hash值是完全不同的，並且鍵的類型必須是不可修改的，所
2018-09-13 11:45:32
原创 開發優化
如果一個結果集包含三個結果子集，用到三分源數據，但是結果子集1只用到源數據1，結果子集2只用到源數據1和源數據2，結果子集3只用到源數據1和源數據3，那麼應當拆分成三個程序，產生三個結果集。 程序讀取數據到內存，如果一天的數據集過大，應當
2018-09-08 01:34:58
原创 設置idea本地測試spark的log日誌量
需求： 運行時log打印太多，以至於找不到有用信息，需要減少log量 解決： import org.apache.log4j._ object SparkStatFormatJob { Logger.getLogger("org")
2018-09-06 18:35:57
原创 回溯和例行腳本分析
上一篇寫到回溯和例行的工作，這一片來分析回溯和例行的shell腳本 回溯： 啓動命令：nohup sh bin/回溯.sh >log.回溯 & 回溯.sh step=0 for((i=0;i<=400;i+=1)) do let
2018-09-06 18:35:55
原创 sql 聚合函數有哪些
聚合函數是對一組值執行計算並返回單一的值的函數，它經常與SELECT語句的GROUP BY子句一同使用，SQL SERVER 中具體有哪些聚合函數呢？我們來一一看一下： 1. AVG 返回指定組中的平均值，空值被忽略。 例：s
2018-09-06 18:35:55