原创 Git 常用技巧分享
1. Git alias 這是一個非常能提高工作效率的操作，所以放到第一位！！！ 這個分爲兩種情況，一是全局有效，另外一個是單個repository 有效，本人用的事全局懶得挨個repository去配置。 mac: 找到這個文件
2020-03-07 19:59:04
原创 Hive官方使用手冊——Avro Files
本文爲自己翻譯的譯文，原文地址：https://cwiki.apache.org/confluence/display/Hive/AvroSerDeHive官方使用手冊——Avro FilesAvailability最早支持AvroSer
2020-02-21 09:09:42
1
原创 惱人的時區問題
參考： http://www.99cankao.com/date/timezone.php 由於由於工作中經常要採集來自不同國家網站的數據，和來自不同時區的同事月會議，開發程序，所以經常在時區上轉不過彎來，這裏整理了一下，做個筆記
2020-02-21 09:09:41
2
原创 Spark-SQL 面試準備 1
Spark Knowledge NO.1 1. spark中的RDD是什麼，有哪些特性？ 答：RDD（Resilient Distributed Dataset）叫做分佈式數據集，是spark中最基本的數據抽象，它代表一個不可變，
2020-02-21 09:09:41
2
原创 Hive官方使用手冊——LZO 壓縮
本文爲自己翻譯的譯文，原文地址：https://cwiki.apache.org/confluence/display/Hive/LanguageManual+LZOHive官方使用手冊——LZO 壓縮LZO 基本概念LZO是一個無損的數
2020-02-21 09:09:41
原创 Spark-SQL 面試準備 2
Spark Knowledge NO.2 11.RDD緩存： Spark可以使用 persist 和 cache 方法將任意 RDD 緩存到內存、磁盤文件系統中。緩存是容錯的，如果一個 RDD 分片丟失，可以通過構建它的 tran
2020-02-21 09:09:41
原创 Hive官方使用手冊——壓縮數據存儲格式
本文爲自己翻譯的譯文，原文地址：https://cwiki.apache.org/confluence/display/Hive/CompressedStorageHive官方使用手冊——壓縮數據存儲格式壓縮數據存儲在某些情況下，將壓縮的
2020-02-21 09:09:41
原创 Spark-SQL 面試準備 3
Spark Knowledge No.3 21.driver的功能是什麼： 答：1.一個spark作業運行時包括一個driver進程，也就是作業的主進程，具有main函數，並且有sparkContext的實例，是程序的入口； 2.
2020-02-21 09:09:40
原创 NLP練習Demo收藏
目錄1.分詞 Word Segmentation2.詞預測 Word Prediction3. 文本蘊涵 Textual Entailment4. 語音識別 Automatic Speech Recognition5. 自動摘要
2019-07-09 19:01:36
原创 Java面試題整理四（GC和內存）
這一次提筆寫博客倒不是爲了整理面試中遇到的問題，而是在實際工作中遇到了這個問題，於是想把記錄下來。 這次遇到的問題是GC內存使用溢出的問題，由於它也是面試時經常問到的題目。（到現在都記得在百度面試時被問懵逼了，自以爲平時開
2019-06-10 20:24:54
2
原创 Spark SQL 編譯原理
寫在前面的話：因爲本人在職，所以沒有充分的時間寫博客，所以經常是寫好整個框架，再陸陸續續的補充修改。所以如果發現什麼錯誤請留言。 正如大家瞭解的一樣，SparkSQL 它其實是一個SQL的編譯器，跟普通數據庫不同的是它的底層使用的
2019-06-10 20:24:54
7
原创 Spark SQL 可調參數彙總
寫在前面的話：因爲本人在職，所以沒有充分的時間寫博客，所以經常是寫好整個框架，再陸陸續續的補充修改。所以如果發現什麼錯誤請留言。 本文主要是日常工作的積累，主要是簡單羅列了常見的spark SQL的參數及其含義。 #Job ID
2019-06-10 20:24:54
原创 推薦幾個有意思的Python 庫
在數據庫中即時保存數據：Dataset https://dataset.readthedocs.io/en/latest/ 當我們想要在不知道最終數據庫表長什麼樣的情況下，快速收集數據並保存到數據庫中的時候，Dataset 庫將是我們的最
2019-03-22 18:11:46
原创 Teradata語法樹——insert
這裏只是簡單保存一下Teradata的語法樹，希望能對新手有所幫助。 Insert [NONTEMPORAL | temporal_validtime_qualifier] INS[ERT] [INTO] tablename
2019-01-11 00:28:24
28
原创 vim編輯器的配置文件vimrc的參數優化
vim編輯器的配置文件vimrc的參數優化 zhe這裏主要參考了一篇大神的文章，但是在複製該文章中代碼時發生了一些錯誤： 裏面的引號不是註釋的意思，vim識別不了報錯 裏面的中文vim識別不了報錯。 原文鏈接：https://blo
2018-09-30 09:24:12
2