原创 實時數倉和離線數倉
文章目錄1.什麼是大數據平臺？2.數倉和數據庫的區別3.大數據技術棧4.數倉的分層5.離線數倉架構和實時數倉架構離線數倉架構實時數倉架構對比6.數倉架構發展Lambda架構Kappa 架構7.實時數倉建設案例8.實時數倉建設 1.
2020-05-26 09:54:36
原创 Spark SQL和 presto 訪問數據源的對比分析
直觀感受是使用Spark SQL比通過 presto 寫SQL的查詢速度更快 開發python程序訪問Presto可以藉助pyhive工具 文章目錄Spark SQL是什麼？和Hive的不同三種數據結構Dataframe和Data
2020-04-30 18:41:13
原创 使用memory_profiler工具對python工程做內存分析
memory_profiler使用 memory_profiler主要用來監控python工程佔用內存大小 安裝 pip install -U memory_profiler 用法 from memory_profiler im
2020-02-20 18:28:55
原创 n-gram語言模型的生成過程及原理
文章目錄一、簡單說明二、執行過程1.拿到文本2.分詞處理 text3.生成n-gram統計文件4.生成語言模型5.轉爲二進制文件6.生成trie文件7.結果分析三、生成原理1.增加``和``標記符，表示句子的開頭和結尾。2.映射I
2020-02-20 18:28:52
12
原创 對python代碼進行加速處理
有兩種加快python速度的方式 文章目錄1.Psyco(1) 簡介(2) 安裝(3) 使用2.pyrex(1) 兩個好處(2) 加速的例子 1.Psyco (1) 簡介 Pysyco簡介：http://psyco.source
2020-02-20 18:28:52
1
原创 markdown編寫常用html標籤，csdn右側幫助文檔沒有提示的用法
1.圖片大小調整 <img src="圖片的url" width="60%" > 比如 <img src="https://img-blog.csdnimg.cn/20200109211721688.jpeg?" width="
2020-02-20 18:28:52
原创 模型訓練部署過程中的報錯處理
文章目錄一、Allocation of X exceeds 10% of system memory 解決方式二、wget 下載文件報錯：connection reset by peer三、報錯：ERROR (theano.san
2020-02-20 18:28:52
原创 Mini CFA 考試練習題 Ethics and Investment Professionalism
倫理道德與投資職業水準 這一章109道題目，第一次看，算上中間吃晚飯大約半個小時，追劇一個多小時，一共耗時近4個小時，準確率61%，還要努力爭取下次70%以上。 Q. Which of the following most li
2020-02-20 18:28:52
原创 編寫python風格的代碼（1）| 遍歷、基本數據類型、列表解析
摘自提姆·彼得斯（Tim Peters)的《 Python的禪宗》： Beautiful is better than ugly. Explicit is better than implicit. Simple is bette
2020-02-20 18:28:52
原创 基於bert的中文實體關係識別（實體關係抽取）項目開源
在清華大學開源的OpenNRE項目基礎上實現中文實體關係識別 github項目地址，點我 文章目錄一、中文關係抽取實現過程訓練結果測試結果二、使用前準備三、注意事項 一、中文關係抽取 使用哈工大，BERT-wwm，中文ber
2020-02-20 18:28:52
原创 Mini CFA 考試練習題 Economics of International Trade
國際經濟學部分55道題目第一次刷題，答對率67%。 Q. The country of Australia classifies products departing from the port of Melbourne to
2020-02-20 18:28:52
原创 將c、c++代碼包裝成python代碼
如果要在Python中包裝現有的C或C ++功能，有很多選擇，這裏只記錄最值得推薦的方式，SWIG被Subversion, wxPython, Xapian等項目使用。值得一提的是，Google也使用SWIG。 用SWIG包裝P
2020-02-20 18:28:52
原创 2019 google開發者大會 | tensorflow相關視頻
google 在今年9月10日的開發者大會上和tensorflow相關的演講都在這裏了 文章目錄1、機器學習簡介 【25min】2、TensorFlow 主旨演講：機器學習的現在和未來 【20min】3、TensorFlow 2.
2019-10-25 14:24:22
原创 Mini CFA 考試練習題 Industry Overview（1）
第一次刷CFA的練習題，在沒有任何準備的情況下，就想體驗一下做題的過程，這個章節考的都是金融行業最基本的常識，理解題目了做題並不難，31道題目正確率74%，對後面的學習充滿信心。 題目及解析： Q. A broker will
2019-10-25 14:24:22
3
原创 講清楚attention是怎麼回事
一直關注attention，但是不是很明白這個機制，前段時間看到一篇講attention特別好的文章，主要是示意圖比較多，花了點時間翻譯並編輯出來，本來是放到公司wiki的，覺得這種翻譯過來的別人的東西也不算涉及公司機密，今天分享
2019-07-30 14:16:37