原创 Scala練習-希爾排序
參考文章: 白話經典算法系列之三 希爾排序的實現 ShellSort package day14 /** * Created by doctorq on 2017/6/28. * 希爾排序:縮小增量排序 *
2020-02-23 22:23:40
原创 Scala練習-桶排序
源碼 package day14 /** * Created by doctorq on 2017/6/29. * 桶排序,一直數據範圍，比如滿分10分考試分數排序 */ object BucketSort e
2020-02-23 22:23:40
原创 pyinstaller打包機器學習庫若干坑
參考文檔Recipe Multiprocessing 背景 之前調研的pyinstaller打包bin的方案進入落地階段，之前調研文章見利用pyinstaller打包python項目發佈到線上。之前實驗的對象是個很簡單的web
2019-07-18 03:11:23
58
原创 利用pyinstaller打包python項目發佈到線上
問題拋出點 3月份搭建的python web框架，在一個項目中落地後，在部署的時候還是稍顯麻煩，雖然用了pipenv的方式管理依賴，但是在線上的時候還得要求線上環境可以連外網，但是一般線上環境會有一些隔離，而且上線前也會有一些pyth
2019-05-08 22:00:00
10
原创 C++ Invalid read
問題描述 最近一個c++模塊在線上頻繁掛掉，間隔時間不固定，有時幾分鐘，有時幾小時，有時可能一天也沒事，雖然有我們的守護進程頻繁的拉起，沒對業務造成影響，但是這種太嚇人了。 追查過程 1.分析問題點 我們通過分析日誌，根據掛掉時間點，
2019-03-30 04:55:28
原创 五年的博客之旅
2014.3.22 今天無意中翻了下自己之前寫的文章，發現自己寫下第一篇文章是2014年3月22日，馬上就5年整了。回想當時的自己，剛剛畢業半年多，剛剛換了家新公司，從上海去天津，什麼都不懂，想用博客的方式記錄自己的成長。現在來看，目
2019-03-16 05:01:02
原创 基於sanic打造python web框架
0x00 Why 爲何做這件事，在去年的一個項目中，算法同學要使用在線模型訓練，不得不使用python的tf框架，這樣我們不得不是python web框架，當時因爲團隊裏面沒人懂python相關的知識，只是簡單的用tornado搭建的
2019-03-07 18:45:33
14
原创 go-sql-driver/mysql 串數據的問題
問題描述 壓測過程中，發現數據庫中某個字段（json字符串）在解析的過程中提示，json字符串不符合json格式要求，增加日誌打印後，發現json打印如下： 47^A0^MTCKSGroup1773 1540984132 154098
2018-12-07 18:19:25
原创 利用 group by 的 Loose Index Scan 優化 sql
參考文章:MySQL優化GROUP BY－鬆散索引掃描與緊湊索引掃描 背景 最近壓測的時候發現有一條sql語句在查詢到幾w條數據的時候，查詢耗時達到了1s左右，達到了我們線上設置的timeout，需要優化一下。 sql作用 該sq
2018-10-20 03:33:59
2
原创 database/sql: rows.Next panic from concurrent map writes
問題描述 我們最近用golang重構了以前c++的系統，在最後上線前的壓測環節，我負責的模塊偶現如下錯誤： [mysql] 2018/09/02 23:17:35 packets.go:72: read tcp xx:39151->xx:
2018-09-04 22:33:24
原创 database/sql query 超時設置
參考文章:Query 問題描述 接上文，mysql的同步訪問問題解決後，繼續壓測，發現訪問mysql的耗時逐漸增大，影響模塊整體處理能力。我設置了readTimeout，沒有任何反應，請求耗時還是會超過readTimeout所設置的值
2018-09-04 22:32:58
7
原创 Valgrind進行內存泄漏檢測
valgrind 背景 初次涉獵c++編碼，被指針折騰的不行，所有爲了防止代碼寫的不好，造成內存泄漏，上線前一定要檢測下是否存在內存泄漏，這不用Valgrind試試。 環境 gcc編譯環境搭建完成 安裝 wget ftp://so
2018-08-27 20:02:41
原创 c++內存泄漏實戰
開始開發C++項目也有2個月了，從一開始寫代碼就繞不開內存泄漏這個點。找了個時間專門搞了個專項活動，從開始的幾十個內存泄漏點到現在慢慢了有了點經驗，現總結下。 檢測工具 內存泄漏點實踐 0x01 0x02 0x03 檢測工
2018-08-27 20:02:23
2
原创 Spark成長之路(11)-ngram
ngram 簡介 N-gram 代碼 object NGramExample extends SparkObject { def main(args: Array[String]): Unit = { val wordD
2018-08-27 20:02:23
2
原创 Spark成長之路(12)-Gradient Descent
機器學習理論之一 梯度下降 基礎概念 要想了解梯度下降，先來認識下面三個基礎概念。 導數 偏導數 梯度 導數 導數 大學數學我們都學過，簡單複習瞭解下。 比如如下一元二次函數 y=f(x)=ax2+bx+c 它的導函數
2018-08-27 20:02:22