原创 金融特徵計算平臺

金融特徵計算平臺 前段時間一直在做內部的特徵平臺,這不還有部門發的PR稿-滴滴金服風控升級:上線特徵計算平臺 已沉澱5000+特徵,也算是給自己的交代了,今天主要 介紹一下該計算平臺,以及沉澱下來的東西。 背景 金融的核心是風控,風控

原创 2017年終總結(數據開發,數據分析)-忙亂

2017年終總結(數據開發,數據分析)-忙亂 每次都會感慨時間過得真快,這一次尤其明顯。不時有網友問到這一年都幹嘛了,怎麼一篇Blog都沒有?的確很汗顏,一呢2017年的確忙碌了很多,精力偏少,深入思考的少了;二是發現可輸出高價值的東西偏

原创 # mysql CREATE TABLE IF NOT EXISTS metadata lock坑

mysql CREATE TABLE IF NOT EXISTS metadata lock坑 今天早上被一聲聲警報聲給吵醒,拿起手機一看,too many processes,proc.num達到了529,我一愣,什麼情況,這報警是第一

原创 2016年終總結--一個Python程序員的跨界之旅

時間過得真快,感覺15年年終總結剛寫完,16年就結束了,看了blog,16年就寫了可憐的8篇,對我來說16年還算順風順水。真正可能出乎意料的是年底我離開了呆了2年半的龍圖遊戲,暫時放棄了用了3年半的Python,轉向了Java領域和數據倉

原创 Nginx容器動態流量管理方案-nginx-upsync-module+nginx_upstream_check_module初體驗

緣起 最近一直在研究日誌收集系統的框架,之前在線遊戲的數據發送都是由遊戲服務器發送的,我來之前一直是rsync傳輸,也還算穩定。但現在上了單機遊戲,只能由手機客戶端直接發送,dau比較高,最近很火的<<貪吃蛇>>在海外上線,一個星期dau

原创 如何面試Python後端工程師?

前一段時間有人在知乎提了http://www.zhihu.com/question/33398583,如何面試Python工程師?我斗膽回答了一下, http://www.zhihu.com/question/33398583/answ

原创 openresty+consul動態配置更新(服務變更發現)

最近在做數據收集平臺,用openresty往kafka裏push數據,不管是kafka broker也好,還是一個配置也好,希望做到動態更新,不需要reload openresty。尤其是針對接口調用的認證,配置很少,如果每次都去redi

原创 讀《《圖解TCP-IP》》有感

讀《《圖解TCP/IP》》有感 TCP/IP 最近幾天讀完《《圖解TCP/IP》》,收穫蠻多,記得上學時讀stevens的《《TCP/IP詳解》》時那是一個囫圇吞棗,沒認真看也看不下去。等有時間再拜讀下《《TCP/IP詳解》》吧,估

原创 Effective TCP/IP Programming讀書筆記

TCP/IP深入思考 這是我讀Effective TCP/IP Programming的 讀書筆記和思考,以及做的一些實驗。強烈建議後端工程師有空讀一讀這本書,有些細節的確是我們平時沒有注意的,讀了最好自己動手做一些實驗加深理解。 fi

原创 玩轉Python讓人討厭的編碼問題

Python的編碼問題基本是每個新手都會遇到的坎,但只要完全掌握了就跳過了這個坑,萬變不離其中,這不最近我也遇到了這個問題,來一起看看吧。 事情的起因是review同事做的一個上傳功能,看下面一段代碼,self.fp是上傳的文件句柄 fp

原创 golang sortedset 實現(基於redis skiplist)

在遊戲中排行榜是很常見的需求,之前一直使用的是redis的sortedset,剛好看到一個lua的實現,於是就移植到golang版本,github地址:https://github.com/Skycrab/go-zset,使用方法和re

原创 wrk 現代HTTP壓測工具,動態構建請求

HTTP壓測工具通用的比如apache ab, httpload, 但碰到有些請求是動態構建的,比如需要時間校驗,需要做md5加密,這些工具就比較尷尬了。還好有wrk(https://github.com/wg/wrk)你可以使用,可以內

原创 git遠程外網地址變內網怎麼破(ssh本地端口轉發)

git遠程外網地址變內網怎麼破(ssh本地端口轉發)? 最近給longtubas上了負載均衡,相對來說我們併發並不高,但希望可用性儘可能高,本來打算用不飽和的機器做個lvs集羣的, 但IDC說給個額外的公網ip需要申請機器,推薦我們用雲自