重複勞動太多?那可能是你的機會

比如,對於Hive、Spark的性能調優,熟練的開發人員就是掌握了一些調優的方法,不能形成通用的方案,還是在日復一日的重複自己的工作,實質上沒有太大的提升。LinkedIn就開發出了工具Dr-Elephant來輕鬆定位性能問題。

比如,對於GC日誌的分析上,已經有成熟的工具直接分析GC日誌形成報表和優化建議,最後形成付費產品Easy GC。

比如,爲了解決大數據生態系統中需要插入更新及增量消費原語的攝取管道和 ETL 管道的低效問題,美團開發了針對Hive數據的merge,Uber研發了Hudi。

如果覺得重複勞動太多,那可能是你的問題,也可能是你的機會。

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章