一站式數據開發工具構思

正在思考在數據項目中，提供一個什麼樣的開發工具，可以提高數據治理效率，降低ETL門檻，在政府項目中可以讓更多的委辦局利用雲平臺完成數據治理的工作。下圖是初步構建的一個功能，不同於kettle等ETL工具，這個工具希望能將盡可能多的業務規範、業務概念整合爲開發組件，將成熟的範式直接應用到數據清洗與融合的過程中，讓數據流程看起來更接近業務視角。另外，考慮到設計的數據流程直接轉換爲ETL腳本，可能會存在性能的問題，因此在發佈之前，引入編譯的過程，通過將流程節點進行合併優化，生成更加高效的ETL腳本用於作業執行。