原创 微博數倉數據延時優化方案

前言 本文以離線數據倉庫爲背景,重點介紹因傳輸鏈路數據延時的不確定性,可能導致部分延遲文件無法參與正常的調度計算或同步,導致數據缺失的問題成因、業務影響及相應的解決方案。 關於這類問題的處理,有這麼一種論調:我們認爲正常情況下,

原创 團隊工作建議

文章目錄團隊工作建議目標兩個明確兩個保證需求對接業務邊界業務背景接入方式排期(時間點)其它服務變更變更時間點變更頻次變更通知變更操作服務保障(SLA)服務分級責任人故障響應故障總結 團隊工作建議 目標 兩個明確 明確核心工作目標

原创 Hive UDF使用資源文件及動態更新方案

文章目錄Hive UDF使用資源文件及動態更新方案背景資源文件動態更新Hive UDF Jar 動態更新結束語 Hive UDF使用資源文件及動態更新方案 背景 注: 本文中的“函數”等同於UDF,默認情況下特指永久函數。 Hiv

原创 Spark SQL ThriftServer

Spark SQL ThriftServer 啓動命令 默認情況下,Spark 日誌目錄 SPARK_LOG_DIR 指向 SPARK_HOME/logs,如因權限訪問控制,可以通過顯示設置環境變量 SPARK_LOG_DIR,將

原创 OKR實施方案

文章目錄OKR實施方案團隊文化/價值觀落地方案基於Gitlab的OKR實施方法 OKR實施方案 團隊文化/價值觀 集體責任感 團隊共同承擔項目成功或失敗的責任,每個成員對特定的重要結果負責。 敢於挑戰 直面問題、解決問題。

原创 Hive UDF使用資源文件及動態更新方案--後記

文章目錄Hive UDF使用資源文件及動態更新方案--後記 Hive UDF使用資源文件及動態更新方案–後記 在 Hive UDF使用資源文件及動態更新方案 一文中,針對UDF動態更新的問題,提出解決方案:UDF僅使用業務接口,初

原创 Wiki.js安裝部署實操手冊

文章目錄前言安裝要求服務器CPU內存存儲網絡域名數據庫Node.js瀏覽器環境準備DockerPostgreSQL部署Node.js安裝Wiki.js部署總結COMING SOON文檔搜索不支持中文不支持匿名用戶訪問開發人員數量可