原创 網易傳媒基於 Arctic 的低成本準實時計算實踐
網易傳媒大數據實際業務中，存在着大量的準實時計算需求場景，業務方對於數據的實效性要求一般是分鐘級；這種場景下，用傳統的離線數倉方案不能滿足用戶在實效性方面的要求，而使用全鏈路的實時計算方案又會帶來較高的資源佔用。 基於對開源數據湖方案的調研
2022-11-10 13:54:35
原创 Apache Kyuubi 在B站大數據場景下的應用實踐
01 背景介紹 近幾年隨着B站業務高速發展，數據量不斷增加，離線計算集羣規模從最初的兩百臺發展到目前近萬臺，從單機房發展到多機房架構。在離線計算引擎上目前我們主要使用Spark、Presto、Hive。架構圖如下所示，我們的BI、ADHOC
2022-10-28 13:52:27
原创 Arctic 基於 Hive 的流批一體實踐
背景 隨着大數據業務的發展，基於 Hive 的數倉體系逐漸難以滿足日益增長的業務需求，一方面已有很大體量的用戶，但是在實時性，功能性上嚴重缺失；另一方面 Hudi，Iceberg 這類系統在事務性，快照管理上帶來巨大提升，但是對已經存在的
2022-10-28 13:52:27
原创 KubeCube 新增版本轉換：K8s 嚐鮮再也不用擔心影響老版本了
多租戶可視化 K8s 管理平臺 KubeCube近日迎來了新版本的發佈，新版本增加了 K8s 版本轉化、HNC GA 版本適配、審計信息國際化、warden 主動上報模式，爲集羣和項目設置 Ingress 域名後綴等特性，也修復了若干已知問
2022-10-21 13:53:02
原创 SparkSQL on K8s 在網易傳媒的落地實踐
隨着雲原生技術的發展和成熟，大數據基礎設施積極擁抱雲原生是業內發展的一大趨勢。網易傳媒在 2021 年成功將 SparkSQL 部署到了 K8s 集羣，並實現與部分在線業務的混合部署，到目前已經穩定運行了一年多。期間傳媒聯合杭研 Spar
2022-10-18 13:53:37
原创 Service Mesh Summit 回顧 | 輕舟服務網格的無侵入增強 Istio 經驗
在雲原生社區近日主辦的 Service Mesh Summit 2022 服務網格峯會上，網易數帆雲原生技術專家方誌恆分享了輕舟服務網格無侵入增強 Istio 的經驗，本文據此次分享整理，介紹了對無侵入和實現的思考，輕舟服務網格演進過程中
2022-10-15 13:52:31
原创 基於 Impala 的高性能數倉實踐之物化視圖服務
本文將主要介紹 NDH Impala 的物化視圖實現。 接上篇，前兩篇分別講了執行引擎和虛擬數倉，它們是讓一個 SQL 又快又好地執行的關鍵。但如果某些 SQL 過於複雜，比如多張大表進行 Join 並有大量的聚合類操作，那麼再優秀的執行引
2022-10-14 13:53:12
2
原创 走向現代化數據分析架構：趨勢與挑戰
本文是網易副總裁、網易杭州研究院執行院長、網易數帆總經理汪源在ArchSummit 全球架構師峯會的演講實錄，分享對數據分析技術相關的趨勢的觀察和思考。 我來自網易杭州研究院，網易有不同的事業單元，包括媒體、教育、音樂、嚴選、遊戲等，我們團
2022-10-12 13:52:44
原创 汪源：數據分析熱詞迭出，“三個統一”值得關注
從流批一體、湖倉一體、NoETL、數據中臺到DataOps，現代數據分析領域熱詞迭出，企業如何抓住本質，經營數據生產力以提質增效？ 9月26-27日，ArchSummit全球架構師峯會杭州站舉辦，網易副總裁、網易杭州研究院執行院長、網易數帆
2022-09-30 13:52:21
原创 構築開放式大數據架構，Apache Kyuubi和NDH榮登開源OSCAR
【點擊瞭解更多網易大數據技術】 在9月16日召開的“2022 OSCAR開源產業大會”上，中國信息通信研究院發佈了一系列開源研究成果和開源表彰，網易數帆發起的開源項目Apache Kyuubi榮獲“OSCAR尖峯開源項目及開源社
2022-09-18 13:56:16
原创 重磅嘉賓、最全議程新鮮出爐，2022網易數字+大會精彩搶先看！
【點擊即可報名】 經濟發展、數字化加速的今天企業數字化轉型仍舊面臨不少困惑：轉型目標與可落地的價值之間相距甚遠？擁抱雲原生，新架構下如何推動業務創新？海量數據如何轉化爲業務資產？發展岔路之下，怎樣找到變革增效最優解？ 9月23日，以“數智新
2022-09-17 14:03:08
原创 不到十天，這個智能答題系統搭建完成…低代碼爲數字政府按下“加速鍵”
【點擊領取中國信通院《低代碼發展白皮書（2022年）》】 9月1日-9月15日，由杭州市數據資源管理局（以下簡稱市數據資源局）主辦的《浙江省公共數據條例》有獎知識競賽活動正式啓動。該活動旨在加強公共數據管理，促進公共數據應用創新，保障數字化
2022-09-10 13:56:09
1
原创 定了！這場9月網易必看大會重磅來襲，報名通道正式開啓！
【點擊報名，還可獲取活動熱點諮詢】 剛剛，網易數帆正式宣佈 2022網易數字+大會，定檔9月！ 23日再聚杭城，線上線下精彩同步開啓！ 網易數字+大會已連續舉辦5年，是網易重磅打造的數字化及數字新基建領域年度主題盛會。2022年度的火熱迴
2022-09-07 13:52:43
原创 Apache Hudi X Apache Kyuubi，中國移動雲湖倉一體的探索與實踐
分享嘉賓：孫方彬 中國移動雲能力中心 軟件開發工程師 編輯整理：Hoh Xil 出品平臺：DataFunTalk 導讀：在雲原生 + 大數據的時代，隨着業務數據量的爆炸式增長以及對高時效性的要求，雲原生大數據分析技術，經歷了從傳統數倉到
2022-09-07 13:52:43
原创 Apache Kyuubi 在小米大數據平臺的應用實踐
導讀：今天分享的主題是《Kyuubi 在小米大數據平臺的應用實踐》，主要分爲四部分內容： Kyuubi 在小米的落地過程 打造易用和高可用的 Kyuubi 服務 基於 kyuubi 的改進 kyuubi 的一些新特性在
2022-09-03 13:52:13
5