全球廠商之最,華爲17篇論文入選國際數據庫頂會ICDE

本文分享自華爲雲社區《全球廠商之最,華爲GaussDB&GeminiDB,17篇論文入選國際數據庫頂會ICDE》 ,作者:GaussDB 數據庫。

5月13-17日,國際數據庫頂級學術會議 ICDE 2024 於荷蘭烏得勒支舉行。華爲GaussDB 和GeminiDB 17篇論文入選,成爲全球論文入選數量最多的數據庫廠商。華爲愛丁堡研究所數據庫實驗室主任Nikolaos Ntarmos發表了題爲”Huawei Cloud GaussDB, a Better Way to Database“的演講,向全球的學術機構和代表介紹了華爲GaussDB的技術和商業成果。

1.png

ICDE全稱爲”IEEE International Conference on Data Engineering”(IEEE國際數據工程大會),與SIGMOD、VLDB 並稱數據庫領域三大頂會,是數據庫領域最權威的國際頂級學術會議之一,在國際上享有盛譽並具有廣泛的學術影響力。

ICDE收錄了各大研究機構以及科技企業在數據庫領域最前沿、最頂級的研究成果。ICDE 2024是第40屆IEEE國際數據工程大會,華爲17篇論文的入選,是華爲科研團隊與外部團隊或組織友好合作共同努力的結果。下面將摘選華爲在本次大會入選的部分論文,後續將對所有入選的論文進行專題解讀。

GaussML: An End-to-End In-database Machine Learning System

《GaussML: An End-to-End In-database Machine Learning System》論文是由清華大學、華爲和蘇黎世理工大學聯合共同完成,通過提升數據庫內機器學習算法訓練和推理的性能,深度滿足用戶實時性分析的訴求。該論文獲得大會評審組的高度評價,認爲其提出了一個全新的機器學習引擎。

原生庫內機器學習框架,簡稱GaussML,將機器學習訓練作爲執行算子,利用數據庫並行和分佈式能力,展示出超越業界同類產品10倍以上機器學習推理和訓練的性能優勢,主要能力包括:

第一,論文首次提出數據庫內原生AI機器學習引擎的架構,機器學習算法訓練和推理融合在SQL執行流程中,藉助數據庫的優化器、負載管理、併發處理、分佈式並行能力,實現機器學習訓練和推理的極致高效;

第二,GaussML同時構建庫內AutoML能力,可以自適應進行參數調整,根據負載變化進行模型更正,設計一種端到端模型自動調優的能力,簡化用戶調整模型參數代價,提升數據庫內模型的使用便利;

第三,GaussML通過在數據庫內置原生機器學習訓練和推理流程,實現端到端自動調優能力,構建完整的庫內機器學習引擎,支撐客戶業務的智能實時分析。該框架通過提供SQL-like接口,簡化數據科學家使用機器學習訓練和推理代價,支持常用的機器學習算法,滿足絕大多數客戶使用。

綜上,論文中提出一種全新的機器學習引擎,在多個公開數據集上該引擎表現出卓越的高性能優勢,向數據庫智能化發展上邁出了更遠一步。

GaussDB-Global: A Geographically Distributed Database System

《GaussDB-Global: A Geographically Distributed Database System》論文是華爲高斯數據庫技術團隊的研究成果。論文中提出了一種基於高精度時鐘同步方法的分佈式事務處理方法,並構建了跨地域分佈式的全球數據庫系統GaussDB-Global。該論文的主要實現:

第一,採用同步時鐘的去中心化方法,地理分佈式數據庫系統解決了中心化事務管理器的性能瓶頸問題,實現了中心化的事務管理到去中心化分佈式事務管理之間無縫過渡,提供了更加靈活、便捷的部署方式,實現一套集羣全球化部署。

第二,在分片數據的遠程讀取和長距離日誌傳送問題上,地理分佈式數據庫系統支持在異步副本上讀取,強一致性,可調整的新鮮度保證,以及動態負載均衡。在跨地域集羣上的實驗結果表明,與中心化基線相比,該方法提供了高達14倍的只讀性能,標準數據集TPC-C吞吐量高出50%以上。

QCFE: An Efficient Feature Engineering for Query Cost Estimation

《QCFE: An Efficient Feature Engineering for Query Cost Estimation》論文是由哈爾濱工業大學和華爲團隊共同完成,通過提出了一個高效的特徵工程方法(QCFE),解決了現有查詢語句評估時的特徵工程問題,該方法在時間-準確性效率方面取得顯著改進。論文的主要貢獻包括:

第一,提出了特徵快照(Feature Snapshot)的概念,用於整合被忽略變量的影響,如數據庫旋鈕、硬件等,以提高查詢成本模型的準確性。

第二,設計了差異傳播特徵減少方法,通過剪枝無效特徵,進一步提高模型訓練和推斷效率。

第三,引入了簡化的SQL模板設計,以提高計算特徵快照的時間效率。

第四,在廣泛的基準測試中,展示了QCFE相對於現有方法在時間-準確性效率方面的優勢,包括TPC-H、job-light和Sysbench等。

綜上,該研究的創新點在於提出了一種有效的特徵工程方法,能夠顯著改善查詢成本估算的時間和準確性。

TRAP: Tailored Robustness Assessment for Index Advisors via Adversarial Perturbation

《TRAP: Tailored Robustness Assessment for Index Advisors via Adversarial Perturbation》論文是由廈門大學、清華大學和華爲共同研究,通過提出一個基於對抗性擾動的工作負載生成框架TRAP,解決了現有的index advisor的魯棒性評估問題。

TRAP框架能夠生成有效的對抗性工作負載,用於評估index advisor的魯棒性。在index advisor的評估方面,TRAP具有明顯優勢。研究發現:

第一,通過對抗性工作負載的有效生成,可以準確評估index advisor的魯棒性,因爲這些工作負載不會偏離原始工作負載,但可以識別由於工作負載漂移而導致的性能漏洞。

第二,爲設計更具魯棒性的基於學習的index advisor,採用細粒度的狀態表示和候選剪枝策略可以提高性能。

第三,對於設計更具魯棒性的基於啓發式的index advisor,考慮索引選擇過程中的索引交互作用和多列索引的使用是至關重要的。

綜上,以上發現爲index advisor的設計和評估提供了深刻見解,並強調了在實際應用中評估index advisor的重要性。

Temporal-Frequency Masked Autoencoders for Time Series Anomaly Detection

《Temporal-Frequency Masked Autoencoders for Time Series Anomaly Detection》論文的問世,是爲了幫助時序數據庫通過提前感知異常來降低損失。通過設計了一個輕量的基於深度學習的時頻掩碼自編碼器異常檢測算法(TFMAE),展示了其在多個公開數據集上的良好性能。該論文被大會評審組高度評價,認爲其提出了時序異常檢測的新範式,最終無需修改被 ICDE 2024 直接錄用。

作爲首篇採用時頻掩碼對比的時序異常檢測論文,論文研究圍繞以下三點進行:

第一,提出了基於時間域和頻率域掩碼的時間序列異常檢測對比準則,其代替傳統重建誤差確定異常檢測閾值,這是一個不受分佈偏移影響的判斷準則。

第二,提出了基於窗口的時間域掩碼策略和基於幅度的頻率域掩碼策略以消除序列中潛在的異常觀察和模式。因此,TFMAE 是一個抗異常偏置模型。

第三,五個真實世界數據集與兩個合成數據集上實驗表明,TFMAE 在檢測性能與速度方面均取得提升。

綜上,《Temporal-Frequency Masked Autoencoders for Time Series Anomaly Detection》是首篇採用時頻掩碼對比的時序異常檢測論文,對醫療、製造、金融等行業的廣泛應用,具有現實推動作用。

本次大會華爲入選論文研究方向涉及AI4DB、時序數據庫、查詢優化、數據庫內機器學習算法訓練和推理……如此多的科技成果得益於華爲長期在數據庫前沿技術領域的探索和實踐,以及與全球頂尖學術機構共同解決數據庫領域世界難題,通過產、學、研、用深度融合,將前沿創新研究融入產品技術,構建健康的數據庫產業生態,爲客戶提供創新的、有競爭力的數據庫產品和服務。

未來,華爲將在數據庫領域持續創新,持續深耕,引領行業發展走出新高度。

點擊關注,第一時間瞭解華爲雲新鮮技術~

 

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章