Apache Paimon是一個流式數據湖平臺。致力於構建一個實時、高效的流式數據湖平臺。這個項目採用了先進的流式計算技術，使企業能夠實時處理和分析大量數據。Apache Paimon 的核心優勢在於它對於大數據生態系統中流式處理的支持，尤其是在高併發和低延遲方面表現出色。
目前業界主流數據湖存儲格式項目都是面向 Batch 場景設計的，在數據更新處理時效性上無法滿足 Streaming Lakehouse 的需求，因此 Flink 社區在一年多前內部孵化了 Flink Table Store （簡稱 FTS ）子項目，一個真正面向 Streaming 以及 Realtime 的數據湖存儲項目。
爲了讓 Flink Table Store 能夠有更大的發展空間和生態體系，Flink PMC 經過討論決定將其捐贈 Apache 進行獨立孵化。
2023年3月12日，FTS進入 Apache 軟件基金會 (ASF) 的孵化器，改名爲 Apache Paimon (incubating)。
第一個流式數據湖項目誕生，流式湖倉一體成爲可能，一個真正意義上的批流一體技術可能就此出現，傳統Kappa架構的實時數倉體系，也迎來了一次巨大變革。
其Github地址爲：https://github.com/apache/incubator-paimon
官網地址爲：https://paimon.apache.org/
目前Paimon在蓬勃發展中。
Paimon 創新的結合了 湖存儲 + LSM + 列式格式 (ORC, Parquet)，爲湖存儲帶來大規模實時更新能力。
流式湖倉（Streaming Data Lakehouse）是一個結合了數據湖和數據倉庫特點的新型數據存儲和處理架構。它不僅支持海量數據存儲，還提供了對實時數據流的處理能力，能夠滿足企業對數據即時分析和決策的需求。流式湖倉的出現，標誌着數據處理從批處理向實時處理的轉變。
目前，數據處理領域正在經歷一場重大變革，流式湖倉被認爲是未來的發展趨勢。其原因在於：
- 實時數據處理需求日益增長：隨着物聯網和在線服務的發展，企業需要實時處理和分析數據以快速做出決策。
- 技術進步：流式處理技術的不斷進步，使得處理大規模實時數據成爲可能。
- 數據集成和治理：流式湖倉可以整合來自不同來源的數據，並提供更好的數據治理。
Apache Paimon 正是在這樣的背景下應運而生。它通過提供一個高效、可伸縮、易於管理的平臺，幫助企業把握實時數據處理的機遇。隨着技術的不斷髮展和應用場景的拓展，Apache Paimon 及類似的流式湖倉解決方案將會在數據處理領域扮演越來越重要的角色。
鑑於此，大數據流動社羣決定成立Apache Paimon流式湖倉學習交流社羣，也希望更多對Apache Paimon感興趣的同學加入進來。
更多大數據、數據治理、人工智能知識學習，加入學習社羣，請關注大數據流動。
加入學習交流羣請關注大數據流動後臺回覆：Paimon學習交流羣