在近日舉辦的 ApacheCon Asia 大會主題演講上，Kyligence 聯合創始人兼 CEO，Apache Kylin PMC 韓卿給大家帶來了「From Open Source to Product，開源項目產品化的思考與實踐」的演講，分享了 Apache Kylin 的最新進展及未來規劃，技術和產品思維的對比，以及如何通過產品思維去運營開源社區/項目等話題分享，想了解更多快往下看吧~
以下爲韓卿在大會的演講實錄：
大家好！我是韓卿，非常高興今天能夠在 ApacheCon Asia 給大家分享。我記得上次參加 ApacheCon 是在 2016年的溫哥華，當時 Apache Kylin 作爲首個來自中國的頂級項目剛剛畢業，我們在 ApacheCon 上進行了分享，也參與到了國際社區中。在過去的五年中，我們看到很多來自中國的項目，不斷進入孵化器，然後畢業成爲頂級項目，整個社區我們的聲音也越來越多，我很高興看到，來自華人的力量、技術及內容越來越多地在全球開源社區裏進行發聲。
我相信今天有非常多的同學會帶來開源文化、社區運營、技術等話題分享，我想從另外一個角度，也就是產品的角度，給大家分享一些我們的經驗和看法，即如何用產品思維去運營一個開源項目。今天的分享主要是以下三部分：
-
Apache Kylin 的簡介及未來規劃
-
開源項目中的技術 VS 產品
-
如何通過產品思維運營開源社區/項目
Apache Kylin 的簡介及未來規劃
Apache Kylin 是在 2014 年從 eBay 中國研發中心貢獻到了 ASF，成爲了孵化器項目，在2015年的12月，Apache Kylin 畢業成爲了頂級項目，這也是第一個來自中國的頂級項目。IPMC 的 VP Ted Dunning 也當時給了我們非常高的評價，他說 Apache Kylin 代表了中國以及亞洲國家在國際開源社區裏的貢獻和參與。
Apache Kylin 誕生幾年來，已經收穫了超過 1500 多家客戶，全球客戶從我們的老東家 eBay，包括 Cisco、Walmart、Apple、Amazon、Microsoft，以及歐洲的 OLX Group 等；同時也有非常多的國內客戶，規模以上的互聯網公司很多都將 Apache Kylin 作爲他們在整個大數據分析裏面不可或缺的一個組件，我們也非常高興看到越來越多社區朋友爲 Apache Kylin 的演進與迭代持續做出了貢獻。
Apache Kylin 用來做什麼的呢？如架構圖所示，Kylin 其實充當了傳統的數據倉庫中最核心的一塊——數據集市或者說 OLAP 層，用戶會在 Kylin 裏面定義相應的數據模型，包括星形模型、雪花模型以及星座模型等，在今年初發布的 Kylin 4.0.0-beta 中我們已經去除了對 Hbase 的依賴，可直接使用 Parquet 作爲存儲，能在雲原生時代更契合雲上的應用，這也是我們接下來整個產品演進之一。
除此之外，Kylin 也有非常多其他演進，比如支持實時能力，包括使用 Flink 進行相應的處理。整個過程中，萬變不離其宗，我們是爲用戶的 OLAP 能力所服務。最近業界技術也在不斷髮展，Kylin 社區也希望通過不斷創新，能夠兼併所長，爲社區用戶帶來更多價值。各位同學如果對這些技術或話題感興趣，歡迎加入到 Kylin 社區一起來討論和貢獻。
案例分享
介紹兩個簡單的案例。第一個案例是來自歐洲的電信公司。這個案例是我在西班牙做展會的時候認識的，他們當時做的是整個國家的網絡質量的分析、通訊，包括使用手機的型號、版本以及相應的內容，來提升整個網絡服務質量的監控和管理。他們僅需要一個非常小的 Hadoop 集羣，在較小的成本下就可以支撐大量的應用。
第二個案例是來自德國的跨境電商平臺 OLX 集團，OLX Group 是全球互聯網巨頭 Prosus 公司的一部分，Prosus 也投資了騰訊等公司，他們使用 K8s 來部署 Apache Kylin，同時使用 Amazon EMR 將 Kylin 的 HBase 集羣與 Hadoop HDFS 託管在一起，並且將數據備份到 S3 中。該數據架構還擁有一個自動還原過程，當發現部署中發生崩潰時，該過程可以隨時從 S3 恢復所有環境。OLX Group 將 OKTA 用作用戶登錄的 SAML 聯邦身份認證，也把 OpenLDAP 用於用戶授權。分析師和非技術用戶可以使用一致、全面監控、穩定且可擴展的跨團隊環境，輕鬆順暢地構建多維數據集並使用 Apache Kylin。更多案例詳情大家可以參考👉 Kylin on AWS 雲上運維實踐｜揭祕 OLX Group 全球數據基礎架構
Kylin 版本迭代
接下來介紹一下 Apache Kylin 現在的版本情況。
在今年發佈的 Kylin 4.0.0-beta 中，我們已經去除了對 Hbase 的依賴，支持基於 Parquet 的存儲，並且 Apache Kylin 4 已經在不同企業開始測試並上線，例如有贊等社區用戶已經在 Meetup 中分享了一些性能優化和運維實踐，效果還是相當不錯的。
我們今年還會做幾個比較重要的工作，一個是支持 Spark3，能夠快速引入到 Spark 最新能力。另外，Apache Kylin 在很多時候是以性能著稱，但大家對性能的追求永遠沒有終點。我們計劃今年帶來新的技術，包括 LocalCache 以及 SoftAffinity 等。存儲和計算雖然分離，但又要在軟親和性能力上可以放到一起，這對我們來說是比較新的一塊領域，也在不斷地進行探索，希望各位有興趣的點可以在這個上面，在社區裏可以給我們進行進一步的探討，我們已經做了相關的研究，我們可以看到這裏能夠帶來的非常大的變化，能夠不斷地提升系統的性能和穩定性。
另外一方面，我們也會在接下來不斷地想辦法去除對整個 Hadoop 的依賴，雖然 Apache Kylin 在出生時是作爲 Hadoop 上的 OLAP，但是隨着這兩年雲計算的迅速發展，雲原生已經是大勢所趨，我們今年也會花比較大的精力去更好地擁抱雲原生。
得益於 Apache Kylin 最早的可插拔架構，使得我們對於相應的依賴其實都是有條件隨時更換底層存儲的，我們也在逐步遷移到 K8s 上。
未來我們也會更多地在整個的 CloudNative 上不斷進行一些投入。核心的目標，我們希望能夠將 Apache Kylin 從原來依託於 Hadoop 做 OLAP，變成轉換爲一個純 self-contained 的 OLAP 的能力。我們也會將整個資源的調度、依賴完全遷移到 K8s 方面上，我們會將存儲更多面向到對象存儲上，我們也希望將其他的一些組件不斷地更換成更加通用的組件之後，使得整個的依賴會更少、部署更簡單。
我們預期在明年做到，用戶給到一堆機器，或者一些 K8s 的資源，我們就能夠直接部署上、使用起來，不再需要任何 Hadoop 的依賴。好處在於，一方面我們會確保整個的系統會平滑地過渡，這對於現在使用 Hadoop 的客戶來說，是非常重要的；客戶在保護現有投資的同時，在向未來轉變的過程中，不用擔心很多事情重來一遍。我相信，在未來的三到五年，隨着雲計算、雲原生的崛起，一定會對 Hadoop 帶來一些影響。如何平滑地過渡？如何更好地將現有的這些應用以最小的成本、最小的代價遷移過去？我相信這是一個非常值得探討和投入的方向。
技術 VS 產品
接下來，給大家分享我們在打造開源項目以及運營社區過程中得到的一些思考。在技術方面，這次大會有很多技術專家和行業大佬，但是在產品方面可能會被略微忽略，今天我想探討技術和產品相關的話題。
借用這張圖，大家可以看到產品和技術其實是不一樣的。技術研發更多地是突破某一個技術上的挑戰，然後去做創新，但是產品往往是將一些技術或者想法變成市場的行爲，能夠滿足更多的用戶和應用場景。兩者的出發點其實也不一樣，技術往往是從某一個點進行深入地研究和投入，但是產品可能首先要想市場情況、生產成本等問題，兩者不一樣，但又是緊密相連的。
技術是讓自己爽，產品是讓別人爽。技術讓自己爽的原因在於，是說我們今天做了一個很好的算法、架構或者框架等，自己會有很大的成就感。但是我們做產品的時候，情況就不同了，因爲只有自己爽是不夠的，我們一定要讓別人爽，用戶要用得開心、用得舒服。
以 Apache Kylin 爲例，剛做出來的時候我們都非常興奮，但是在剛開源出來的前三個月，我們非常痛苦，因爲社區裏很多用戶發現在兼容性、編譯、適配等方面都出現了各種問題。在這兩年我們的工作中，更大的感悟在於，如果只是把一個技術點做出來是遠遠不夠的。我們如何讓更多的人使用好你的技術？也就是，你的產品怎麼讓別人用得爽？這其實要思考的往往比技術角度要多得多，甚至很多事情是不得不去做的。
另外一點，我們講技術更專注在問題本身，產品更專注在價值本身。技術往往是我們碰到了一些挑戰，比如是性能、併發、或者某些算法等，通過一些技術、論文、能力，把它變成一個解決方案。但是從產品角度考慮，非常重要的是在技術解決了問題之後，我們如何把它變成一個有價值的產品。這裏不是說要把項目變現，因爲開源項目本身就是免費的，我們更應該關注的是，如何讓用戶能夠獲得從項目中獲得價值？這其實是一個非常有挑戰的點。
我最早去美國進行社區交流的時候，很多人會問爲什麼會把 GUI 都開源出來了？這是一個非常重要的點，如果我們只關注在技術本身，只有分享一個腳本能夠解決問題嗎？或許能解決，但是用戶要花大量的工作去使用它。我們直接把 GUI 給開源出來，就是希望用戶可以直接使用起來。當產品越來越容易使用，就能給用戶帶來更多價值，用戶能關注到解決問題之後的業務價值，而不在於技術本身。大家對性能的追求是沒有終點的，但是仍要通過一些創新的方式來追求技術和產品這兩者的平衡。
我總結下來一句話叫做沒有好的技術，產品一定沒有競爭力，但是如果沒有好的產品，技術就沒有生命力。優秀的技術出來之後，一定需要產品讓人去使用起來，好的技術需要好的產品來配合，同時好的產品也需要有技術來作爲支撐。
我們可以看到，開源是目前最佳的、也是最快的讓基於技術的產品不斷打磨的方式，通過開源，能讓一個項目更快地成熟、被使用、甚至教育市場等。尤其是這一兩年，開源社區和項目得到了更多關注，也希望未來有更多朋友不斷被激發，去從參與開源、貢獻開源，不斷壯大開源社區。
如何通過產品思維運營開源社區和項目
接下來分享如何像產品一樣去運營開源項目。參與開源這麼多年以來，給大家的建議是希望各位能夠從技術角度之外做一些思考，因爲即使是一個很簡單的開源項目，甚至一個小工具，也需要不斷地去宣傳、演進，去找到用戶。這其實和做一個產品本質上沒有任何的區別，我們經常開玩笑說產品經理是一個產品的 CEO，其實對於一個開源項目的負責人來說，其實就是這個項目的 CEO，如何運營好產品和社區，已經超越了技術本身。
上圖是 Product Led Growth，這個圖常常被用來描述商業產品的發展階段，但是其實開源項目也是一樣，只不過整個過程中，可能不太需要市場和銷售團隊，因爲開源社區本身已經可以做到了。
開源在這個階段的好處是什麼？當一個新技術或產品走向市場的時候，能以更早的時間、更低的成本讓用戶使用起來。但是，在後期階段，有一點不容忽視，大家可以看到圖上有一個 Customer Success Team，對應到開源社區就是去不斷地做社區運營、用戶支持等。
從 Apache Kylin 開源早期到現在，我們對社區的支持依然是非常繁忙的，其實大家也可以看到，在整個的過程中，我們的目的其實是讓開源的用戶用起來，和這個 Life Cycle 是高度重合的。
除此之外，如果你想把一個開源項目做大，我是非常推薦大家去看一下 A16Z 的 Go-to-Market Model 的，這裏有兩個不同的模式，一種叫 Top down，一種叫 Bottom up，其實是通過不同方式去打開方向，這裏就不再多做介紹了。
開源一個項目其實只是開始，對於運營的負責人來說，不可能靠一個人就做到所有工作，必須通過相應方式去組隊。最近，我也看到越來越多中國的開源項目在這方面上進行了巨大投入，的確也帶來了巨大的影響和收穫，也希望這張圖給大家帶來更多關於開源項目及產品的思考。
最近和很多做開源的朋友聊天，其實在運營開源項目中，我們很容易陷入一個點，例如很多人做了某個開源項目，收穫了非常多的用戶，但是如果想把它變成一個更大的夢想，往往會發現存在不少挑戰。
這幅圖可以幫我們去設置產品能力，匹配行業需求，解決客戶真正的痛點，才能收穫更多用戶。以 Apache Kylin 爲例，當時在 Hadoop 上做大規模的數據分析其實是非常難，而且是效率很低的。通過 Apache Kylin 的 OLAP Server，能讓用戶在最短時間內獲得分析報告，無需花大量時間去跑各種腳本等，當用戶有一個痛點，我也有一個非常好的解決方案，同時這個解決方案還有巨大的普適性，客戶就會越來越多地使用起來。當我們設計自己的開源項目或者技術的時候，一定要回答產品價值、定位等問題，如果回答不出這些業務角度的問題，可能就會把產品帶往錯誤的方向。
最後給大家分享一下死亡之谷。雖然這個常常用於評估創業公司，但對於開源項目來說，其實本質是一樣的。任何一個開源項目都要自己的生命週期，當然，很多開源項目往往也躲不過死亡之谷。
最近，其實大家也看到很多 Apache 項目已經被淘汰了，其實是因爲它在某種程度上可能失去了一些價值等。在運營開源項目的時候，希望大家一定要有這樣的意識，不是說我們把它開源出來，就一定有人使用，或者是說它會長存，它一樣會經歷死亡之谷的過程，我們都能做的就是讓開源項目去不斷演進和迭代，給用戶帶來更大的價值。
舉一個例子，在 Apache Kylin 開源的五年多來，如果我們還只是提供基於 Hadoop 的解決方案，可能再過幾年就會慢慢消失了。在社區發展過程中，我們也是不斷地探討，希望抗過一個又一個的死亡之谷。從去年開始我們逐步擁抱雲原生，這幅圖希望大家給大家帶來更多思考，尤其是每個開源項目的負責人，對自己和社區都負責任。
非常感謝各位，也希望有機會可以和大家聚一下，一起聊聊如何把開源做得更好，不僅在中國做大社區和影響力，甚至能夠影響到全球。