記者 | Sherson
責編 | 唐小引
頭圖 | CSDN 下載自東方IC
出品 | CSDN（ID：CSDNnews）
採訪背景
6月16日,世界經濟論壇(World Economic Forum)從全球範圍內選出了100家新興科技企業, 將其評爲2020年度技術先鋒(Technology Pioneers)。作爲全球新興科技的代表企業,技術先鋒們用尖端技術解決全球問題,推動未來變革。其中, 9家中國創新代表企業榮譽上榜,觀遠數據作爲國內創新企業代表,憑藉在“AI+BI”領域的產品和方案創新力實力入選。觀遠數據在泛零售與消費行業深耕多年，其客戶包括聯合利華、百威英博、全家、沃爾瑪、赫基集團、小紅書等等，通過自助式分析，降低傳統BI使用門檻，同時賦能管理端與業務端，讓不懂技術的業務人員也能快速上手；同時打破數據孤島，讓數據從業務中來到業務中去，打造從數據到決策的閉環。
這次，CSDN有幸邀請到了觀遠數據聯合創始人兼首席架構師吳寶琪來給大家分享BI（商業智能）的技術要點、難點與其對應的解決方案；BI團隊人員架構的設計；最後深入解讀BI的未來以及企業級應用的發展趨勢。
CSDN: 作爲觀遠數據的聯合創始人與首席架構師，請您簡單介紹一下自己和觀遠。
吳寶琪 : 我本碩均就讀於南開大學，2007年畢業來到杭州加入微策略, 2014年加入阿里，2016年決定和幾個老同事一起創業，成立了觀遠數據。目前，觀遠數據已經成長爲一家國內新銳“AI+BI”智能數據分析公司。我們大部分的小夥伴在商業智能和大數據分析領域有過多年從業經驗，做得了技術，拼得了業務，講得了方案。公司在管理上也非常扁平化，技術氛圍很濃。另外，我本人是開源使用者，也是多個項目的貢獻者，去年作爲 Apache DolphinScheduler 的PPMC參加了 Apache DolphinScheduler 的首屆用戶大會，並作了分享。
CSDN: 一個好的智能數據分析團隊的人員架構是怎樣的？
吳寶琪 : 大致可以分爲三層：前臺，中臺，後臺。後臺主要就負責產品研發；中臺偏服務實施，例如解決方案顧問，數據架構師等；前端主要是銷售人員。具體的人員架構還要根據方向來決定，例如在觀遠，我們研發部門的AI團隊可以分兩個部分：一是AI探索團隊，有許多算法科學家，會基於觀遠自己的數據平臺分析數據，並結合notebook等工具發揮算法探索和模型能力；二是AI工程團隊，AI要真正用起來，算法和模型只是一部分，真正上線需要對應的工程平臺來提供更完整的能力，比如結合歷史與預測數據進行的偏差分析，不斷更新的行業特徵庫，運維自動監控，以及模型動態優化等等，以形成決策閉環。
CSDN: BI在實施過程中有哪些技術難點？
吳寶琪: 首先我想梳理一下BI的整體技術點，主要包含以下幾部分：
1.數據可視化：將數據通過合適的可視化圖表展現出來，例如可視化企業報表。
2.數據整合：大多時候企業數據其實散落在不同的系統中，比如ERP、OA、CRM、財務等。這些系統雖然實現了業務數據化，另一方面也會造成信息孤島，因爲每一個系統都是一座孤島。所以，BI一定需要具備將不同的數據融合到一個分析模型或平臺中的能力。
3.數據分析：在完成數據接入整合之後，通過適當的統計、分析方法對收集來的大數據進行彙總、理解和消化，以求最大化地開發數據的價值。包括過濾、篩選、聯動，下鑽等操作。
4.企業集成：BI如果單獨作爲一個系統存在依然會給各部門帶來使用負擔，所以，還需要能集成到企業內部系統（如釘釘、企業微信）中，和公司人員架構進行打通，實現自上而下的權限管制。
5. 數據分發：沒人時時刻刻盯 BI系統，在有了內容之後，我們要把有價值的數據通過郵件、企業微信、釘釘等工具分發到相關的負責人手中。
6. 智能決策：BI的未來一定是智能分析與決策，也是我們與不少客戶從BI開始合作，陸續進入到AI層面應用的典型路徑。
上述幾點中，其中數據整合和終端展現方式在BI的落地過程中相對較難。很多企業即使做了多年的信息化建設，但是在做數據分析時，依然會發現缺乏高質量、高集中的數據資源。所以在信息化搭建之初，就需要站在高處，用更全的角度看待問題，做好數據積累。其次，不同的終端使用者對於數據應用的展現需求也不一樣，CEO在辦公室可能需要數據大屏，一線業務人員則需要將最簡單的數據指標呈現在移動端就可。所以，要求BI產品在應用端有多種展現形式，能夠把優秀經驗沉澱到數據分析模型中，讓每個使用者都可以快速上手。最後也是最難的一點，不是在技術層面，而是如何將BI產品與業務深度結合，做出標準化、場景化的數據分析模型。這也是觀遠和其他BI產品不一樣的地方，我們沉澱了覆蓋零售消費、互聯網領域成熟的數據分析方案，可以幫助企業快速落地。
CSDN:BI（商業智能）這個帶着濃烈商業性質的概念的提出其實可以追溯到1996年，發展到2020年，BI已是一個相對成熟的市場，國外有Tableau、MicroStrategy，DOMO，Thoughtspot等等。就市場上目前的BI工具，平臺和廠商，您可否從工具本身出發，簡單分析一下各家平臺的優缺點？
吳寶琪: 不同時代，BI產品特點也不盡相同。第一代BI是傳統企業級BI, 主要特點是有“三強”——強IT；強管控；強建模。功能全，但是缺點也很明顯，第一、門檻特別高，使用人員如果想要上手，其培訓時間有可能要2周到3個月；第二企業規劃後建模週期長，實施週期長；第三、改變起來很麻煩，修改先從模型修改開始，一層層逐步改到具體報表，往往從IT接到需求，到最終完成可能要兩個月時間，這個效率是無法快速響應企業發展的，並且過於依賴於專業人員。
二代BI是敏捷BI, 例如之前談到的Tableau，它的優點是上手快但是在企業中是缺少管控，缺乏標準。所以發展到三代，我們就要求既要敏捷又要有管控。另外，爲了能解決更多的客戶實際場景，觀遠也內置了一個強大的計算引擎（Apache Spark），這樣能實現很多傳統BI不具備的能力，比如：我們的Smart ETL能使得業務人員也能用“拖拉拽”的方式快速處理、融合數據，做到更快的業務響應。
CSDN: 在搭建自己的平臺和使用第三方工具之間，企業用戶應該如何選擇？
吳寶琪：企業需要多維度去考慮。首先是成本的問題：毋庸置疑，採購比自研成本低。但是爲什麼要自研呢，之前一般有如下幾個出發點：一是認爲公司的數據量太大，海量的數據，採購標準BI可能支撐不了（但是，現在的OLAP數據庫發展的很快，比如ClickHouse也能低成本的處理海量數據）；另一個是公司可能會有一些特殊的定製需求（一般採購的標準BI也可以提供一些插件擴展，來滿足一定的定製需求）。所以，一般來說沒有必要自研，除非其BI和業務強關聯，需要業務全流程打通，這時自研包括BI在內的一整套完整系統也許是有意義的。其次和國外產品對比的話，本土BI從服務來說遠遠優於國外廠商，所有問題都第一時間解決，定製化的需求也完全可以滿足。另外有時候IT部門其實也想去自己創造效益，大家通常都認爲IT部門是成本部門，是無法直接盈利的，但是現在CIO們也有自己的想法了，想讓IT部門盈利，做一些業務系統，做一些BI系統，再賣給其他的第三方，不過這個其實是比較難的。
CSDN: 要如何選擇第三方工具呢？
吳寶琪：如果是要選第三方，肯定要選一些相對成熟相對開放的平臺。怎麼理解這個開放？例如它可以提供多種部署方式，一方面在阿里雲或者騰訊雲等主流雲服務商上都沒問題，當然自己的機房也要沒問題；另一方面是需要對方提供一些相關的功能，例如API，方便你去組裝或者是定製，然後還有一些插件體系，方便你去擴展。
CSDN:觀遠產品設計的底層邏輯是什麼？在產品上有哪些細節是跟隨着前沿科技走的？
吳寶琪：首先得益於開源技術的發展，大大提升了產品研發的效率，成熟的開源軟件不光貢獻者衆多，也在大量用戶那裏驗證了其穩定性，比如：觀遠的核心計算邏輯很多都基於Apache Spark這個非常流行的計算引擎。其次是雲原生（Cloud Native）時代，通過kubernetes這個集羣管理操作系統，觀遠既支持公有云也支持私有云的部署，增強了系統的可擴展性。另一個核心思想是：存儲和計算分離，比如數據太多，硬盤存儲不夠了，我們可以單獨擴展存儲部分；計算能力不足，需要更快的計算，我們也可以單獨擴展計算能力，而之前的架構都是存儲和計算是一體化的，之前只能同時進行擴展。存儲和計算的分離最終會大大減少系統的總擁有成本，並能提升系統的穩定性。
無處不在的數據分析思想，數據分析不光可以用於分析客戶的業務數據。我們也用數據分析的思想來分析自己的系統運行狀態，比如說：我們分析系統中到底是哪些SQL比較慢，哪些Spark任務比較慢，然後對於這種慢的任務，我們會進一步分析其慢的原因，比如：它到底是數據分佈不均勻導致的性能問題，還是說我們生成的SQL可以換成更優化的方式等，最終我們也會把這些慢的任務，以及系統的運行情況做成展示圖表，方便客戶瞭解系統當前的運行情況以及潛在的系統問題。
CSDN：有沒有哪些行業是觀遠數據着重去做的，下一步的計劃是？
吳寶琪：觀遠數據過去幾年主要深耕泛零售與消費領域，包含連鎖賣場、超市、茶飲、便利店、百購地產、快消品等細分業態，目前，我們合作的都是這些業態裏的頭部和中腰部客戶，例如聯合利華、百威英博、全家、見福、上蔬永輝、明康匯、蜜雪冰城、奈雪的茶、赫基、Lily、歐萊雅、元氣森林等。另外，2020年，我們也在加強泛互聯網品牌的合作，包括小紅書、蜜芽寶貝、西瓜創客等，以及揚子江藥業、阿斯利康、華寶國際等行業巨頭。不同的行業，觀遠提供的方案是不一樣的，例如，互聯網企業本身有比較好的IT能力，所以我們和這類客戶的合作主要是偏產品層面，提供輕代碼甚至零代碼、可視化自助分析、實數數據分析等強大的產品能力。而對於零售消費客戶，觀遠數據在這方面配備了強大的顧問團隊，沉澱了針對各個細分業態的解決方案，可以幫助企業快速落地。就像前面所說，BI落地最大的難點是和業務相結合，因爲很多業務人員無法清楚地表達自己在數據分析方面的訴求，而觀遠就可以幫助他們從下到上整理數據分析需求，再從上打下梳理數據分析指標。
CSDN：未來，BI有哪些可能？
吳寶琪：我認爲，BI未來有以下三個發展趨勢：一是更實時化，目前大部分BI依然只能提供T+1的數據處理能力，而企業想要掌握快速決策能力，就必然會助推BI產品要提供更實時的數據分析能力；二是更智能化，未來一定會和AI、物聯網等技術進行更深度的融合，提供更加超前、精準的數據分析和預測能力；第三點，未來是會逐漸變爲一站式數據平臺，不僅僅是關心數據的採集，分析，更多的是關心如何把數據提供給業務系統使用，來改進業務系統，從而將所有數據串聯起來最後又迴歸到數據中去。
CSDN：歡迎做客CSDN，感謝分享。我們即將迎來CSDN20 週年年慶，您有什麼話想送給CSDN？
吳寶琪：我03年的時候就註冊了CSDN, 之後很長時間裏都一直訂閱程序員雜誌，所以說起來其實是CSDN的老用戶了。最近你們在做的開源的活動，直播的活動我都有關注，非常棒，希望接下來可以越做越好。
更多精彩推薦
☞厲害！國內大學生計算機編程第一人，一人挑戰一個隊，百度最年輕 T10，現創業自動駕駛
☞比 Hive 快 500 倍！大數據實時分析領域的黑馬
☞厲害！國內大學生計算機編程第一人，一人挑戰一個隊，百度最年輕 T10，現創業自動駕駛
☞一隻端午節鴨蛋糉子的背後：AI 與農業
☞淺談分佈式存儲中的網絡通信
☞Balancer因通縮代幣STA遭遇閃電貸攻擊，價值50萬美元資產被黑
你點的每個“在看”，我都認真當成了喜歡