B端大數據應用的架構實踐與思考

InfoQ:各位觀衆大家好,我們現在正在2018 QCon全球軟件開發大會上海站的現場,InfoQ很榮幸地邀請到了國雙科技 技術總經理何愷鐸老師接受我們的採訪,首先請何老師簡單介紹一下自己吧。

何愷鐸:好的,大家好,我叫何愷鐸,是國雙科技的技術總經理。我們國雙科技是05年成立,到現在有十幾年的歷史,在16年,我們在納斯達克上市,那麼在這十幾年當中,我們一直專注於做數據的分析和相關諮詢的業務,我們是一個爲企業服務的公司。

InfoQ:何老師,同樣是處理大數據,您認爲B端和C端大數據處理的最大差異是什麼,在架構實踐上需要做出怎樣的針對性調整呢?

何愷鐸:B端和C端的確有比較大的一個差異,我覺得最核心的一點主要體現在我們的B端需要同時適應多個客戶的場景和需求,有的時候我們也要針對一些行業的特點去進行更高層面的抽象。這裏面主要分析的抽象單位,可能有一些區別。所以在這裏面,我覺得抽象以及抽象對應的實現是B端大數據的應用當中最關鍵的部分,這也是在剛纔的演講當中,我們着重去剖析的那個部分。

InfoQ:那在架構實踐上需要做出哪些針對性的調整呢?

何愷鐸:我覺得主要就是針對這個多租戶的情況,以及在我們的演講當中提到的多態情況去進行比較針對性的設計,建立這樣一個以元數據配置爲中心的架構體系,應該是B端比較顯著的特點。

InfoQ:企業在做大數據轉型的時候從哪方面切入會比較好呢?

何愷鐸:這是一個比較大的話題了,我個人的建議是,我們可以針對我們現在企業的業務痛點去入手,圍繞當前這個業務的痛點去分析,對於這塊相關的數據進行妥善的梳理,然後評估針對這一塊和痛點相關的業務數據,能夠幫助我們去發現什麼樣的價值,以及我們可以採取怎麼樣的行動。

InfoQ:我們知道架構其實是在做一種權衡和取捨,比如在可用性、性能、準確性等方面,對於B端大數據應用的架構來說,哪些方面更爲關鍵呢?

何愷鐸:對於B端來講,剛纔您提到的這個我們不管是可用性還是性能,這些我覺得都是一樣的。比較有特點的,就是在B端來講,需要注意和成本的平衡,因爲不管是人力方面還是硬件方面,我們也沒有辦法去做無盡止的投入,我們需要通過巧妙的架構的設計,能夠在我們的成本和產出之間取得一個比較好的平衡,在做B端大數據架構的時候的確需要着重去考慮。

InfoQ:你們在做大數據轉型的過程中曾經遇到過哪些坑嗎?如果有重新再來一次的機會,你們有沒有想到更好辦法繞過它們或解決它們?

何愷鐸:我們在很多不同的產品,不同的研發的過程當中,的確也有一些經驗和教訓,我覺得比較需要小心處理的一個點可能是關於遺留系統的處理,因爲B端的特點決定了它可能會存在很多遺留的系統,或者說系統老的版本,但是我們爲了保證客戶服務的穩定性,我們是需要繼續對這些版本進行維護。所以我認爲這裏面特別要當心的,主要是在於說,對於,當我們對老版本的進行升級的時候,需要注意,它和老版本的一個兼容性,能夠保證對客戶有一個比較平滑的升級的體驗,這點是非常關鍵的。

InfoQ:根據現有數據去深入分析挖掘,或者基於業務去獲取數據,你是如何看待這兩種方式的?

何愷鐸:我覺得通過現有數據去分析,它成本比較低,就是我們現在可以看看現在手頭有哪些東西,讓他去給我們一些洞察,但是這個問題沒有一個一致的答案,因爲它最終還是取決於我們前面提到的業務的痛點在哪裏,如果圍繞這個業務的痛點,我們最需要分析的那個方向,它的數據如果是現成的,當然自然是最好,如果並沒有,那我們就需要花力氣去做相關的採集、梳理和治理的工作,這個更多的是取決於我們現有的數據是不是和我們的業務的痛點是匹配的,更多的是圍繞業務的需求去編排、管理、收集我們的數據。

InfoQ:也就是說這兩種方式沒有絕對的好?

何愷鐸:當然,還是要事先要想清楚,你業務上想要達到什麼目的,再去決定怎麼樣的數據去輔助這個目的。

InfoQ:企業做大數據轉型時,是不是組織架構也需要做一定的調整?

何愷鐸:這也是一個非常好的話題,因爲我們所有的事情都是和人相關的,最終由人來去落地和執行,企業的組織架構的確會有比較大的影響,在數字化轉型過程當中,不管是程度的深淺,還是進度的快慢,的確會有很大的影響,我見過兩種方式,一種方式更多的是業務驅動,業務部門有比較明確的需求,它來驅動,但是它需要IT技術的相關支持。

另外一種方式我們也見過,就是更多的是公司從IT去主導這個事情,我們需要建立數據平臺,做這個轉型,那麼它需要去聯合我們企業的其他業務部門,來達到這個目的,那麼我個人的感覺,如果說我們要把這個數字化轉型做得順利和徹底,它最好需要得到企業高層的一個強而有力的支持,讓這件事情不再僅僅從單部門角度去考慮這個事情,而是自上而下,能夠在企業當中去推廣這樣的一種方法論,我覺得這樣它的阻力和它最終的這個效果就會很好,這也是爲什麼現在很多企業會設立CDO,Chief Data Officer這個職位的,我想一個很重要的原因,就是爲了能夠自上而下去協調整個企業。

InfoQ:那在這個過程中它會對應用架構產生怎樣的影響?

何愷鐸:應用架構你指的是哪個方面的?

InfoQ:就是我們那個技術方面的。

何愷鐸:啊,就是對應的這個技術是吧?明白。我覺得它更多的,當這個組織架構梳理得比較清晰了,並且能夠形成這樣的一個自上而下的這個體系的時候,對我們的應該說是先影響到我們的產品的架構,因爲產品會定義我們的組織當中的不同的角色,他們之間的分工,以及一個事情的流轉的這樣的一個方式。所以它組織架構首先會影響產品架構,產品架構就會影響我們的技術架構,是這樣一個邏輯。

InfoQ:如今圍繞大數據有很多的平臺和框架,在解決方案選型時,針對不同的業務特點是不是需要做出不同的搭配?針對不同的行業,你是否有一些推薦的備選項呢?

何愷鐸:現在的這個應該說在大數據處理方面已經非常成熟,百花齊放的一個狀態,我們有很多,可能做一件事情也有不同的框架去進行選擇,我的一個建議呢,是可以根據我們企業現在的人才的一個情況,我們對於哪一塊比較熟悉,哪一種方式,我們比較駕輕就熟,那麼這樣呢,我們可能能夠花比較少的時間在學習上,而是能夠更多的專注在業務問題的解決上面,這是我的一個建議,另外一個建議呢,可能尤其是對於很多傳統企業來講,會推薦使用雲端的一些和大數據相關的一些框架和技術的。因爲在雲端我們很方便的,一方面能夠使用到公有云廠商自己提供的實時處理,或者大數據批量處理的一些解決方案,使用的門檻並不高,另一方面,這些雲也都會提供開源社區比較標準的,開源體系下面大數據處理方案,並且它會隨着這個技術的趨勢,它可以不斷的往裏面去增添新的東西,某種程度上來講跟着雲廠商的節奏對企業來講是一個不錯的選擇。

InfoQ:那最後你可以展望一下大數據的未來的發展,你覺得它雖然現在很火,那它是否真的實現落地,然後真的有未來?

何愷鐸:我覺得將來會是這樣的一個狀態,我們也許不會再去反覆的強調說Big Data這個詞,而是它會潤物細無聲的,就是自然而然的成爲我們生活、業務、企業當中一個很自然的組成部分,它會無處不在,所以呢,當然它的未來是會前景是非常好的。

InfoQ:那您認爲未來會影響大數據最大的關鍵因素是什麼?技術還是資本,或者說國家層面的一些政策?

何愷鐸:一方面是技術,因爲在技術上,我們還是可以看到它有一些很明顯的趨勢,比如說我們的實時和這種批處理的方式在不斷的融合,比如說它的易用性,它的這個使用的門檻也越來越降低,所以這是技術方面的趨勢,至於說未來,我覺得它的確也會受到政策的影響,因爲我們也看到這個現在我們對於數據的保護,這個意識越來越強,像歐盟有GDPR的標準,我覺得中國也有我們的網絡安全和數據保護相關的法律條例,我覺得我們同時的確也需要對數據有敬畏之心,那麼在一些應用的場合也要,有一些地方要保證合理的剋制,比如在廣告的領域,我們可能會對我們的用戶的ID,設備的ID,一定要做非常小心的處理,避免它的濫用。

InfoQ:以上就是我們今天的採訪,非常感謝何老師,謝謝。

何愷鐸:謝謝!

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章