阿里巴巴2016雙11背後的技術(不一樣的技術創新)

每年的“雙11”是阿里技術的大閱兵和創新能力的集中檢閱。2016年的“雙11”背後,更是蘊藏了異常豐富的技術實踐與突破。

 

歷經1個月的編寫,最終27篇精華技術文章入冊《不一樣的技術創新-阿里巴巴2016雙11背後的技術》(以下簡稱《不一樣的技術創新》)一書。這27篇“24K純度”的技術乾貨,是阿里“雙11”八年來技術演進結果的最新展示,凝聚了阿里工程師的智慧和創造力。

 

所有參與《不一樣的技術創新》編寫的小夥伴,均參與了2016及歷年來“雙11”的大促,經歷過驚心動魄但酣暢淋漓的“雙11”的“零點之戰”。我們儘量保持了這些工程師小夥伴文章的原汁原味;我們知道,過多的雕琢和潤色反而會破壞文章中知識傳遞的效果——工程師之間的溝通不需要華麗和精美的文字,只需要那靈犀的一點。

 

讓我們爲所有參與《不一樣的技術創新》一書編寫的小夥伴點贊!不爲別的,只爲他們這些代表全體阿里技術同學,以及所有中國當下IT工程師勇攀技術高峯的追求精神和其背後不懈的努力點贊!

 

《不一樣的技術創新》內容涉及基礎設施、存儲、中間件、雲計算、業務架構、大數據、認知計算與人工智能、交互技術等技術領域。

 

在這些領域中,包括:

(1)充分發揮雲計算彈性能力,實現資源快速騰挪,支撐交易峯值每秒17.5萬筆、支付峯值每秒12萬筆的混合雲彈性架構;

(2)在雙11當天實現萬億級消息流轉第三代分佈式消息引擎。

(3)交易核心應用容器化,撐起雙11交易下單峯值,充分解放資源的超大規模Docker化技術;

(4)支撐全球最大規模在線交易的數據實時和離線計算能力,包括承載阿里巴巴集團核心大數據的離線計算平臺,以及雙十一保證每秒處理億條日誌的計算能力、毫秒級的計算延遲的實時流計算平臺;

(5)阿里人工智能在搜索、推薦以及客服場景下的創新應用,包括人工智能賦能的數千家品牌商家店鋪的個性化運營和粉絲會員的精準營銷,基於深度強化學習和在線自適應學習的推薦算法創新,以智能+人工模式提供智能導購、服務、助理擬人交互的阿里小蜜;

(6)全球第一個端對端的虛擬購物環境背後的VR技術,全面解讀如何解決VR購物三大技術挑戰,全面覆蓋瀏覽、下單及支付環節;

(7)揭祕應對前端極限挑戰的淘寶直播首屏秒開,以及應用世界級開源跨平臺移動開發工具Weex實現雙11會場幾近全覆蓋,實現全網首屏渲染完美踐行“秒開”體驗;,

(8)所有雙11奇蹟背後的、基於數據挖掘、機器學習等技術的智能化秒級監控。千萬量級監控項,PB級監控數據,億級報警通知背後的技術。

(9)菜鳥如何打通包裹預測、供應鏈入庫、訂單下沉、訂單路由調度、電子面單及智能分單,以及末端小件員,捍衛這場十億級包裹的雙11之戰。

 

第一章 基礎設施

1.1 萬億交易量級下的秒級監控  (免登錄閱讀)

2016財年,阿里巴巴電商交易額(GMV)突破3萬億元人民幣,成爲全球最大網上經濟體,這背後是基礎架構事業羣構築的堅強基石。在2016年雙11全球購物狂歡節中,天貓全天交易額1207億元,前30分鐘每秒交易峯值17.5萬筆,每秒支付峯值12萬筆。承載這些秒級數據背後的監控產品是如何實現的呢?接下來本文將從阿里監控體系、監控產品、監控技術架構及實現分別進行詳細講述。

1.2 雙11背後基礎設施軟硬結合實踐創新

在快速發展變化的技術領域,阿里巴巴不斷變通調整策略適應新的挑戰,制定相應的硬件發展策略,通過源源不斷的技術驅動力確保爲業務提供質量穩定、技術先進、高性價比的解決方案。本文將從x86核心部件、閃存部件、系統架構等方面的實踐創新進行分享。

1.3 阿里視頻雲ApsaraVideo是怎樣讓4000萬人同時狂歡的

在今年的雙11中,雙11天貓狂歡夜的直播成爲一大亮點。

根據官方披露數據,直播總觀看人數超4257萬,同時觀看人數峯值達529萬,在雲端實現了高計算複雜度的H.265實時轉碼和窄帶高清技術。其實不光是雙11,直播已經成爲了2016年互聯網最火爆的話題。除了內容的大規模湧現,背後其實是計算、存儲、帶寬的升級和成本的下降。ApsaraVideo的出現,讓直播的技術門檻迅速下降,企業可以快速上線自己的視頻業務。筆者作爲參與雙11視頻雲的工程師,希望通過本文和大家分享阿里雲的ApsaraVideo業務,是如何爲雙11這個場景快速創建大規模直播場景的經驗。

 

第二章 存儲

2.1 永不停止的腳步——數據庫優化之路  (免登錄閱讀)

在今年的雙11中,雙11天貓狂歡夜的直播成爲一大亮點。

根據官方披露數據,直播總觀看人數超4257萬,同時觀看人數峯值達529萬,在雲端實現了高計算複雜度的H.265實時轉碼和窄帶高清技術。其實不光是雙11,直播已經成爲了2016年互聯網最火爆的話題。除了內容的大規模湧現,背後其實是計算、存儲、帶寬的升級和成本的下降。ApsaraVideo的出現,讓直播的技術門檻迅速下降,企業可以快速上線自己的視頻業務。筆者作爲參與雙11視頻雲的工程師,希望通過本文和大家分享阿里雲的ApsaraVideo業務,是如何爲雙11這個場景快速創建大規模直播場景的經驗。

2.2 AliCloudDB--雙11商家後臺數據庫的基石

在今年的雙11中,雙11天貓狂歡夜的直播成爲一大亮點。

根據官方披露數據,直播總觀看人數超4257萬,同時觀看人數峯值達529萬,在雲端實現了高計算複雜度的H.265實時轉碼和窄帶高清技術。其實不光是雙11,直播已經成爲了2016年互聯網最火爆的話題。除了內容的大規模湧現,背後其實是計算、存儲、帶寬的升級和成本的下降。ApsaraVideo的出現,讓直播的技術門檻迅速下降,企業可以快速上線自己的視頻業務。筆者作爲參與雙11視頻雲的工程師,希望通過本文和大家分享阿里雲的ApsaraVideo業務,是如何爲雙11這個場景快速創建大規模直播場景的經驗。

 

第三章 中間件

3.1 萬億級數據洪峯下的分佈式消息引擎 (免登錄閱讀)

 通過簡單回顧阿里中間件(Aliware)消息引擎的發展史,本文開篇於雙11消息引擎面臨的低延遲挑戰,通過經典的應用場景闡述可能會面臨的問題 - 響應慢,雪崩,用戶體驗差,繼而交易下跌。爲了應對這些不可控的洪峯數據,中間件團隊通過大量研究和實踐,推出了低延遲高可用解決方案,在分佈式存儲領域具有一定的普適性。在此基礎上,通過對現有有限資源的規劃,又推出了分級的容量保障策略,通過限流、降級,甚至熔斷技術,能夠有效保障重點業務的高吞吐,成功的支撐集團包括海外業務平緩舒暢地度過雙11高峯。與此同時,在一些對高可靠、高可用要求極爲苛刻的場景下,中間件團隊又重點推出了基於多副本機制的高可用解決方案,能夠動態識別機器宕機、機房斷網等災難場景,自動實現主備切換。整個切換過程對用戶透明,運維開發人員無需干預,極大地提升消息存儲的可靠性以及整個集羣的高可用性。

第四章 電商雲化

4.1 17.5W秒級交易峯值下的混合雲彈性架構之路  (免登錄閱讀)

每年的雙11都是一個全球狂歡的節日,隨着每年交易逐年創造奇蹟的背後,按照傳統的方式,我們的成本也在逐年上升。雙11當天的秒級交易峯值是平時的近10多倍,我們要用3-4倍的機器去支撐。但大促過後這批機器的資源利用率不高,到次年的雙11會形成較長時間的低效運行。試想一下,電商交易有大促峯值,而阿里雲有售賣Buffer,如果能充分發揮雲計算的彈性能力,讓資源可以兩邊快速騰挪,就可以解決資源浪費的問題。把我們的交易單元部署在雲上面,大促的時候我們只需要按照壓測模型去雲上構建一個符合能力的新單元即可,用完馬上釋放掉,這樣無疑是最優雅的。專有云+公共雲的混合雲彈性架構成爲一種自然而然的選擇,不但可以資源合理利用,降低成本,同時鍛鍊了阿里人的的技術能力,爲用戶提供更優質的服務。

有了架構思路,實現起來似乎也沒那麼容易。阿里的交易涉及幾百個系統,他們之間的依賴錯綜複雜,如何能夠把他們快速的搭建在雲上?系統之間的依賴如何複雜,如果把他們的容量估算好,快速調整他們的容量水位?這就不得不提到下面的兩個祕密武器:一鍵建站和彈性容量交付。

4.2 集團AliDocker化雙11總結

在基礎設施方面,今年雙11最大的變化是支撐雙11的所有交易核心應用都跑在了Docker容器中。幾十萬Docker容器撐起了雙11交易17.5萬筆每秒的下單峯值。衆所周知Docker技術這幾年大熱,但如果期望阿里這麼大體量的應用全部使用Docker,這可不是一朝一夕就能完成的事情。阿里的應用數量龐大,種類衆多,光兼容性的驗證沒個1、2年的時間沒人敢把核心應用放上去。因此,從業界廣泛情況來看,雖然Docker能給研發和運維帶來好處,作爲技術人員大家都心領神會,但是想直接去使用,那面對Docker浪潮只能是——坐觀弄潮者,徒有羨魚情。那麼,阿里是怎麼做的呢?

 

第五章 業務架構

5.1 內容+:打造不一樣的雙11 (免登錄閱讀)

內容永遠是最優質的流量入口。如果不是,那說明你沒做對。今年是淘寶全面內容化、社區化的元年;今年的雙11,也是一場具有豐富內容、精彩互動的購物狂歡。從必買清單、大咖直播,到KOL草地、人羣市場,雙11零點時分經歷的淘寶網紅經濟爆發,都是今年獨特而又亮麗的風景線。本文將具體介紹這條內容鏈路,以及在雙11大促期間的應用案例。先從位於這條內容鏈路核心的內容平臺開始說起。

5.2 雙11交易核心鏈路的故事

2016雙11令人眼花繚亂的活動,背後是怎樣的體系來支撐起這樣多元化的玩法,本文一層層的來解構。在每秒17.5w筆的高峯下,每筆訂單所經的鏈路衆多,如何海量的訂單有序、準確的運行,如絲般潤滑,需要完整的業務、技術架構和對高峯時刻技術的攻堅。

5.3 千億訪問量下的開放平臺技術揭祕

淘寶開放平臺(open.taobao.com)是阿里系統與外部系統通訊的最重要平臺,每天承載百億級的API調用,百億級的消息推送,十億級的數據同步,經歷了8年雙11成倍流量增長的洗禮。本文將爲您揭開淘寶開放平臺的高性能API網關、高可靠消息服務、零漏單數據同步的技術內幕。

5.4 智慧供應鏈

在面對天貓雙11當天1207億商品交易額(GMV)和6.57億物流訂單時,供應鏈作爲電子商務企業運作的支柱,是如何有效地組織、協調和優化這個複雜且動態變化的供需網絡,從而可以高效地支持2016年貓全球購物狂歡節呢?

5.5 菜鳥雙11“十億級包裹”之戰

菜鳥這幾年不斷探索,在物流全鏈路上做了大量的嘗試和突破,比如通過海量數據精準的預測大促包裹量及流向、通過供應鏈預測計劃合理入庫及分倉鋪貨、以及做到“單未下、貨先行”的貨品下沉提前打包等。

那麼,菜鳥如何打通包裹預測、供應鏈入庫、訂單下沉、訂單路由調度、電子面單及智能分單,以及末端小件員,捍衛這場十億級包裹的雙11之戰。

 

第六章 大數據

6.1 雙11數據大屏背後的實時計算處理 (免登錄閱讀)

2016年雙11的實時數據直播大屏有三大戰場,分別是面向媒體的數據大屏、面向商家端的數據大屏、面向阿里巴巴內部業務運營的數據大屏。每個直播功能需要實時處理的數據量都是非常龐大的,每秒的總數據量更是高達億級別,這就對我們的實時計算架構提出了非常高的要求。在面對如此龐大數據的時候,我們的實時處理是如何做高精度、高吞吐、低延時、強保障的呢?

6.2 雙11背後的大規模數據處理

整體介紹作爲前臺在線業務和後端異步數據處理之間橋樑的實時數據總線服務TimeTunnel(TT),大規模數據流處理技術Galaxy,以及承載了阿里巴巴集團所有的離線計算任務MaxCompute。

6.3 突破傳統,4k大屏的沉浸式體驗

能夠在 4K 的頁面上表演,對設計師和前端開發來說,既是機會也是挑戰,我們可以有更大的空間設計宏觀的場景,炫酷的轉場,讓觀衆感受影院式視覺體驗;但是,又必須面對因爲畫布變大帶來的性能問題,以及絞盡腦汁實現很多天馬行空的的想法。本文介紹雙11媒體大屏開發中我們的一些設計和思路。

 

第七章 人工智能

7.1 基於深度強化學習與自適應在線學習的搜索和推薦算法研究 (免登錄閱讀)

淘寶的搜索引擎涉及對上億商品的毫秒級處理響應,而淘寶的用戶不僅數量巨大,其行爲特點以及對商品的偏好也具有豐富性和多樣性。因此,要讓淘寶的搜索引擎對不同特點的用戶作出針對性的排序,並以此帶動搜索引導的成交提升,是一個極具挑戰性的問題。與此同時,雙11主會場也是一個很複雜的推薦場景。從個性化推薦算法的角度來說,我們在2016年雙11主會場嘗試了多種新穎的排序模型,並做了嚴格的效果對比。本文詳細闡述人工智能技術在雙11搜索與推薦場景中的應用。

7.2 顛覆傳統的電商智能助理-阿里小蜜技術揭祕

在全球人工智能領域不斷髮展的今天,包括Google、Facebook、Microsoft、Amazon、Apple等互聯公司相繼推出了自己的智能私人助理和機器人平臺,智能人機交互成爲各大公司在人工智能戰場上激烈競爭的入口級領域。 智能人機交互通過擬人化的交互體驗逐步在智能客服、任務助理、智能家居、智能硬件、互動聊天等領域發揮巨大的作用和價值。


阿里也推出了自己的智能私人助理-阿里小蜜,一個圍繞着電子商務領域中的服務、導購以及任務助理爲核心的智能人機交互產品。通過電子商務領域與智能人機交互領域的結合,提升傳統電商領域的能效,帶來傳統服務行業模式的變化與體驗的提升。本文詳細闡述人工智能在智能客服中的應用。

7.3 深度學習與自然語言處理在智能語音客服中的應用

95188電話的支付寶熱線目前已經用純語音交互流程全面代替了傳統的按鍵流程,這個我們稱之爲“蟻人”的智能語音客服會根據用戶的描述判斷用戶的意圖,從而爲不同需求的用戶提供快速的直達服務,或者直接推送自助解決方案,或者發現是屬於緊急問題而直接轉給對應業務線的人工客服處理。本文詳細闡述了人工智能技術在智能語音客服場景下的應用。

7.4 數據賦能商家背後的黑科技

新商家事業部自去年12月成立以來,數據賦能商家就是重要的方向之一。我們將之前平臺沉澱的數據和算法的能力轉過來賦能我們爲商家提供的工具和平臺,這其中包括客戶運營平臺、千牛、服務市場等等。很多技術在今年的雙11也起到了非常顯著的作用,爲商家帶來實實在在的收益。本文從客戶運營平臺、千牛頭條、服務市場三個產品給大家分享我們如何通過機器學習和人工智能技術重新定義產品。

7.5 探索基於強化學習的智能推薦之路

隨着千人千面個性化推薦技術在手機淘寶的全面應用,推薦場景日均引導成交在整個手淘平臺佔據着非常重要的比例。用戶越來越習慣於逛淘寶來滿足日常的休閒或者購物的需求。然而很多時候,用戶購買的目的性並不是很明確。一個寶貝的成交,可能會跨越多天,經歷較長的決策週期。與此同時,在整個用戶的購買決策過程中,他們經常在多個異構的推薦場景間進行跳轉,進而影響自身後續的行爲序列。

因此,推薦的優化需要從單一場景的直接優化,逐步進階到多場景的聯動優化,這就需要我們將用戶的長期行爲序列納入建模,從而實現整個手淘推薦鏈路的累積收益最大化。本文詳細闡述基於強化學習算法的智能推薦,

7.6 DNN在搜索場景中的應用

搜索排序的特徵分大量的使用了LR,GBDT,SVM等模型及其變種。我們主要在特徵工程,建模的場景,目標採樣等方面做了很細緻的工作。但這些模型的瓶頸也非常的明顯,儘管現在阿里集團內部的PS版本LR可以支持到50億特徵規模,400億的樣本,但這對於我們來說,看起來依然是不太夠的,現在上億的item數據,如果直接使用id特徵的話,和任意特徵進行組合後,都會超出LR模型的極限規模,對於GBDT,SVM等模型的能力則更弱,而我們一直在思考怎麼可以突破這種模型的限制,找到更好的特徵;另外,及時LR模型能支持到上億規模的特徵,在實時預測階段也是有極大的工程挑戰,性能與內存會有非常大的瓶頸。

本文詳細闡述DNN的引入以及RNN模型的應用。

 

第八章 交互技術

8.1 VR電商購物  (免登錄閱讀)

GM LAB在2016年3月成立,是一個旨在探索最新電商購物體驗的實驗室。在探索VR購物的過程中,有兩個需要核心解決的問題:一個是VR購物的產品形態是什麼,另一個是VR環境下的店鋪和商品怎麼來。對於這兩個問題,我們分別發起了BUY+和造物神計劃去解決。一直到雙11結束,基於BUY+探索VR購物體驗,基於造物神去豐富VR素材,都取得了一定的結果。本文詳細介紹Buy+和造物神。

8.2 淘寶直播在雙11的互動實踐

移動直播作爲一個連接用戶的平臺,實時性極強,藉助移動設備隨時接入的特性,可切入的場景也更多,雙向的交互方式對於包括電商在內的其他業務模式來說也是值得探索的新玩法,所以隨着這波浪潮的興起,我們也快速啓動淘寶直播來探索電商+直播的各種可能的方向,經過大半年的探索也得到很好的收穫,同時也爲今年雙11直播會場的上線打下了基礎。整個過程對產品和技術上均帶來很大的挑戰,本文將爲大家解析整個過程中所遇到關鍵問題和解決方案。

8.3 2016雙11前端突破

2016年天貓前端相比去年有了非常多不同維度的突破,本文詳細四個方面進行闡述:
1.穩定性、監控
2.極致的性能優化
3.業務創新 / 平臺建設
4.技術創新 / 互動

8.4 Weex 雙11會場大規模應用的秒開實戰和穩定性保障

今天阿里諸多客戶端已經面臨包大小接近臨界值,大促活動頁面(H5)體驗較差等一系列問題。結合 Native 和 Web 技術亮點,同時又能解決阿里遇到的業務問題,這就是 Weex 在阿里誕生的背景。本文詳細闡述包括主會場、分會場、分分會場、人羣會場等在內幾乎所有的雙11會場業務的Weex技術。

8.5 雙11晚會背後的技術

雙11晚會,在觀衆看着電視明星流口水的同時,還能參與互動,給心儀的明星支持,然後拿到禮品。這需要有着如絲般柔順的體驗,用戶纔會願意玩。這些特性,在晚會史上都是前無古人的。即便是雙11天貓晚會本身,在2016年也是超越了2015年太多的。那麼“雙向互動”晚會背後都有哪些技術突破呢?

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章