工程師訪談 | 在這6年裏,我們爲用戶做了一件有意義的事

在愛奇藝業務生態裏,“用戶”和“內容”是兩個核心詞彙,虹吸了我們大量的時間和精力。查同學所在的推薦團隊,就是利用機器學習技術爲用戶找到其感興趣的內容,爲內容找到可能對其感興趣的用戶。這簡單的原理背後卻是極複雜的算法計算和海量的數據處理,是使命中的“讓快樂簡單”。

接下來,就讓我們聽聽查同學和他推薦算法的故事吧。

查同學2014年加入愛奇藝推薦團隊,這6年來一直在做推薦算法工作,做推薦算法,就是要設計大量高效、優雅和奇妙的算法,並利用算法更快更準確地計算出視頻的屬性、用戶的屬性,並在特定的環境下從海量信息中篩選和推薦出用戶感興趣的內容。

(圖爲:推薦算法演示圖)

從離線推薦到在線推薦,讓用戶快樂更簡單

“快”是推薦算法所追求的,早期時我們使用的還是離線推薦框架與業務剛剛興起的信息流模式下的在線推薦相比,相當於自行車遇到了汽車,速度不是一個量級的。於是,我們開始研究升級我們的技術架構當時業界還沒有特別成熟的實踐案例做參考,我們只能一步步地摸索

記得上線初期,由於QPS(Queries-per-second,每秒查詢率)高、更新頻繁,線上接口訪問數據庫,在高峯期時有大約4%的超時率,這對我們線上服務造成非常大的壓力。我們當時從各種維度去分析性能的瓶頸,從數據源頭做預處理、數據庫分庫、主從備份、引入二級緩存、用戶ID hash分流等各個維度去嘗試優化。最終將線上服務的高峯期超時率控制在0.3%以下。

當時,只有3個同學在線推薦,但最終通過大家的努力和公司各部門支持,我們幾經迭代,將小時級別的推薦頻率提高到十幾秒,又提高到幾秒,最後實現實時在線推薦。

這也就意味着,你隨時可以刷新出當下最感興趣的視頻內容,而你每一次行爲也直接影響着下一次刷新出的內容。當下這個進步還是非常明顯的

(圖爲:推薦框架簡圖)

用戶在線實時刷新的背後,是我們實時地採集、清洗、存儲海量的數據的努力我們需要對用戶觀看的視頻內容進行實時分析,也需要給用戶實時打上更多標籤以識別用戶偏好,然後對用戶和內容進行實時匹配。

要求我們有足夠強大的底層技術框架、數據管理和運算能力爲此,我們的數據分析從線下手動模式轉化爲線上自動模式,又升級爲單獨的數據中臺,架構也從傳統的MR陸續升級爲實時的kafka、spark-streaming、flink

目前我們已經能支持每秒處理幾十萬條數據的需求,實現了讓用戶興趣實時更新向用戶推薦內容精準,也就是說我們更懂用戶了。

圖爲:用戶畫像演示

內容推薦不僅個性化,更要多樣化

努力避免用戶對特定內容的過度沉浸,這是我們對用戶負責任的體現之一

用戶喜歡看什麼,我們就推薦什麼,這是個性化推薦,用戶可能喜歡什麼,我們推薦什麼,這是多樣化的推薦。我們會基於對用戶理解,推薦給用戶那些可能感興趣的內容,幫助用戶探索多元化的興趣,讓生活更精彩

當你偶爾疑惑,爲什麼推薦給我某個內容時,你的興趣或許會因此而更加多元了哦

(圖爲:在線推薦交互示意圖

私域流量:讓UP主和粉絲“一家親”

社區化是隨刻發展的重要方向,我們不單純地追求高流量,也會追求打造UP主與用戶之間的生態平衡。爲此,我們嘗試利用推薦算法把粉絲與UP主更緊密的連接起來,促進社區互動,提高私域流量。

在個性化推進時,如果你關注了某個UP主,我們會推薦同類型的UP給你UP主發佈內容,我們會新內容推送給你的觀看、點贊評論、轉發讓UP更有創作動力,同時也會豐富你的社交圈,打造良好的社區生態

當然,我們會重點推薦高品質、正能量的內容給用戶,這也是愛奇藝願景中“偉大”內涵在算法上的具體體現。

(圖爲:隨刻UP主頁界面)

在一個季度的私域流量的優化之後,隨刻信息流的私域流量曝光佔比提升了127%,私域的消費時長也提升了37%滿足用戶的私域需求同時,也提升了創作者的創作動力。

推薦技術的持續迭代中,我在工作上也從技術小白到了技術大白,感謝公司給我不斷學習試錯和持續積累的機會在這一過程中,我有兩個重要感悟分享給大家。

做事情之前,多問爲什麼

不管做什麼工作我都習慣性爲什麼?背景是什麼?目標是什麼?很多時候捋清楚做什麼,我們才知道怎麼去做

現在帶領幾個同學一起工作,在和大家討論工作時,我也努力讓團隊同學知道,他做每一件事情的原因、接的每一個需求的預期,同時讓合適的人做合適的事。希望大家可以乾的開心,有所成長

(圖爲:團隊合影)

技術不掉隊,管理不純粹

做技術工作的,必須保持好奇心,追求新鮮感需要緊跟技術前沿,確保技術不掉隊。在信息獲取相對容易的今天,平時喜歡看看論文,逛逛技術論壇,保持專業技術上的持續學習

對於技術管理者而言,也要緊跟技術發展,不做純粹的管理長久脫離一線很難把握技術團隊的方向這也是我個人的經驗總結。

六年前,愛奇藝還是行業追隨者六年後,我們已經在一些方向上引領這個行業,這是一件令人自豪的事情期待公司未來發展越來越好

也許你還想看

工程師訪談 | 每天做最好的自己 精緻生活與極致工作並行

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章