智能互動特效和視頻編輯如何驅動業務增長？火山引擎給出了答案

{"type":"doc","content":[{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null},"content":[{"type":"text","text":"“記錄美好生活”是抖音的 slogan，也是對當下內容創作生態的高度概括。在 AI 能力的加持下，圖文創作時代加速向多媒體創作時代轉變。其中，音視頻產品以優質的視覺效果和便捷的功能，收穫了全年齡段用戶的喜愛，不僅優化了內容創作方式，還重構了內容生產者、消費者和平臺之間的關係。"}]},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null}},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null},"content":[{"type":"text","text":"用戶的身份在內容生產者和內容消費者之間轉化，停留時長和一款 App 的生命力正相關。"},{"type":"link","attrs":{"href":"https:\/\/www.infoq.cn\/article\/LsSe5oPGClMmImeAsXol","title":"xxx","type":null},"content":[{"type":"text","text":"智能互動特效"}]},{"type":"text","text":"和智能視頻編輯作爲音視頻產品的重要功能，如何驅動業務增長？抖音能夠持續孵化創意 SDK 的底層密碼是什麼？9 月 14 日，火山引擎在深圳舉辦增長沙龍，圍繞“智能互動特效和智能視頻編輯”，邀請多位嘉賓分享了字節跳動在音視頻產品上的實踐經驗和技術探索。"}]},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null}},{"type":"image","attrs":{"src":"https:\/\/static001.geekbang.org\/infoq\/e6\/e693334e3019dd1befe2d23ce204ddb9.webp","alt":"圖片","title":null,"style":[{"key":"width","value":"75%"},{"key":"bordertype","value":"none"}],"href":null,"fromPaste":true,"pastePass":true}},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null}},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null},"content":[{"type":"text","text":"活動開場，火山引擎 AI 解決方案高級總監駱怡航全面介紹了火山引擎 AI 產品線的定位、產品體系以及應用場景。他提到，直播和短視頻的創作方式是火山引擎希望給用戶帶來的新玩法，希望能爲各行業的創作者，提供操作穩定、運行低耗、效果精準、簡單便捷、滿足個性化以及可充分延展的直播和短視頻互動體驗。“可充分延展說的是我們除了幫助客戶搭建起直播、短視頻場景的基本功能後，除了功能性延展，需要更多考慮未來持續的創意，包括海量的特效、素材、模型及個性化定製。”駱怡航解釋。"}]},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null}},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null},"content":[{"type":"text","text":"不僅僅是持續升級互動特效和視頻編輯 "},{"type":"link","attrs":{"href":"https:\/\/xie.infoq.cn\/article\/bd730d1600b3497653e923698","title":"xxx","type":null},"content":[{"type":"text","text":"SDK"}]},{"type":"text","text":" 的能力，火山引擎 AI 智能體驗套件包含了從技術、產品和生態的一整套方案，包括智能美化特效、智能視頻編輯、AR 互動創意、數字人與虛擬形象等產品。據悉，火山引擎目前爲企業的互聯網應用提供兩大場景化解決方案：其一是幫助企業在自己的應用內構建直播和短視頻功能，提供 SDK 產品供企業集成，一站式快速構建直播和短視頻應用；其二是利用 AR 和數字人虛擬形象，打造 AR 商品體驗、AR 營銷、虛擬主播等沉浸式和強互動的營銷場景。"}]},{"type":"heading","attrs":{"align":null,"level":1},"content":[{"type":"text","text":"智能互動特效驅動產品生長"}]},{"type":"image","attrs":{"src":"https:\/\/static001.geekbang.org\/infoq\/76\/76f0afd56f82ccd1faf7cdc4d4e7d91f.webp","alt":"圖片","title":null,"style":[{"key":"width","value":"75%"},{"key":"bordertype","value":"none"}],"href":null,"fromPaste":true,"pastePass":true}},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null},"content":[{"type":"text","text":"智能互動特效就是火山引擎提供的智能體驗套件的一種，拉動業務增長在抖音已有成例。在場景上，智能互動特效對產品進行升級或者產生實際收益，如禮物贈送、下沉市場低端手機雲渲染的應用、社交場景的虛擬 IP 形象、拍攝段的優化；在算法方面，智能互動特效深耕場景、數據驅動、落地爲先。火山引擎智能互動特效總監範青着重解釋了雲渲染：“低端機的芯片到底能有多下沉，代表着你可以讓多少新用戶使用你的能力。”"}]},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null}},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null},"content":[{"type":"text","text":"在引擎方面，火山引擎大幅度加持渲染效果，輔助業務輕量級地完成功能的更新。據範青介紹，火山引擎在 SDK 方面做了輕量級的引擎體驗，比如支持多平臺和多玩法，通過在引擎上進行復刻，可以進行低端機型的覆蓋。"}]},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null}},{"type":"image","attrs":{"src":"https:\/\/static001.geekbang.org\/infoq\/9b\/9b32a1a88bfe66da94b8b93b8cc1b98f.webp","alt":"圖片","title":null,"style":[{"key":"width","value":"75%"},{"key":"bordertype","value":"none"}],"href":null,"fromPaste":true,"pastePass":true}},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null}},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null},"content":[{"type":"text","text":"非洲短視頻平臺 "},{"type":"link","attrs":{"href":"https:\/\/baijiahao.baidu.com\/s?id=1622327543624374412&wfr=spider&for=pc","title":"xxx","type":null},"content":[{"type":"text","text":"Vskit "}]},{"type":"text","text":"特效總監曾獻正也談到了自己的體會：國內短視頻平臺發展已經很成熟，但是非洲互聯網纔剛剛興起，大部分用戶剛開始使用智能機，而智能機的性能問題也參差不齊。在國內，網絡可以在一定程度上彌補設備的缺陷，但是在非洲，流量獲取並不輕易。Vskit 的做法是，對機型分版，對高中低端機型分別適配，下發不同功能優化用戶體驗，並且通過使用火山引擎特效貼紙，解決自研產品穩定性差、跟蹤延遲的問題。據曾獻正介紹，工具特效爲 Vskit 帶來了很多增長：每天原創視頻內容達到幾十萬，半年來 UGC 用戶成倍增加。"}]},{"type":"heading","attrs":{"align":null,"level":1},"content":[{"type":"text","text":"智能視頻編輯豐富內容創作"}]},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null}},{"type":"image","attrs":{"src":"https:\/\/static001.geekbang.org\/infoq\/bb\/bbd34f51fd7724256ab821cbd65822bf.webp","alt":"圖片","title":null,"style":[{"key":"width","value":"75%"},{"key":"bordertype","value":"none"}],"href":null,"fromPaste":true,"pastePass":true}},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null}},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null},"content":[{"type":"text","text":"從產品的角度出發，火山引擎智能視頻編輯解決方案總監郭灃儀對內容有自己的理解，他認爲，全局考慮產品首先要確立目標，然後通過技術手段解決商業運營中用戶留存和用戶活躍的問題。內容、用戶、設計師和平臺，是火山引擎明確的面向目標。在郭灃儀看來，內容是設計師或用戶和平臺之間溝通的橋樑，前者進行內容生產和消費，後者對內容進行標籤化管理。內容豐富度和內容質量，決定了平臺是否具備吸引力。"}]},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null}},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null},"content":[{"type":"text","text":"圖像、文本、音頻和特效，提高了平臺的內容豐富度，同時也伴隨着版權問題。郭灃儀稱，火山引擎已經在文字、音源、素材和 AI 輔助的版權上有所行動。隨着更多 AI 能力逐漸加入進來，火山引擎希望讓用戶的創作成本越來越低，需要動手操作的越來越少。"}]},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null}},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null},"content":[{"type":"text","text":"目前，火山引擎提供的 SDK 解決移動端用戶編輯的問題，包括 UGC 和 PGC 兩個內容。在技術層面，火山引擎實現了多軌編輯、視頻合拍和單幀識別。據郭灃儀介紹，多軌編輯，指的是可以對每一段素材進行單獨的軌道設置、時長控制等，依託於火山引擎的素材庫，爲用戶提供創意設計服務；視頻合拍是基於多軌編輯器的算法衍生出的產品；目前在圖片層面已經能進行幀率級別的創作。AI 在其中起到了不小的作用。基礎編輯能力在 AI 的加持下，降低了很多用戶的創意產生成本，比如抖音如今推出的“剪同款”、“一鍵成片”和“音樂卡點”。"}]},{"type":"heading","attrs":{"align":null,"level":1},"content":[{"type":"text","text":"創意 SDK 孵化的技術實現"}]},{"type":"image","attrs":{"src":"https:\/\/static001.geekbang.org\/infoq\/83\/83b2ba19171d9e452546497301e241ec.webp","alt":"圖片","title":null,"style":[{"key":"width","value":"75%"},{"key":"bordertype","value":"none"}],"href":null,"fromPaste":true,"pastePass":true}},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null},"content":[{"type":"text","text":"那麼，智能互動特效和智能視頻編輯背後的技術實現是什麼？火山引擎智能視頻編輯高級研發經理謝波進行了詳細解讀。通過基礎技術能力，將基礎素材和特效資源整合成好看的視頻，採用了火山引擎 VE 的 SDK 能力，包括能力 SDK 和協議 SDK。整個視頻對外開放的描述就是 NLEModel，由一系列軌道組成，衍生出視頻編輯的概念。"}]},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null}},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null},"content":[{"type":"text","text":"對此，謝波表示：NLEResourceNode 是一個資源記錄節點的描述，裏面可以描述本地資源和網絡資源，同時如果是本地資源可以直接是一個本地文件 path，若是網絡資源也可以提供一個網絡地址。有了資源節點描述，就衍生 NELSegment 來描述一段資源靜態行爲。接下來是 NLETrackSlot，對於一個展示資源我們要展示多長時間就是通過 slot 的時間屬性來進行描述。多個帶有時間屬性的資源段描述可以記錄到單個或者多個 NLETrack 軌道中就形成了一個完整段落的資源展示效果。最後，對於特效、濾鏡以及轉場等等特效都可以獨立形成 track，也可以依附在某個 track 或者 slot 上，最終將多個片段拼湊在一起，就構成了一個完整的視頻。不同軌道操作情況，可以是單軌的視頻，也可以是多軌的視頻，軌道視頻結束之後，一個完整視頻描述成一個 NLEModel。"}]},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null}},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null},"content":[{"type":"text","text":"“對於一個 track 或者一個 slot 還可以進行三維座標變化調節，相對來講就有 X 軸或者 Y 軸的變化，平面的二維變化。如果再加 Z 軸的變化，Track 與 Track 之間是不同層級的描述概念，如果是 Z 層就可以實現不同壓蓋效果。比如先設 Z 軸是 1，是最高層級，在最上面。結合 X、Y、Z 的動態調整即可得到不同的視頻變化佈局效果。”謝波談道。"}]},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null}},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null},"content":[{"type":"text","text":"協議 SDK 有什麼作用？實現了什麼能力？“比如添加一段視頻後 Commit，Commit 之後內部實現存儲結構類似一個雙向隊列的概念，每次對 NLEModel 進行一個操作節點拷貝，節點拷貝後進行前後關聯指向建立一個雙向列表。回到 NLEModel 節點記錄關係，如果把這個列表用 json 結構保存下來又得到相應的工程草稿。”謝波解釋道：工程草稿裏面會記錄編輯節點信息以及整個 NLEModel 的結構描述信息，有了這些信息響應就可以多次還原成 NLEModel 的內存結構重演出對應的編輯效果；有了工程草稿，就可以實現這些行爲：1、任意節點或者任意操作類型的 Undo\/Redo；2、重啓繼續編輯；3、二次編輯；4、跨機等能力。"}]},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null}},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null},"content":[{"type":"text","text":"此外，火山引擎在資源方面：基於圖蟲和音樂中臺可以提供豐富的素材資源，在剪映的模版生態下也有豐富的模版資源，其中，傻瓜式模板編輯可以提供可視化編輯效果，通過拖拽就可以實現想要達到的視頻編輯效果。“結合雲能力，火山引擎進一步豐富了資源生態的靈活性以及算法效果的個性化，同時也解決了本地包大小問題，做到資源的動態拉取和使用；配合強大的運營平臺可以更貼切的爲企業做到個性化定製服務。”謝波談道。"}]}]}