助力打造更強AI視頻模型 火山引擎發(fā)布大模型訓(xùn)練視頻預(yù)處理方案

    本報訊 （記者袁傳璽）10月15日，火山引擎在視頻云技術(shù)大會上發(fā)布了大模型訓(xùn)練視頻預(yù)處理方案，助力解決視頻大模型訓(xùn)練的成本、質(zhì)量和性能等方面的技術(shù)挑戰(zhàn)。目前，該技術(shù)方案已應(yīng)用于豆包視頻生成模型。

    借助Intel的CPU、GPU等不同資源，火山引擎此次發(fā)布的大模型訓(xùn)練視頻預(yù)處理方案依托于自研的多媒體處理框架BMF，能有效應(yīng)對模型訓(xùn)練的算力成本挑戰(zhàn)。此外，該方案還在算法和工程方面進行了調(diào)優(yōu)，可以對海量視頻數(shù)據(jù)高質(zhì)量預(yù)處理，短時間內(nèi)實現(xiàn)處理鏈路的高效協(xié)同，提高模型訓(xùn)練效率。

    值得一提的是，火山引擎本次還發(fā)布并開源了移動端后處理解決方案BMFlite版本。BMFlite支持端側(cè)大模型接入和算子加速，更加輕量、通用。

    ByteDanceResearch負責人李航表示，豆包視頻生成模型PixelDance在訓(xùn)練過程中采用了火山引擎的大模型訓(xùn)練視頻預(yù)處理方案，充分利用了大量潮汐資源，為模型訓(xùn)練提供了有力支撐?；鹕揭嬉曨l云團隊提供的點播解決方案還為PixelDance生產(chǎn)的視頻提供了從編輯、上傳、轉(zhuǎn)碼、分發(fā)、播放的全生命周期一站式服務(wù)，讓模型的商業(yè)化應(yīng)用有了保障。

    此次活動中，火山引擎還發(fā)布了跨語言同聲復(fù)刻直播方案、多模態(tài)視頻理解與生成方案、對話式AI實時交互方案和AIG3D&大場景重建方案，從視頻的生產(chǎn)端、交互端到消費端，全鏈路融入了AI的能力。

    火山引擎視頻云負責人Yongyuan表示，在AI視頻時代，人和AI交互變得更加動態(tài)和生動，這要求處理鏈路更加智能和交互。

    大會上，抖音集團視頻架構(gòu)負責人王悅還透露了字節(jié)自研視頻編解碼芯片的最新進展。經(jīng)過抖音集團內(nèi)部的實踐驗證，該芯片在同等視頻壓縮效率下，成本節(jié)省了95%以上，還在2024MSU世界編碼器大賽中一舉奪得“最佳ASIC編碼器”大獎。“該芯片將于近期正式對外開放測試，招募首批種子用戶，共同探索商業(yè)價值的可復(fù)制性。”王悅表示。

    火山引擎總裁譚待表示，在AIGC、多模態(tài)等技術(shù)的共同推動下，用戶體驗在多個維度上經(jīng)歷著深刻轉(zhuǎn)變，基于抖音業(yè)務(wù)實踐和與行業(yè)客戶共創(chuàng)，火山引擎視頻云正積極探索AI大模型與視頻技術(shù)的深度融合，在技術(shù)底座、處理鏈路和業(yè)務(wù)增長層面為企業(yè)尋找解法。

（編輯 汪世軍）