近日,網易互娛AI Lab與廣東省知名報刊媒體《羊城晚報》攜手,正式推出了《羊城晚報》“真人AI合成主播”——羊小晚(女)和羊小派(男),他們也是廣東媒體首個視頻類真人AI合成新聞主播。

《羊城晚報》的兩位AI合成主播都是以媒體記者的真人形象為原型,他們不僅容貌高度還原真人,口型也能夠與輸入的音頻精準匹配。而在這堪比專業主播的表現力背后,匯集了網易互娛AI Lab在虛擬人制作方面一系列前沿的人工智能技術。首先,網易互娛AI Lab通過面部運動捕捉、三維人臉模型重建、延遲神經渲染等技術,快速生成與真人形象無異的數字人模型;再結合語音、圖像等多模態信息聯合進行建模訓練,就能讓AI合成主播的唇動與語音完美契合,實現自然流暢的新聞播報。該系統還能適配中、英、日、韓等多種語言情境,滿足國際化內容輸出的多樣化需求。

憑借網易互娛AI Lab在虛擬人形象定制和內容智能化生產方面的領先技術,該系統只需輸入文本或音頻,即可在幾分鐘內快速生成AI合成主播的新聞播報視頻,在降低制作成本、豐富傳播形式的同時,極大地提升了新聞內容的生產效率。此外,該系統可以24小時運作,不受體力、時間和空間的限制,能確保播讀時不出錯,提高了報道的時效性與質量。

隨著互聯網與信息技術的發展,新聞業正發生著顛覆性的變化,不論從新聞傳遞的及時性還是表現形式的差異化等方面,新聞生產都面臨著更高的要求與挑戰。AI主播的出現,在為傳統紙媒讀者們帶來全新視聽體驗的同時,將以更加高效智能的內容自動化生產方式替代過去主要依賴人力來完成的新聞制作環節,助力傳統媒體融合轉型,推動新聞生產的智慧化變革。

此次與《羊城晚報》聯合推出AI合成主播,只是網易互娛AI Lab虛擬人技術的眾多落地案例之一,其相關技術早在虛擬主播、虛擬主持等多個應用場景開花結果,例如2021浙江衛視跨年晚會過場動畫中的虛擬助手、2021 N.Game游戲學院峰會虛擬主持以及《第五人格》嗶哩嗶哩禿禿杯虛擬主播等背后,都有網易互娛AI Lab的技術支持。

除了完善的虛擬人技術,網易互娛AI Lab作為游戲行業領先的人工智能實驗室,在游戲AI、語音語言處理研究和計算機視覺和3D視覺研究領域也擁有豐富的產品和落地成果。同時,他們也深耕學術研發與創新,不僅橫掃了ACCV、INTERSPEECH、IJCAI等國際人工智能頂會的冠軍,其研究成果還被SIGGRAPH、AAAI、GDC等國際頂級學術會議或行業大會收錄。未來,隨著落地經驗的不斷累積和技術的突破創新,網易互娛AI Lab也會不斷致力于將AI技術與傳媒、文娛、教育、金融等更廣泛領域的融合,為智慧化生活的未來場景開辟新的空間。

關鍵詞： 語音 人工智能 視頻 Lab 真人