場外看冬奧 自由交互技術(shù)讓你“身臨其境”
科技冬奧進(jìn)行時
◎本報記者 何 亮
手持一部5G手機(jī)，點開應(yīng)用程序，手指觸動屏幕的瞬間，國家體育館里冰球賽場的實時畫面就像電影《黑客帝國》中子彈時間的特技般沖擊你的眼球。
不論在哪個角落，只需在5G環(huán)境下，自由交互式技術(shù)可實時提供冬奧賽場的比賽畫面，并實現(xiàn)任意視角的自由觀賽。4月3日正是“相約北京”冰上項目測試時間，在北京大學(xué)前沿計算研究中心采訪的科技日報記者親身感受了一次“異地自主觀賽”的神奇。
國家重點研發(fā)計劃“科技冬奧”重點專項——冰雪項目交互式多維度觀賽體驗技術(shù)與系統(tǒng)項目負(fù)責(zé)人、北京大學(xué)博雅特聘教授陳寶權(quán)告訴記者，如果項目成果在冬奧會期間得以應(yīng)用，屆時即便不在冬奧比賽現(xiàn)場，新型觀賽技術(shù)也能讓觀眾體驗別致的“身臨其境”，甚至?xí)仍诂F(xiàn)場獲得更自由的觀賽體驗。
5G高速公路上的“花式”飆車
直播延時30秒，畫面實現(xiàn)1080P高清圖像，在自由交互觀賽的多功能體驗中，上述鏡頭效果得以實現(xiàn)，是5G網(wǎng)絡(luò)與8K技術(shù)提供了基礎(chǔ)支撐。
“就像在5G高速公路上進(jìn)行‘花式’飆車�！标悓殭�(quán)表示，與傳統(tǒng)單獨視點的視頻傳輸相比，自由交互的多視點傳輸在數(shù)據(jù)容量上是數(shù)倍甚至數(shù)量級的提高。
在國家體育館內(nèi)，項目組實現(xiàn)40余個相機(jī)的陣列分布、四分之三場地視頻覆蓋，“多媒體鏈路和編解碼傳輸，都是在8K分辨率下進(jìn)行的�！薄白杂梢暯恰毕到y(tǒng)課題負(fù)責(zé)人盛驍杰告訴記者，隨著視點自由度的提高，瞬間傳播的數(shù)據(jù)量變得巨大，對分辨率的要求自然就會提高。
2021年的春節(jié)聯(lián)歡晚會實現(xiàn)8K高清試播，從內(nèi)容編解碼到信號傳輸實現(xiàn)了革命式變化。
自由交互式觀賽則實現(xiàn)了另一種革命式變化——利用8K能力，在內(nèi)容上提供了一個交互式自由視點的展示與觀看。
“聰明大腦”設(shè)計一條高效計算的便捷傳輸路
從場館圖像數(shù)據(jù)采集到街道任意角落實時觀看，一個端到端的解決方案清晰可見，這正是整個項目的難點和亮點。
現(xiàn)場圖像拍攝后送往云端，場館與比賽信息被三維重建，再通過編碼與解碼提供給觀眾“自由視點”觀看體驗。然而，只有40余臺相機(jī)分布在210米的U形場地內(nèi)，每臺相機(jī)間隔近5米，將如何提供全場域的無縫自由視點？
項目組為其配置一個“聰明大腦”。首先，通過三維重建讓新視點的合成變得可能；然后，自適應(yīng)編碼與傳輸技術(shù)，根據(jù)用戶視點改變的意圖來預(yù)測下一步趨勢，進(jìn)行有針對性的計算與數(shù)據(jù)傳送�！巴ㄟ^實時預(yù)測，避免了簡單粗暴的計算與數(shù)據(jù)傳輸，也保證了8K數(shù)據(jù)的高效供給用在流暢觀看這個剛性需求的‘刀刃’上�！标悓殭�(quán)說。
除此之外，在自由觀賽的時候，往往會有精彩的進(jìn)球瞬間和猛烈的肢體碰撞不經(jīng)意間溜進(jìn)你的視線。這是因為，在賽事轉(zhuǎn)播前，針對比賽的競技特點，系統(tǒng)對場景進(jìn)行了推演預(yù)判，一個鏡頭軌跡的規(guī)劃早早布置在系統(tǒng)之內(nèi)�！皵�(shù)字孿生推演系統(tǒng)就像比賽現(xiàn)場的導(dǎo)演一樣�！标悓殭�(quán)表示，系統(tǒng)會在隨機(jī)變化的冰球比賽中計算有效的視點軌跡并合成相應(yīng)視點內(nèi)容，將比賽最精彩的鏡頭實時計算出來推送給觀眾。
直通尋常百姓的最后一公里
“無特殊的裝備，也無專用帶寬，僅憑5G手機(jī)配合5G網(wǎng)絡(luò)，用戶就可以實現(xiàn)高質(zhì)量的交互式觀賽，使交互式VR技術(shù)直通到尋常百姓的手中。”盛驍杰進(jìn)一步介紹項目的特點：數(shù)字化制作的內(nèi)容可以有機(jī)地融合到比賽場景當(dāng)中，實現(xiàn)賽事內(nèi)容的增強。
進(jìn)球軌跡以一條紅線展示，運動員的姓名直接顯示于他的頭頂……在傳統(tǒng)轉(zhuǎn)播中以單頁插播方式提示的信息，現(xiàn)在可以直接嵌入到實時動態(tài)的場景之中。
走進(jìn)百姓應(yīng)用的最后一公里，內(nèi)容的高效生成是關(guān)鍵。陳寶權(quán)表示，項目組將在冬奧開幕前最后10個月左右的時間，聚焦冬奧場景現(xiàn)實需求，抓緊技術(shù)攻關(guān)，不斷提高在轉(zhuǎn)播呈現(xiàn)與交互使用上提供優(yōu)質(zhì)內(nèi)容輸出的能力。
