国际在线消息:2021年中关村论坛继续发挥科技办会的优势,利用多项黑科技全面提升参会体验。在2021中关村论坛中,多项科技办会应用,将直接落地北京冬奥会中。
从内到外 科技凸显中国式防疫的力量
疫情期间举办如此规模的论坛,防疫工作必然是重中之重。首先,论坛根据不同功能需求,在关键区域和出入口布设睿家科技智能安检测温系统及旷视明骥智能体温筛查比对系统。前者用于在安检处快速核验个人健康防疫信息,后者用于在人员密集处快速筛查体温。
值得一提的是,睿家科技智能安检测温系统可以做到一秒七步合一:身份识别、智能测温、健康码、核酸检测、疫苗接种、公安联网、电子登记。
MR全景会场 云上论坛开启融合的世界
办会期间的科技防疫是基础操作,科技对会议主体内容的赋能更突显智慧。3G时代人与人之间的沟通更快了,4G时代物与物连成了物联网,5G时代,人、物、数据将更加深度的绑定在一起,现实世界和虚拟世界也会加速融合。
本次云上论坛将同步在MR(混合现实)全景会场中举办,融合实景全景+三维模型,还原真实的会场空间,将多种融媒体整合、让观众可以在线上得到身临其境的沉浸式体验。
那MR和本就融合了现实和虚拟的AR有何不同?
AR这项技术主要是通过三维模型、视频等数字媒体来给现实世界增加新的视角,将各种“美术”元素实时叠加在了用户的像机视图上。
MR与之不同之处在于,在MR的世界里人们能够像现实世界一般去互动、操纵和体验。想象一下,类似隔空输入,敲击着桌面上的虚拟键盘,屏幕上就实时显示出了内容。在混合现实中,到处都是这样的场景,虚拟世界的对象都是可触碰、有反馈的,MR相当于创造了现实和虚拟共存的混合世界。
那MR全景会场如何构建?首先需要一套全景技术来复制一份会场的全景三维镜像,然后再整合多元化的媒体信息。这个全景系统涉及超高清全景相机、全景拼接和全景图像渲染引擎等。
全景相机将拍摄的会场高清图像上传至云端,后台通过特征点识别、特征点匹配、图像智能拼接、图像融合等技术,将图片无缝拼接好,再由前端渲染引擎实现全景照片在手机、电脑、智慧屏等终端上完美呈现。
融合空间定位、实时数据映射等多元媒体技术,一个令人兴奋可以实时交互的MR全景会场就诞生了,这个MR会场不再是“堆特效”堆出来的死场景,而是生动可感的第三世界。
“悟道2.0”加持 手语播报数字人让听障人士享受普惠AI
MR云上会场虽然有更加沉浸式的体验,但现场的互动体验更能让与会者感受到科技的变化。中关村论坛这样的科技盛会,不仅规格高,场次也很多,比较重要的会议通常伴有手语直播,方便听障人士参会,如果全靠真人手语主播,工作强度将会加大。
近两年,虚拟数字主播逐渐走上舞台,帮助主持会议、播报新闻,几乎可以乱真,但目前可以播报手语的虚拟人并不常见。本次大会利用 “悟道2.0”超大规模预训练模型加持的手语播报数字人。
由于手语主要靠手势来传递信息,不同的人有不同的手势习惯,很容易造成信息传递偏差,而人工智能则可以避免“千人千面”,只要前端接收的自然语言信息无误,就能准确表达。普通播报新闻的虚拟主播也是由AI来驱动,对它们来说,只要语音准确就可以,表情和手势只需配合,而手语播报数字人,对手势的要求会更加精准。
追根溯源,手语数字人是为了传递信息,所以对自然语言的理解尤为重要,这次的手语数字人背后注入了“悟道2.0”和微软小冰的强大基因。
“悟道2.0”是类似GPT-3的人工智能预训练大模型,参数规模达1.75万亿,是GPT-3的10倍,并且完全使用国产算力,在9项Benchmark基准测试任务上都达到精准智能。
因为训练数据和参数跟普通的AI模型不在一个量级,所以在自然语言理解上会有明显优势。微软小冰基于情感的交互能力更强,不光可以进行创作性回答,还能控制自然对话的节奏,让整个播报更像真人。
据悉,该手语播报数字人不光参加中关村论坛,也会服务于北京冬奥会,为全世界的听障人士带去更好的参会体验。
AI修复+视错觉视频技术 线上观看效果依然“人从画中来”
作为线下论坛,利用科技增强现场效果,给观众带来更佳的体验亦是重中之重。中关村论坛引入一系列适用于论坛场景的新技术,多维度整合进论坛场景中,让科技论坛真正科技化。
“国际化”“高端化”是2021年中关村论坛办会特色,为此论坛邀请众多海外相关领域嘉宾线上参会,嘉宾线上视频的质量直接影响了现场效果。
中关村论坛利用技术打造了线上嘉宾“人从画中来”的真实效果。首先,视错觉视频技术。主会场采用大面积弧形屏+顶部条屏结合的方式,营造沉浸感氛围,条形屏通过动态素材的呈现增加灵动感,同时配合视频呈现裸眼3D效果。
利用视觉差原理,通过绿幕录制、后期特效等方式制作远程嘉宾演讲视频,达到线下线上裸眼3D效果,配合制作合成的模拟特写镜头上屏,达到以假乱真的效果。
论坛利用AI视频增强技术,将部分质量不高的演讲视频优化为高清视频。如今,AI视频增强技术通常是基于深度学习技术,重新设计或提出自研的超分核心技术算法。可针对有损的视频场景、低分辨率视频流或视频文件进行实时放大、修复、复原,输出高分辨率、高清晰度视频,并经过神经网络的处理,有效修复编解码引入的图像错误。
除此之外,2021中关村论坛在在北京市通州区九棵树文化产业园设置沉浸式第二现场,全方位还原中关村论坛部分活动场次——通过边缘融合技术对多个方位拍摄影像进行拼接融合,在第二现场进行播出,达到全方位沉浸式体验的效果。
许多赛事会议都将用上基于5G的沉浸式VR体验,例如2022北京冬奥会的赛场。如今的许多体育场和竞技场全都安装有数十台高清摄像机,然后捕捉各类角度的赛事镜头,将捕捉到的图像数据进行渲染处理,进而能够实现360度的回放,并使得对人眼难以判断的动作和场上的违规行为进行详细描述成为可能。
如今,人、物、数据将更加深度的链接在一起,现实世界和虚拟世界正在加速融合,VR会议只是数字孪生的冰山一角,是一个表现形式一个窗口,未来的数字化智能工厂不是搬进了虚拟世界,而是迈上了通往融合创新的新大陆。(文/徐若华)