HIT 奥运专题:对话 UWA 焦洋,谈菁彩奥运

HIT 奥运专题:对话 UWA 焦洋,谈菁彩奥运

2024-08-16

在本次巴黎奥运会期间,中央广播电视总台展示了其强大的科技实力,为全球观众带来了一场精彩纷呈的视听盛宴。其中”菁彩”技术尤为引人注目,其核心包括HDR Vivid和Audio Vivid。都是由世界超高清视频产业联盟(UWA)主导开发的技术标准。为深入了解这一革新性技术背后的故事,共熵服务中心有幸专访了UWA副秘书长焦洋。在这次独家对话中,焦洋为我们揭示”菁彩”技术的发展历程、技术优势及其对未来广播电视行业的深远影响。焦洋也谈到了UWA助力整个超高清生态继续发展壮大背后的努力。


PART 1

主持人:最近巴黎奥运会正在如火如荼地进行中,中央广播电视总台作为巴黎奥运会的主转播机构,首次实现了夏季奥运会全“4K超高清+三维声”制作。这背后肯定离不开HDR Vivid和Audio Vivid,“菁彩”呈现世界级体育赛事。能否聊聊在本次奥运会上都有哪些科技亮点吗?

焦洋:   本次奥运,观众应该体验到很多的科技亮点。联盟会员单位中央广播电视总台、中国移动咪咕公司、当虹科技等多家产业链头部企事业单位,充分利用UWA联盟发布的HDR Vivid和Audio Vivid技术标准,为全球观众带来前所未有的视听盛宴。

从技术角度来看,2024年巴黎奥运会采用全“4K超高清+三维声”制作开闭幕式和赛事节目。本届奥运会总台在前方巴黎国际广播中心(IBC)演播室设立全媒体报道中心和三个演播室系统,并在埃菲尔铁塔附近搭建外景演播室系统,首次为体育频道(CCTV-5)和奥林匹克频道(CCTV-16)制作三维声电视伴音。在整个体育节目里,有非常多的收声系统。一个大型的赛事,可能有几十甚至几百的收声系统。三维菁彩声沉浸式还原奥运赛事真实的现场氛围,让屏幕前的观众清晰感受现场细微变化,“声”临其境般置身赛场中心。

奥运会期间,总台“中国红”8K转播车首次登陆欧洲并承担夏季奥运会8K国际公用信号制作,这是中国媒体在奥运征程上的又一次新的突破。“中国红”4K/8K超高清转播车由总台超高清国家重点实验室自主研发和设计,配备国产8K讯道摄像机、8K便携式广播级摄像机、监视器、IP交换机等全套国产超高清拍摄制作装备,是目前世界功能最强、系统最灵活的外场转播车系统。2024年巴黎奥运会8K赛事节目将通过总台8K超高清频道和“百城千屏”播出,为观众提供更高质量的视听享受。

中国移动咪咕公司借助HDR Vivid等技术标准,打造视听行业的国产化“超高清全维度体验模型”,为观众带来了“王炸”级别的奥运“睛”彩盛宴。本次奥运会,咪咕在HDR Vivid标准的基础上,首创了基于人眼感知特性的HDR Vivid动态元数据智能生成算法,最终实现了在不同终端上的赛事呈现效果,提升了赛事场景运动画面的清晰度和通透程度。

奥运会开幕式,当虹科技助力总台CCTV-4K超高清等多个频道实现“菁彩视听”,沉浸式展现开幕式现场的盛大与精彩。当虹科技还助力中国移动咪咕公司,将HDR Vivid标准应用到了咪咕视频等平台上。4K超高清搭配菁彩HDR,为观众带来更具“临场感”的视觉体验。这也是当虹科技,继北京冬奥会、杭州亚运会后,又一次深度支持中央广播电视总台、中国移动咪咕公司等持权转播商“菁彩”呈现世界级体育赛事。    

前面介绍的几个例子,背后都是两个关键技术, 一个是HDR Vivid,一个是Audio Vivid。

HDR是“高动态范围”(High Dynamic Range)的缩写。超高清技术有几个“根技术”,一个就是高分辨率,也就是我们经常说的4K/8K:通过提供更高的像素密度,提升画面清晰度。第二个就是高帧率(HFR):增加每秒显示的帧数,使运动画面更流畅。第三个就是HDR(高动态范围)和WCG(广色域):前者通过增强亮度和对比度,使画面更接近人眼所见的真实世界。后者扩展颜色范围,呈现更加丰富和真实的色彩。    

Audio Vivid是一个三维声技术,又称:三维“菁彩”声。以前的声音技术:单声道、双声道、立体声、环绕声,都是一个平面性的声音技术。三维声技术,也就是空间音频的技术。英文叫Audio on Object(基于目标的声音),将声音的大小、空间位置、速度、形态,甚至衰减等信息,都作为参数,让我们大家在声场里,有更好的沉浸式体验。Audio Vivid是UWA联盟发布的关于三维声的一个编解码标准。我们在里面加入了两段不对称的AI的神经元的处理模型,在编码阶段,用稍大一点的神经元模型,在解码阶段,用小一点的神经元模型,以实现低码率,降低消耗。

HDR技术和三维声技术,之前一直都是在西方的科技公司手里边,UWA发布了HDR Vivid和Audio Vivid,填补了国内的空白。彻底打破了在过国内的音视频技术一直跟随西方技术的状况。

PART 2

主持人:据说三维菁彩声(Audio Vivid)是全球首个基于AI的音频编解码技术。能聊一下背后的技术细节吗?

焦洋:Audio Vivid是联盟推动的核心标准之一。当前已经是广电行标,同时在工信行标以及国际ITU标准已经提案。

Audio Vivid是全球首个基于AI技术的音频编解码标准,基于预加重、量化、稀疏矩阵等技术,优化音频质量和计算效率。通过构建各类语音模型、设置训练策略进行训练,结合线性预测和深度学习能力,实现低码率、高质量语音编码。相比普通编码,基于AI技术的Audio Vivid编码技术,可以在大比例降低码率的前提下,不降低音频播放的主观体验。

  • 对于音频创作者,Audio Vivid为声音艺术提供了强大创作工具。声音艺术家可以在三维空间创作,声音对象可以精确放置和自由移动,表现其创作意图。同时在大型赛事和活动中,全方位获取真实声音的三维信息,最大限度的获取信息源。 
  • 对于最终用户,得Audio Vivid更好的增加了空间感和方位感,让声音萦绕于听众四周乃至上方,使听众能再现在现实世界中所听到的声音,从而满足人们对声音高度还原,高度沉浸的体验需求。
  • Audio Vivid可提供个性化选择和交互体验,适用于车,电视、耳机、影院\XR、家庭影院等各种场景。今年,联盟在Audio Vivid上车方面,广泛和车企等生态进行合作,将极大体验车载影音体验。

联盟在Audio Vivid从信息编码,元数据处理,渲染等都有相应的标准或规范或推荐建议,并提供原码以及工具,促进了Audio Vivid的实际商用。

PART 3

主持人:转播奥运会的屏幕千差万别,有的是手机屏幕,也有电视大屏,还有车载屏幕,商场大屏幕等等,据说背后都是“百城千屏”的能力平台做到的,这背后有什么特殊的技术吗?

焦洋:百城千屏是2021年开始六部委共同推动的活动,在这些活动中核心的8K端到端得到了验证,并进行了商业推广。到今年为止,已经超过100个城市,1000块户外大屏接入。该平台的能力主要体现在以下几个方面:

  • 技术标准制定:由中央广播电视总台超高清视音频制播呈现国家重点实验室牵头,世界超高清视频产业联盟(UWA)制定了首批“百城千屏”超高清视音频传播系统技术标准,为平台的建设和运营提供了技术支撑和规范。该标准支持8K的端到端流程,同时支持HDR Vivid以及 Audio Vivid的播出。
  • 大屏接入与管理:平台具备大屏接入和管理的能力,能够覆盖全国多个城市的地标、文化广场、热门商圈等区域的户外大屏,实现大屏的集中展示和统一管理。例如,在总台8K超高清春晚以及巴黎奥运,的播出中,就通过“百城千屏”在全国100多个城市的1000多块户外地标大屏同步直播,展现了其强大的大屏接入和管理能力。

百城千屏提供了8K端到端技术验证,为后续超高清入户,音频上车提供了技术基础和实际商业验证。

为推动超高清电视进入千家万户,满足广大用户收看超高清视频和收听三维菁彩声音频的需求,总台建设4K/8K超高清电视节目源站,打造“央视频看电视”,依托“双千兆”网络,为广大用户提供大小屏融合传播的超高清电视服务;推出“同步听”功能,支持用户通过耳机收听与视频同步的双耳渲染三维菁彩声电视伴音。

另外,央视总台的App央视频,不仅可以直接在手机终端上收看4K和8K的转播频道,还可以通过投屏助手,把手机上的4K 8K的信号直接投屏到电视屏幕上观看。

PART 4

主持人:据说这次赛事转播,HDR Vivid也用到了AI视觉增强技术,AI轨迹追踪和视觉暂留等等技术,真是让人打开眼界,具体能聊聊吗?

焦洋:我们在这次赛事当中可以看到其中一个效果,就是做一个实时轨迹的还原,可以看到球的一个飞行的轨迹,以及它在台面上的一个落点。那通过这样的一个轨迹,观众可以非常直观地看到这个球的一个速度感,包括力量感,去体现乒乓球这个赛事的一个精髓和魅力。

如在7月30日晚上的乒乓球混双决赛中,中国运动员孙颖莎一粒极限救球“破局”,拿下关键一分,全场观众瞬间沸腾。另外可以看到樊振东打出球时的一个转速和转向。转向和转速同时显示在这个屏幕之上,并且转速已经达到了102.2转每秒。

在HDR Vivid(菁彩HDR)的支持下,整个赛场画面颜色层次丰富、明暗对比明显,即使镜头将曝光点聚焦在衣着明亮、持续移动着的运动员身上,观众席上的人群也不会因为处于暗部而被弱化应有的色彩和细节。

PART 5

主持人:据我们了解,UWA联盟至今已经发布了57项团标。能不能跟大家聊聊,联盟在技术标准这个方向的一些发展情况?

焦洋:UWA是一个国际性的产业与标准的联盟。做技术标准是联盟非常重要的工作。联盟必须要打造一个好的技术标准的体系,进而构建一个好的技术标准的生态,才能促进整个联盟技术标准的应用和生态的繁荣。

UWA联盟已经发布了57项团标,我们的标准可以分为四个体系:一个就是视频的技术标准体系(HDR Vivid),一个是音频的技术标准体系(Audio Vivid),一个是百城千屏技术标准体系,最后是新技术技术标准体系,主要为XR与超高清的结合,包括:近眼显示、3D资产、数字人、空间视频、体积视频、裸眼3D、动作捕捉等等。HDR Vivid目前是是广电和工信双行标,Audio Vivid是广电行标。同时Audio Vivid已经在今年完成了ITU SG6的立项,预计年底之前将会发布,正式成为ITU的国际标准。HDR Vivid,今年下半年会完成立项,明年争取发布为ITU的国际标准。

PART 6

主持人:这么多好的技术,一定离不开生态产业的端到端配合,请问UWA是如何做到E2E协同,激活产业生态活力的呢?

焦洋:UWA联盟是一个国际性超高清视频产业联盟组织。从成立到现在,致力于超高清产业的创新标准,生态建设以及国际化工作。

超高清的产业链生态是非常复杂的。简单地说包括:“采、编、播、传、显”,但真实的产业链结构比这个要复杂很多。如果要保证联盟的技术标准被产业界所采纳,每一个环节都不能出现断点。每一个环节都要有核心的、骨干的公司来支持这个技术的落地和使用。当前会员超过了360家,国际会员超过了30家。基本已经囊括了在音视频超高清音视频领域的很多的重要的甚至是头部的国内国际企业。

联盟主要通过以下活动激发产业生态活力。

  • 组织和制定领先的技术标准,通过标准的先进性激发生态的积极参与,如联盟的双VIVID标准均成为工信,广电行标,并提交ITU标准草案。
  • 开放友好的IP政策促进技术创新与共享:UWA联盟通过开放友好的IP政策,鼓励技术创新和知识产权的共享,降低了技术应用的门槛,促进了生态系统中各方的紧密合作。
  • 推动国际化发展:开放的IP政策有助于UWA联盟吸引更多国际合作伙伴,共同推动超高清音视频技术的国际化发展。同时利用国际化活动,如将双VIVID标准的文化音视频内容在法国中国国家领导交流中作为礼物赠送和呈现。
  • 推动构建繁荣的生态系统,如积极进行标准的技术支持活动以及制作工具的支持:UWA联盟积极与国际主流制作工具厂商合作,推动这些工具支持其技术标准。包括像澳大利亚的BMD、英国的FilmLight、美国的Pro Tools、德国的Nuendo、Cubase等。例如, Blackmagic Design的DaVinci Resolve Studio 18版本均支持HDR Vivid功能。        
  • 为服务平台与内容供给平台,终端提升竞争力:腾讯视频、爱奇艺、芒果、华为视频、咪咕等服务平台积极制作和分发支持HDR Vivid和Audio Vivid标准的内容,为消费者提供了丰富的超高清音视频体验。包括大家耳熟能详的比较火的电视剧,像《繁花》、《狂飙》、《三体》、《庆余年》、《长相思》等等。在打开爱奇艺、腾讯的时候,都会看到HDR Vivid的气泡logo。同时,网易云音乐、云听、喜马拉雅、华为音乐等都和我们展开了深度的合作,支持Audio Vivid(三维声)。同时,这些平台也成为推动技术标准普及和应用的重要力量。包括终端设备的普及。
  • 目前UWA认证的终端数量已经达到170个型号,主要分为几类。一就是移动终端生态,包括手机、平板、耳机等。二就是家生态,我们一直推动超高清入户,除了电视之外,我们还和星闪联盟合作,打造无线的家庭影院。第三就是车生态。第四就是商用场景,包括:医疗、交通、教育、会议和户外的商显等等。
  • 推动应用创新,围绕重大赛事进行应用创新:UWA联盟还围绕一些重大赛事进行应用创新,如在奥运,大运,亚运,秋晚,春晚等大型活动中观赏体验,这有助于提升技术标准的品牌和影响力。
  • 目前我们在做中国自己的电影标准,包括影院和巨幕的HDR Vivid和Audio Vivid标准的落地。

如果对此话题感兴趣,欢迎扫码加入“共熵大家庭”,共同推动产业与标准进步!