这个被称为 QUEEN 的模型模型支持低带宽、高质量的现高效内场景生成，可用于工业机器人操作、容直3D 视频会议和直播等流媒体应用。模型

NVIDIA Research 与马里兰大学合作开发的现高效内 AI模型 QUEEN 将内容直播带入全新的维度。有了 QUEEN，容直直播自由视角视频有望成为现实，模型也就是现高效内说，观众可以从任意视角体验 3D 场景。容直

QUEEN 可用于构建沉浸式直播应用，模型例如教授烹饪等技能、现高效内让球迷就像身处球场一样从任意视角观看比赛，容直或者在工作场所举行更加身临其境的模型视频会议。QUEEN 也能用于工业环境，现高效内帮助操作员远程操控仓库或工厂中的容直机器人。

该模型在本月于温哥华举行的年度 AI 盛会 NeurIPS 上进行了展示。

NVIDIA 研究总监、杰出研究科学家 Shalini De Mello 表示：“要想近乎实时地直播自由视角视频，就必须同时重建和压缩 3D 场景。QUEEN 巧妙地平衡了压缩率、视觉质量、编码时间和渲染时间等各种因素，从而创建了一个优化的流程，为视觉质量和可直播性树立了新的标杆。”

通过减少渲染量，重复利用

和循环利用等方式实现高效直播

自由视角视频通常使用来自各种摄像角度拍摄的视频素材制作而成，例如多机位拍摄、仓库里的一组安防摄像头或是办公室中的视频会议摄像头系统。

以往用于生成自由视角视频的 AI 方法要么占用过多的内存用于直播，要么为了缩小文件大小而牺牲视觉质量，而 QUEEN 在两者之间取得了平衡。即便是存在火花、火焰或毛茸动物的动态场景，也能轻松地把高质量的视频内容从主机服务器传输到客户端设备。而且，与之前的方法相比，它还能够更快地渲染视频内容以进行直播。

在大多数真实环境中，场景中的许多元素都是静止不动的。在视频中，这意味着某个帧中的大部分像素与其它帧中的像素相同。为了节省计算时间，QUEEN 跟踪并重复使用这些静态区域的渲染，从而腾出资源来专注于重建那些随时间变化的内容。

研究人员使用了一块 NVIDIA Tensor Core GPU，在多个基准测试中评估 QUEEN 的性能，他们发现该模型的表现在一系列指标上都优于目前最先进的在线自由视角视频制作方法。对于从不同角度拍摄同一场景的 2D 视频，通常只需不到五秒的训练时间，就能以每秒约 350 帧的速度渲染自由视角视频。

同时实现高速度和高视觉质量，这意味着音乐会和体育赛事转播能够提供身临其境般的虚拟现实体验或比赛集锦的即时回放。

在仓库场景中，机器人操作员可以利用 QUEEN，在操纵物体时更精准地测量深度。在视频会议中，例如 SIGGRAPH 和 NVIDIA GTC 大会上的 3D 视频会议 demo，它可以帮助主持人演示烹饪或折纸等场景，同时让观众可以选择最适合自己学习的视角。

NVIDIA 为 NeurIPS 制作和撰写了 50 多篇学术海报和论文，QUEEN 是其中之一。这些学术海报和论文介绍了在模拟、机器人和医疗等领域具有巨大应用前景的开创性 AI 研究成果。

首次介绍了 GAN 模型的论文《生成式对抗网络》在 NeurIPS 2024 大会上荣获“时间检验奖”。该论文被引用超过 8.5 万次，其中一个作者是 NVIDIA 的杰出工程师Bing Xu。

NVIDIA Research 在全球拥有数百名科学家和工程师，专注于 AI、计算机图形学、计算机视觉、自动驾驶汽车和机器人等领域的研究，欢迎点击“阅读原文”查看他们的最新研究成果 。

大型语言模型、模拟和建模、边缘 AI 等领域的学术科研人员可以申请 NVIDIA 学术资助计划。

• ·浩亭携手OCP推出高效连接解决方案
• ·海信上官小波：选智能空调，上首届海信京东High浪节—万维家电网
• ·千城万店掀热潮！志高智能王200款全国上演“十月围城”—万维家电网
• ·IFA2018:海尔智慧客厅里的天玺空调，帮你实现智能空气控制—万维家电网
• ·苹果要打折卖了消费者质疑“诚意不足”
• ·美的空调类新品亮相AWE2018 ，开启“高智商”居家生活新体验—万维家电网
• ·怎么看球才够“优雅”？海尔家电节解锁舒适生活“新玩法”—万维家电网
• ·专芯智造 GMCC摘首届中国冷暖智造芯智大奖—万维家电网
• ·柠檬光子获批2024年度科技重大专项资助
• ·GMCC远征巴西FEBRAVA展，大秀“技术肌肉”展实力—万维家电网
• ·空调也能防火预警？志高智能王第4代200款告诉您真相—万维家电网
• ·差异化挑战消费升级，国美独家首发格力全功能舒御系列空调—万维家电网
• ·浩亭携手OCP推出高效连接解决方案
• ·2018AWE：海尔智慧家庭空气解决方案，再次引领消费升级新趋势—万维家电网
• ·让中国制造再次伟大：志高携智能王200款惊艳广交会—万维家电网
• ·享受智能生活？你需要这些智能电器—万维家电网