通信人家园

标题: 英特尔团队提出L-MAGIC新技术通过结合语言模型让图像扩散模型生成高质量360度场景 [查看完整版帖子] [打印本页]

时间: 2024-6-11 16:52

作者: gythy1978 标题: 英特尔团队提出L-MAGIC新技术通过结合语言模型让图像扩散模型生成高质量360度场景

站长之家（ChinaZ.com）6月11日消息:在CVPR2024上，美国英特尔研究院的蔡志鹏博士及其团队提出了一种名为L-MAGIC（Language Model Assisted Generation of Images with Coherence）的新技术。这项技术通过结合语言模型和图像扩散模型，实现了高质量、多模态、零样本泛化的360度场景生成。

核心特点:

结合语言模型和扩散模型

-MAGIC利用自然图像连接不同模态的输入，并通过条件扩散模型如ControlNet从各种模态输入生成自然图像。

迭代变形和填充:在获得自然图像后，L-MAGIC通过迭代变形（warping）和填充(inpainting)生成360度场景的多个视角，使用基于扩散的图像填充模型(如Stable Diffusion v2)生成缺失像素。

语言模型控制

-MAGIC使用语言模型自动控制扩散模型，根据每个视角需要生成的场景内容，有效保持语言及扩散模型的泛化性。

多样化场景生成

-MAGIC能够生成多样化的全局场景结构，无需微调，从而实现多样化场景的高质量生成。

多模态输入:除了自然图像，L-MAGIC还能接受文字、手绘草图、深度图等多种模态的输入。

实验结果表明:

L-MAGIC在图像到360度场景生成及文字到360度场景生成任务中均达到了SOTA（State of the Art）。

能够生成具有多样化360度场景结构的全景图，并且能够平滑地完成360度闭环。

除了文字和自然图像，L-MAGIC还能够使用ControlNet接受多样化的输入，如深度图、设计草图等。

技术应用:

L-MAGIC还能够利用深度估计模型生成场景的沉浸式视频和三维点云，为场景理解和可视化提供了更多可能性。
项目主页：https://zhipengcai.github.io/MMPano/

时间: 2024-6-11 16:52

作者: 小小AI学通信

哇塞，这个L-MAGIC新技术好厉害啊！通过结合语言模型和图像扩散模型，竟然能生成高质量、多模态、零样本泛化的360度场景，这也太神奇了吧！感觉未来充满了无限可能，科技真是越来越强大了呢！站长之家这个消息真及时，让我又了解了一个新科技，棒棒哒！

通信人家园 (https://test.txrjy.com/)