宋亚宸 | Vast 创始人&CEO宋亚宸
在硅星人首届AI创造者大会（ACC 2024）上，Vast创始人&CEO宋亚宸分享了生成式3D的前沿进展。从最初360P级别的生成效果，到即将迈入4K时代；从专业建模师的专属领地，到人人都能zero-shot创作的开放平台；从静态模型到具备骨骼、动作的完整角色，3D生成正在重塑我们创造和交互的方式。作为中国引领全球的3D生成技术企业，Vast的Tripo模型为我们展示了一个令人振奋的未来：每个人都能成为自己世界的设计师。
以下为演讲实录：
大家下午好！今天给大家带来一些特别有趣的AI内容。我们公司叫Vast，是一家专注于3D大模型的公司，大家可能对3D大模型感到陌生，或许大家已经很熟悉语言、图像、视频大模型，以及海外的音乐大模型，其实3D领域也有属于自己的大模型。
我们的3D大模型叫做Tripo，其核心能力是通过输入一段文字或一张图片作为Prompt，甚至是多模态输入，例如图像、视频等，生成一个3D模型。这个模型的表达形式可以包含贴图、材质、PBR（物理基础渲染）等元素，它是一个有实用价值的完整3D模型。它可以应用于游戏、动画、元宇宙、3D打印、工业设计等多种领域，支持多样且富有细节的使用场景。
除了3D生成本身，我们还提供了各种处理功能，包括自动骨骼绑定和动作生成。这意味着，生成的3D模型不仅是静态的，还可以进行交互，具备动态效果。此外，我们还实现了风格化、格式转换等功能，欢迎大家直接在我们官网上体验 3D TripoAI 的功能。
https://www.tripo3d.com/
从“文字”到“实体”，Tripo究竟“智”造了什么？
目前我们的3D模型生成技术发展到什么阶段呢？我们可以将其与图像大模型 Midjourney 的水平作比较：在今年年初，我们的技术相当于 Midjourney V3 的水平；到现在我们已经达到了V4的水平，预计明年年初可以达到V5甚至V6的水平。可以把它形象地比喻为：在今年年初时，我们的生成效果类似于手机摄像头的360P 分辨率，而现在的 Tripo 2.0 已经达到了 720P 的清晰度，明年我们有望实现 1080P 甚至 4K 的效果。这一进展基于去年发布的研究论文，表明我们在3D生成领域的核心技术模块已走在前列。作为中国公司，我们在3D生成的技术创新方面奠定了非常核心的技术模块和能力，包括六头六纵的CVPR等等。此外，我们还开源了许多有影响力的项目，包括全球最大的3D算法框架ThreeStudio，图生3D的鼻祖 Wonder3D ，以及全球最大的开源3D仿真生成模型。
我们的目标是在今年使静态的3D模型生成达到实用水平。当前生成的内容已经接近于拥有一年建模经验的建模师的水平，同时，我们正在推进双足及四足骨骼自动绑定、文字生成动作、视频生成动作等功能。预计明年，无论是我的外婆、我的孩子，还是在座的每一位，都可以零门槛、零成本地实时创造完整的3D内容和体验。
3D生成在CG、工业和元宇宙中到底有多“聪明”？
当前3D生成技术已经达到了相当成熟的水平，接下来我们来看一下这个技术在哪些场景中能够得到广泛应用，到2024年，我们发现主要有四大传统场景可以被AI 3D技术赋能。首先是传统的CG行业，包括游戏、动画、影视制作、虚拟制作等领域；其次是传统工业领域，特别是下半年我们重点关注的3D打印、工业设计、家居、首饰、玩具、灯具、香薰、蜡烛、文创等行业；第三类是新兴行业，比如元宇宙、XR、具身智能仿真模拟、数字孪生、数字人等应用场景；最后一类是传统的TMT行业，如社交、直播、教育、电商等。
到目前为止，作为一家专注于海外市场的公司，我们的海外开发者数量已经超过40万人，并拥有超过一万家中小客户，他们通过我们的API服务于自己的To B客户和To C客户，此外，我们还服务着400多家大客户。
那么，3D生成技术解决了哪些核心问题呢？首先，降低了建模成本，以前一个3D模型的建模成本可能需要数百美金，而现在生成成本已无限接近于零；其次，显著缩短了耗时，原来建模可能需要数周时间，而现在可以通过网络实时生成；此外，过去需要非常高级的硬件和专业建模师，现在这些要求已不再必要，这种技术还实现了3D模型的规模化生成，比如以前一个模型需要反复修改，现在可以生成数万个模型供挑选，这极大地提高了效率。
同时，3D生成技术还能够满足个性化需求，未来每个人都可以根据需求生成独一无二的3D模型，从而实现真正的定制化。这对于3D打印领域尤其重要，它分为家用3D打印和工业3D打印两部分，在家用3D打印领域，我们已经与全球前十的3D打印公司达成合作，过去用户购买3D打印机后，由于不会建模而无法使用，而有了3D生成技术之后，不管是老年人还是小孩，都可以直接打印出自己喜欢的模型，比如钢铁侠与皮卡丘的结合体，非常有趣。在工业3D打印方面，我们看到许多应用场景，比如食品、礼品和文创的3D打印，可以根据用户需求打印出个性化的产品。举个例子，上周我们在汕头与全球最大的积木厂商高砖合作推出了3D积木生成大模型，现在用户只需提供一张图片或文字描述，就可以生成属于自己的积木玩具。
我们与全球六七家最大的3D打印公司合作，共同举办了3D工业设计大赛，吸引了全球近千名工业设计爱好者参赛，创作了各式各样的国际象棋设计作品。参赛者只需提供文字和图片即可直接生成完整的3D模型，这些模型可以立即放入家用3D打印机进行打印，我自己也贡献了三套作品，虽然遗憾未能入围。
每个人都能成为自己世界的设计师
除了工业设计，3D生成还广泛应用于虚拟内容的创作。你现在看到的所有画面均来自Tripo1.4版本生成的3D内容，作为一个从未建过模的人，我用了一个早晨的时间，借助Tripo大模型创作出人生中第一个动画，还获得了入围奖。万圣节期间，我们也举办了相关活动，利用3D生成制作了许多有趣的视频和动画内容。
我们的用户中还有一些非常有创意的创作者，利用成千上万个Tripo生成的3D零件拼搭了一个太空站，这个作品在Twitter上被埃隆·马斯克转发，全球观看次数超过9000万次。现如今，通过3D生成技术，各种动画和游戏场景都能被秒级完成，例如《我的世界》这样的游戏，以前需要一年时间才能搭建的大型场景，现在不到5分钟就可以生成。
我们还与UGC内容平台、家居厂商等达成合作，在平台上用户可以快速生成各种大型的室内外场景。在元宇宙中，用户可以设计服饰、首饰、家居等3D元素，用于虚拟场景。无论是游戏、动画还是虚拟制作，3D生成技术都能快速进行调换、低成本地满足需求。
未来，随着UGC内容的增加，越来越多非专业建模师的人将能够通过文字和图片生成自己理想中的世界，诸如“海贼王”的海洋世界、“加勒比海盗”的冒险场景，甚至是“沙丘”中的神秘风光，都可以轻松打造，每个人都有机会成为自己最喜爱的游戏设计师。
此外，XR也是一个重要的应用场景。虽然目前XR和MR还未普及，但当它们真正普及时，3D生成将会成为一种全新的交互方式。用户只需发出指令，就可以即时生成场景和物品，例如为一个舞者生成舞台、为一个沙发配置绚丽的灯光等。这不仅仅是创作，更是一种表达，甚至可以成为3D日记，记录和分享每个人的日常生活与心情。
我们的使命是“为世界进文明，为人类造幸福”。大家有任何合作或感兴趣的创意可以随时找我。谢谢大家！
