豆包生成汉字,不是神秘的技术,而是好产品

豆包生成汉字,不是神秘的技术,而是好产品
2024年12月16日 09:49 品玩

为了一张带中文的AI海报,设计圈最近有点躁动。

在此之前,设计师们或许并不把AI生图当回事。毕竟Midjourney和Stable Diffusion虽然能画出精美绝伦的画面,但一碰到中文就歪歪扭扭、惨不忍睹。

12月初,豆包和即梦在移动端悄然上线了一项新功能:能够生成带有工整中文字体的图片。一时间,朋友圈被各种AI制作的四格漫画、产品海报、电影海报刷屏。

从前动辄几百元一张的设计费,如今可能真的要被免费的豆包取代了?

硅星人经过多轮测试发现,虽然偶尔还会出现中文乱码的情况,但在生成的四张图中,至少有三张都能达到使用标准。这个成功率,已经远超此前任何一款AI设计工具。

那么问题来了:为什么此前AI难以实现可控的汉字生成?技术难点究竟在哪?豆包是如何攻克这些挑战的?它背后的技术逻辑是什么?

打通LLM和DIT

对于这个技术的实现过程,豆包团队比较低调,他们表示:这次更新并不是什么重大的技术突破,更多是在现有技术框架上的细节优化。

在为数不多的公开资料中,豆包大模型团队相关负责人简要介绍了他们的技术方案:豆包文生图模型通过打通LLM和DIT架构,具备更好的原生中文数据学习能力,并在此基础上强化了汉字生成能力,大幅提升了生成效果。

在深入研究相关论文并咨询多位算法工程师后,我们发现在当前AI技术发展的背景下,文字生成确实已经有了相当成熟的技术基础。

早在豆包之前,斯坦福大学开发的ControlNet框架就实现了英文字海报的生成能力。今年2月,阿里通义团队更是在魔搭平台上线了功能更为强大的AnyText模型,不仅支持中文、日文、韩文等多语言文字的生成,还能精确修改已有图片中的文字内容。

从技术原理来看,这个突破并不令人意外。文字本质上也是一种特殊的图形符号。如果DIT能够准确生成一只花瓶的图像,那么生成“花瓶”这两个字在技术原理上并无本质区别。

关键在于如何让系统理解和处理用户的输入需求。

这就是大语言模型(LLM)发挥作用的地方。当用户输入提示词(Prompt)时,LLM需要准确解析内容,判断哪些部分应该以图像形式呈现,哪些部分需要直接生成文字。这个过程涉及复杂的语义理解和意图识别。

也就是说,LLM负责深层语义理解和文本表达,确保准确理解用户意图;DIT则处理双模态输入和特征交互,将语义信息转化为视觉呈现。两个模型之间通过特征融合实现无缝对接,完成从语义到视觉的精准映射。

当然,汉字相比于英文字符,其本身的复杂性更高。难度具体体现在这几个方面:大多数生成模型使用英文数据集做理解训练,缺乏中文语料;英文只有26个字母,而中文字符有数万个,且结构、笔画、字体复杂;其次是中文排版有独特的规则和美学要求,横竖排又需要灵活变化,来保证整体的视觉效果。

即便排除了国外模型“水土不服”的因素,国内的AI模型在处理中文生成时也常常面临精确度不足的问题。生成出的汉字可能笔画残缺、结构变形,或者在排版上显得生硬呆板,缺乏自然美感。这也解释了为什么真正实现高质量的中文生成,需要在技术细节上作出大量优化和改进。

精准的保证可控和一致性,才是技术上的一个难题。从目前的技术发展来看,已经形成了几种不同的解决方案。

豆包团队选择了优化现有框架的路径。比如豆包在ECCV中发布了新的ControlNet++框架,主要解决了传统ControlNet在条件控制一致性方面的不足。

他们提出了一个高效的奖励策略:通过对输入图像添加噪声来扰动一致性,并采用单步去噪图像进行奖励微调。这种方案巧妙地避免了多步采样带来的时间和内存开销,在技术指标上取得了显著提升:准确性提高11.1%,结构相似性提升13.4%,误差值降低7.6%。

而阿里通义团队则采取了一种更为传统但同样有效的方案。他们没有依赖大语言模型,而是基于OCR技术构建了名为AnyWord-3M的庞大数据集,包含超过300万张图片、900万行文字、2000万个字符。通过严格的数据筛选和精细的后处理,同样实现了高质量的文字生成和修改功能。

总的来说,精确生成汉字并非只有单一解决方案,技术上正在推进接近100%精准度。

重点在于“可商用”

此前在技术层面实现的中文文字生成能力,都并未在市场上引起太大波澜。

当我们将豆包生成的海报与此前的作品进行对比,最显著的差异并非技术水平,而在于是否可商用。这种差异背后,是结合了字节对市场需求和商业环境判断后的结果。

AnyText演示效果

在中国的商业环境中,字体版权保护已经形成了一个相对成熟的生态体系。主流商业字体库普遍采用付费授权模式,这使得AI字体生成技术在商业化过程中必须格外谨慎。从训练数据的来源合规性,到生成结果的版权审核,再到可能的侵权风险评估,每一个环节都需要严格把控。

一位资深算法工程师对我们分析道:“技术实现其实并不是最大的挑战。真正的难点在于如何确保整个生成过程符合版权法规,如何避免潜在的侵权风险。这需要我们在技术实现的基础上,建立一整套完善的版权管理机制。需要平衡技术创新与版权保护、商业利益与法律合规、市场推广与风险控制等方面。”

虽然市面上确实存在一些免费字体库,但与庞大的商业字体体系相比,这些免费资源只是一小部分。更关键的是,在追求精致视觉效果的商业设计领域,免费字体往往难以满足专业需求。

如果仅仅依靠免费字体资源进行训练,很难达到市场对视觉美感的严苛要求;而如果要获取优质的商业字体资源,则必须面对复杂的版权问题和高昂的授权成本。这也是为什么即便技术本身并不复杂,但真实的落地情况却没有遍地开花。

一位数据源供应商分析到:“看AnyText的生成结果,就能感受到数据集中大部分都是免费字体库,OCR识别的图集可能也是公用数据,而豆包的生成结果有很多商业字体甚至是设计师自创的字体,这种数据源的差异,直接决定了最终产品的美感和商业价值。”

然而,更深层的区别在于产品定位。AnyText作为一款模型插件,与豆包这样深度整合在移动端的产品相比,在使用场景和用户体验上存在天然差异。当我们追问为何国内鲜见类似产品时,一位算法工程师的反问令人深思:“国内有哪家是在认真做文生图产品么?”

确实,纵观国内AI领域,专注于文生图的独立产品寥寥无几。大多数企业将图像生成视为服务于视频生成的过渡功能,或是更大生态中的一个组件。可图被整合进可灵,即梦也在向视频生成方向倾斜。

或许技术创新只是起点。一个功能的实现往往需要过硬的技术实力、清晰的产品定位、成熟的商业模式,能否找准市场需求、打磨产品体验,往往成了比技术更关键的一块拼图。

财经自媒体联盟更多自媒体作者

新浪首页 语音播报 相关新闻 返回顶部