最近,由香港科技大学和特拉维夫大学的研究团队提出的一种名为"动态字体动画"(Dynamic Typography)的AI模型,它可以根据你输入的任何词语或短语,自动生成相应的字形变换和运动视频,将文字内涵生动呈现。
比如单词"PASSION",我们设定改变字母"N",输入提示词“Two people kiss each other, one holding the others chin with his hand”,就会得到人物亲吻拥抱的效果。这种模型通过智能分析文本语义,自动构筑出贴合的视觉动态效果,为单词赋予生命力。
动态字体动画模型是如何做到这一点的?它的秘密在于巧妙地结合了矢量图形、神经网络和约束优化技术。首先将文字用数字化的矢量SVG路径表示,然后通过两个神经网络模块"基形场"和"运动场"预测每一帧的字形变换和运动位移。
在生成的每一帧中,模型会先根据基准形状渲染出字形轮廓,然后对该轮廓进行微小的扭曲变形,模拟出动态的视觉效果。整个生成过程都在扩散模型的框架下通过约束优化获得,以平衡语义理解准确性、字形可读性和运动流畅性等多重目标。例如引入视频语义损失保证与文本内涵高度贴合,可读性损失则维护字形结构清晰可辨识。
通过这一创新的技术方案,输入的单词或短语可以自动转化为富有张力、活力且极具艺术表现力的动态视觉作品,为平面文字注入了新的生命力。无论是浪漫、激情还是其他抽象概念,都可以得到生动形象的视觉诠释。
项目地址:https://github.com/zliucz/animate-your-word?tab=readme-ov-file