阿里团队推新框架UniPortrait：支持多角色一致性和风格参考

最近，阿里巴巴集团的研究团队发布了一种名为 UniPortrait 的全新框架，专注于人像图像的个性化处理，实现了单角色一致性、多角色一致性和风格参考。

这个框架不仅可以处理单一身份的图像，还可以在多角色的场景中进行高质量的个性化定制。UniPortrait 的特点是能够保持面部特征的高度逼真，并且支持广泛的面部编辑功能，用户甚至可以使用自由形式的文本描述来生成他们想要的图像，而不需要固定的布局。

单角色一致性

UniPortrait 的核心由两个模块组成:ID 嵌入模块和 ID 路由模块。ID 嵌入模块负责提取每个身份的可编辑面部特征，并将这些特征以解耦的方式嵌入到扩散模型的上下文空间中。接着，ID 路由模块会根据图像合成中的不同区域自适应地组合和分配这些特征，从而实现单一和多个身份的个性化定制。

多角色一致性

在训练过程中，UniPortrait 采用了精心设计的两阶段训练方案。第一阶段专注于单一身份的训练，第二阶段则是对多重身份进行微调。通过这样的训练方式，UniPortrait 在单一和多重身份的定制表现上均优于现有的方法，实验结果也显示出它良好的可扩展性，能够与现有的生成控制工具普遍兼容。

UniPortrait 的推出为人像图像的个性化定制带来了新的可能性，尤其是在自由形式的提示和多样化布局生成方面。研究团队展示了多个单一和多重身份的个性化示例，显示了这个框架在实际应用中的巨大潜力。总之，UniPortrait 不仅提升了图像生成的质量，也为未来的各种应用场景铺平了道路。