咨询热线:
把一段音频、一张相片输入AI模型,就能让图中人物开口歌唱说话,让奥黛丽赫本唱《上春山》、陶俑仕女说英文RAP、爱因斯坦说中文段子。
不久前,这款名为EMO的模型由于阿里通义实验室的一篇论文火遍海内外,模型的产品化进程也广受重视。
现在,翻开通义APP,进入“全民舞台”频道,就可来到EMO产品页面“全民唱演”。在歌曲、热梗、表情包中任选一款模板,上传肖像相片,EMO随即就能合成视频。
通义APP第一批上线多个EMO模板,包含抢手歌曲《上春山》《野狼disco》等,网络热梗“钵钵鸡”“回手掏”等。
现在通义APP暂不敞开用户自定义音频,用户只能挑选APP预置的音频来生成视频。
据了解,EMO是通义实验室研制的AI模型,其背面的肖像说话(Talking Head)技能是当时大热的AIGC范畴。
EMO之前的Talking Head技能都需针对人脸、人头或许身体部分做3D建模,通义实验室在业界首先提出了弱操控规划,无需建模就可驱动肖像开口说话,不只下降视频生成本钱,还大起伏的提高了视频生成质量。
EMO学习并编码了人类表达心情的才能,能将音频内容和人物的表情、嘴型匹配,还能把音频的口气特征和心情颜色反映到人物微表情上。
本年2月底,通义实验室发布相关论文,EMO随之成为继SORA之后最受重视的AI模型之一。现在,通义APP让所有人都可免费体会前沿模型的创造力。
未来,EMO技能有望使用于数字人、数字教育、影视制作、虚拟陪同、电商直播等场景。
过一段时间内,通义APP爆款频出,现象级使用“全民舞王”曾在交际渠道掀起“兵马俑跳科目三”“金毛跳舞”的热潮,全民舞王背面的模型Animate Anyone也出自通义实验室。
近期,通义APP还连续推出了超长文档解析、AI编码帮手、AI会议帮手等免费实用功用。通义大模型正在成为渐渐的变多用户的超级AI帮手。