只需一张照片 爱因斯坦和“李白”跳科目三?

昨天上线的阿里云大模型图生视频功能火了

2024-01-04

通义千问“全民舞王”体验界面,共有12款舞蹈模板,选择模板上传照片即可生成舞蹈视频

商报讯(记者 王彬彬)你的好友在朋友圈和爱因斯坦、“李白”甚至兵马俑 “斗舞”大跳科目三?没看错!这是阿里云旗下的大模型通义千问在昨日上线的一个图生视频功能,只要上传一张真人、动漫、卡通等照片,就可以免费生成一段舞蹈视频。

从舞蹈白痴到全民舞王只需要四步。打开通义千问App,在搜索框中输入“通义舞王”“全民舞王”等关键词,再在模板中选择一段心仪的舞蹈,最后上传一张全身照后系统会自动生成一段10秒左右的视频。

记者了解到,该功能背后的算法是阿里自研视频生成模型Animate Anyone,早在去年11月底,该研究论文便在推特、Youtube等海外社交媒体平台爆火,相关视频播放量超1亿,不少外国网友被经验,纷纷想要体验入口。

昨日,“全民舞王”这一功能在通义千问App上线,立即在社交平台上展开一场激烈的斗舞。记者在体验页面看到共有12款舞蹈模板,包括DJ慢摇、科目三、鬼步舞、兔子舞、极乐劲舞等热门舞蹈。从上传符合要求的照片到生成舞蹈视频,大概需要15分钟时间。

记者也体验了一下,分别上传了真人、动画形象等不同类型的照片。惊喜的是,生成的视频神形兼备,不仅能轻松驾驭各类快节奏及复杂动作,还能较好地保留原形象的面部表情、服装、身材比例、服装、背景等特征。不过偶尔也会出现面部表情僵硬、四肢动作失真的情况。

想要视频效果更好,有一点要格外注意。视频生成对原照片的要求较高,例如上传图片的清晰度、双手的可见度都会对四肢生成的效果产生一定的影响,所以在上传照片时系统建议图中的形象“正面站立、全身照、全身无遮挡、无俯仰角”。此外,这版Animate Anyone算法更侧重保留原输入照片的角色表情,阿里云将会继续探索一些新的方向,例如增加面部控制。

生成的视频是否会涉及隐私和版权风险?记者了解到,用户上传的照片以及生成的视频都属于用户本人,通义千问不会用于其他用途。不过建议大家使用本人照片进行体验,如需使用他人照片,需要确保获得权利人的同意。