分享到微博 分享到人人 分享到LinkedIn 分享到Email
众里寻她千百度——Azure助力人脸合成/美化项目

在今年风靡电视圈的《最强大脑》节目中,一项“微观辨识韩国小姐”的挑战节目被观众称为最变态的挑战。挑战者需要对由韩国小姐脸部五官任意合成的1700张照片进行分辨,判断出这些合成照片是由哪些原照片所组成的。

节目现场图图片来源于网络

超强的辨识能力让挑战者杨冠新一夜成名,而节目中所呈现出的1700张几乎一样的合成照片也引发了观众的热议,也让由微软亚洲研究院和华南理工大学电子与信息学院共同合作完成、借助Microsoft Azure平台而发布的人脸美化程序从幕后来到了幕前。

金连文教授是这一人脸美化应用程序的开发者,“最强大脑的导演在网上搜索有关合成脸谱技术的信息,然后发现了我们建的网站。他向我们咨询了关于这一技术的一些细节,我们也制作了一些合成面孔给他们看。这个程序可以自动、高效地运行面部合成功能,可以满足节目组的需求,因此他们决定和我们进行合作。”

金连文老师在最强大脑节目现场

这一项目基于Microsoft Azure云计算平台,研究了基于数据驱动的人脸美化技术,包括平均脸理论与技术、人脸图像分层技术、基于边缘保持能量最优化的自适应蒙板(Mask)生成方法,基于自适应Mask的人脸形状美化、人脸肤色美化及人脸纹理美化方法。

通过对所输入的面孔信息进行扫描,经过程序运行之后可以获得较为自然的新合成面孔。而如果是将原有面孔与由数据库中所有数据综合产生的平均脸配对,则合成的新面孔不仅保留了原有面孔和平均面孔的所有特征,同时较原有面孔可以产生更强的吸引力。

(a)

(b)

(a) 基于Microsoft Azure平台的人脸美化系统框图    (b) 人脸美化算法处理框图

除了人脸合成功能之外,基于Azure的这一程序还可以用于人脸美化。传统的图像处理技术通常是提高图片质量,但这一新的应用程序则采用了一项突破性的计算机图片处理技术,在保持原有形象的基础上增加人物的吸引力。在社交媒体日益流行的时代,上传头像以及美化图片越来越普遍。广告业、电影制作页和网页设计等领域,都可以看到大量长相漂亮的模特照片。尽管现在市面上有一些商业性质的图片编辑软件系统,但是要掌握这些工具都需要经过较长时间且花费精力的学习。而这一程序希望能够让用户以最少的精力来获得高效、方便的使用体验。即使是没有任何专业技能的用户,在使用这一应用程序时都能自己制作出迷人且自然的人像。

事实上,一套完整的脸部美化程序包括脸型美化、肤色美化、打光和粉饰等步骤。这一美化程序借助自动化的人脸区域检测、人脸特征分析、人脸合成等技术,可以更灵活和准确的提升人脸美化功能,相对地也简化了复杂的操作方式。

人脸美化前后示意图

“这是一个在Microsoft Azure平台上设计并使用的人脸美化演示系统。”金教授强调了Microsoft Azure平台的重要性,通过研究在云计算环境下,图像数据的快速存储、读取、同步及管理方法,解决了Azure Storage图像数据、Blob图像数据以及SQL Azure数据之间的有效数据交换及通信问题;利用Azure Cloud Service解决了多用户多终端并发访问时的负载均衡问题。

项目最终实现了一个基于Microsoft Azure云计算的人脸美化系统,对终端用户提供实时人脸美化交互处理。此外,相关人脸美化处理算法以相对独立的API接口函数模块形式进行了云端的设计与实现,可通过HTTPAPI等方式提供给第三方研究人员或开发者进行跨平台调用,实现人脸美化的云计算PaaS服务。

这一人脸美化项目最近受到了持续的关注。许多中国学者都开始关注这一项目。金连文教授和他的团队近期举行了几场演讲以及实时演示。

2014年4月18日和19日,金教授和他的团队在青岛举行的2014VALSE会议上做了Demo展示及讲解。VALSE是在计算机视觉和机器学习方面非常知名的全国性学术盛会,今年有超过500人参加。

金教授及其团队并没有满足于目前所取得的成绩,“我们将继续进行人脸美化方面的研究,让这一技术更为是计划和可行。我们也正在考虑在不久的将来能够开发一款专为智能手机终端而设计的应用程序。” 目前,在官网FaceMore上可以体验人脸美化以及脸部合成功能。