来自芝加哥大学的最新研究:给照片加上一点肉眼看不出来的修改,就能让你的脸成功「隐形」。如此一来,即使你在网络上的照片被非法抓取,用这些数据训练出来的人脸模型,也无法真正成功识别你的脸。
给照片穿上「隐身衣」
这项研究的目的,是帮助网友们在分享自己的照片的同时,还能有效保护自己的隐私。因此,「隐身衣」本身也得「隐形」,避免对照片的视觉效果产生影响。
也就是说,这件「隐身衣」,其实是对照片进行像素级别的微小修改,以蒙蔽AI的审视。
其实,对于深度神经网络而言,一些带有特定标签的微小扰动,就能够改变模型的「认知」。Fawkes就是利用了这样的特性。
用 x 指代原始图片,xT为另一种类型/其他人脸照片,φ 则为人脸识别模型的特征提取器。
具体而言,Fawkes是这样设计的:
第一步:选择目标类型 T
指定用户 U,Fawkes的输入为用户 U 的照片集合,记为 XU。
从一个包含有许多特定分类标签的公开人脸数据集中,随机选取 K 个候选目标类型机器图像。
使用特征提取器 φ 计算每个类 k=1…K 的特征空间的中心点,记为 Ck。
而后,Fawkes会在 K 个候选集合中,选取特征表示中心点与 XU 中所有图像的特征表示差异最大的类,作为目标类型 T。
第二步:计算每张图像的「隐身衣」
随机选取一幅 T 中的图像,为 x 计算出「隐身衣」δ(x, xT) ,并按照公式进行优化。
其中 |δ(x, xT)| < ρ。
研究人员采用DDSIM(Structural Dis-Similarity Index)方法。在此基础上进行隐身衣的生成,能保证隐身后的图像与原图在视觉效果上高度一致。
实验结果表明,无论人脸识别模型被训练得多么刁钻,Fawkes都能提供95%以上有效防护率,保证用户的脸不被识别。
即使有一些不小心泄露的未遮挡照片被加入人脸识别模型的训练集,通过进一步的扩展设计,Fawkes也可以提供80%以上的防识别成功率。
在Microsoft Azure Face API、Amazon Rekognition和旷视Face Search API这几个最先进的人脸识别服务面前,Fawkes的「隐身」效果则达到了100%。
目前,Fawkes已开源,Mac、Windows和Linux都可以使用。
据作者介绍说,生成一张「隐身衣」的速度平均在40秒左右,如果电脑配置够好,应该还能再快点。
据介绍。论文的一作是华人学生单思雄,高中毕业于北京十一学校,目前刚拿到了芝加哥大学的学士学位,将于9月份入学攻读博士学位,师从赵燕斌教授和Heather Zheng教授。
作为芝加哥大学SAND Lab实验室的一员,他的研究主要侧重于机器学习和安全的交互,像如何利用不被察觉的轻微数据扰动,去保护用户的隐私。
从单同学的推特来看,他一直致力于在这个「透明」的世界中,为我们争取一点仅存的隐私。
论文的共同一作Emily Wenger同样来自芝加哥大学SAND Lab实验室,正在攻读CS博士,研究方向是机器学习与隐私的交互,目前正在研究神经网络的弱点、局限性和可能对隐私造成的影响。