连用Game Boy拍的渣画质照片，都能被这个AI拯救

Game Boy摄像头是任天堂公司1998年针对这个掌机推出的一款外置附件，在当时的技术条件下，其只有5万像素，四阶灰度或颜色，能拍摄128*112分辨率的图片。

Game Boy摄像头

虽然用现在的眼光来看其技术早已过时，但其拍摄出来的图片对人类的来说尚可识别。在当年的吉尼斯世界纪录，这个摄像头还入选了最小的数码相机。

任天堂还为其加了不少好玩的特效，可说是萌系自拍App的先祖：

萌不？

近年来随着技术的进步，国外有人探索使用深度学习和神经网络等人工智能的手段来将Game Boy摄像头拍摄出的“渣画质”照片“还原”成更逼真的照片。

在图片处理方面，已经有几个使用卷积神经网络（深度神经网络的一种）的应用案例，其中包括超分辨率（无损放大图像）、上色（从灰度到RGB）和消除JPEG格式图像的压缩失真。还有4人联名发表了一篇论文，介绍如何实时风格转换和将素描转成真实图片的，而这些应用也已经登陆到了我们的智能手机之上，用以美颜及风格化处理照片。本文作者Roland Meertens的探索，正是基于这4人的研究成果。

废话不多说，先上图。下图是一个对比图：中间是“真实图片”（原始素材），左边是真实图片在Game Boy摄像头下的效果，右边则是使用深度神经网络将左边图像优化后生成的图片，这些图片都是首次上网，没有经过搜索引擎抓取和算法学习过的。

脸部照片对比图，中间是“真实图片”（原始素材），左边是真实图片在Game Boy摄像头下的效果，右边则是使用深度神经网络将左边图像优化后生成的图片

一些通过Game Boy摄像头拍摄的人脸照片：

作者从网上找了些Game Boy摄像头拍摄的人脸

以及Meertens使用Game Boy摄像头拍摄的自己人脸：

作者本人

Meertens预先训练深度神经网络算法识别了一小部分脸，然后让其来对Game Boy摄像头拍出的照片进行优化和还原，结果相当惊人，整个头部图片都能很好的被还原出来，肤色也能被算法所准确的识别。

关于Game Boy摄像头拍摄的人脸照片与真实照片之间的对应，网上并没有现成的训练数据集可用。Meertens为创建该数据集而做了一个函数，该函数在输入图片后能得到一个带有四度黑色阴影的图片，阴影基于图片的平均值和标准偏差生成，以确保最后得到的图片只有四色。

任天堂为Game Boy摄像头设定了一种算法，通过交替像素的方式来给图片创建渐变，以给人更多颜色的错觉。Meertens简单的通过给原始图片增加噪点的方式来模拟这种效果。

总的来说，就是通过这个函数，用计算机生成了类似Game Boy摄像头拍摄效果的图片。

Meertens预先让AI学习了三万张图片，计算出平均值和标准偏差，AI首先并不能识别肤色，当学习了9600张图片后，终于学会了正确识别肤色。这三万张图片的来源包括：名人脸部照片、通过“game Boy Camera”关键词从谷歌搜的图、在网上找到的使用Game Boy摄像头拍摄的脸部照片和Meertens自己的脸部照片。

当这三万张图片学习完之后，Meertens对学习结果相当满意：计算机模拟生成的照片都带有四度黑色阴影和非常细腻的噪点模式。也发现很多问题，即：AI对非标准面孔（如头发遮脸、戴太阳镜、侧脸等）的识别率很低。

通过Meertens的测试，我们可以发现：用AI的方式，可以将Game Boy摄像头拍摄的“渣画质”人脸头照片还原成为清晰度更高的彩照。假以时日，AI没准能被用来修复以前的黑白照片甚至影片。