135-1060-0256
中国版 Prisma 来了,我们今天再聊聊深度学习
发布时间:2016/8/19 16:17:59来源:本站原创字体:
趁着中国版 Prisma 的发布,我们今天复盘一下深度学习的图像应用。
 
把计算机 “调教” 成梵高
 
似乎欧洲国家对艺术这件事比其他地区更有群众基础。早在 2016 年 Prisma 大火的一年之前,就有三个德国研究员想把计算机调教成梵高。
 
这三个研究员名字分别叫做莱昂 · 盖提斯(Leon Gatys),亚历山大 · 埃克(Alexander Ecker)和马蒂亚斯 · 贝特格(Matthias Bethge),来自德国图宾根大学(University of Tübingen)的 Bethge 实验室。他们研发了一种算法,模拟人类视觉的处理方式。具体是通过训练多层卷积神经网络(CNN),让计算机识别,并学会梵高的 “风格”、然后将任何一张普通的照片变成梵高的《星空》。
 
Deep Art 首页贴出得到一张 “梵高风格” 图片的步骤。第一步,吸收用户拍摄的照片。第二步,让计算机学会星空图的风格。第三步,计算机输出自己做的“新画”。
 
在人类的视觉系统中,从眼睛看到一件实体,到在脑中形成图像的概念,中间经历了无数层神经元的传递。底层的神经元获取到的信息是具体的,越到高层越抽象。
 
这三个德国人发现,如果用计算机模拟这个网络,将每一层的结构分析出来,能看到:在采样过程中,底层网络对于图像的细节表达得特别清楚,越到高层像素保留得越少,轮廓信息越多。
 
所谓深度学习(Deep Learning)中的 “深度(Deep)” 即意为层数。神经网络的每一层都会对图片特征进行提取,而 “艺术风格” 则是各层提取结果的叠加。
 
这三个德国人把他们的上述发现写成了两篇论文:《艺术风格的神经算法(A Neural Algorithm of Artistic Style)》,和《利用神经卷积网络进行纹理合成(Texture Synthesis Using Convolutional Neural Networks)》,在学术圈引起极大的讨论。
 
 “起初,我们只是想创造一个关于神经科学的新鲜事物。而艺术人工神经网络的状态与人类的视觉系统有颇多相似之处。所以后来我们觉得,可以对图片做更有趣的处理。” 莱昂 · 盖提斯对深蓝 Deeper Blue 说。
 
论文发表后不久,他们便建立了一家名为 Deep Art 的初创公司,着手实现他们在论文里提出的想法。
 
 
 
Deep Art 网站,图像制作界面。Deep Art 提供多种艺术风格选项,图像制作完成后需发至用户邮箱。图片来源: https://deepart.io/hire/
 
用户在 Deep Art 网页上上传自己的照片,然后通过 Deep Art 提供的 “机器人梵高” 进行新画创作。整个过程需要等待几个小时让计算机进行数据运算和处理。用户可以选择清晰程度不等的作品。用户可以花上 19 欧买一张适合明信片用的作品,或者多掏 100 欧,买一张大尺寸油画级别的。
 
莱昂 · 盖提斯们做的事情并不是美图秀秀的滤镜。在 Deep Art 出来之前,已经有很多致敬莫奈与梵高的滤镜类应用,但核心原理和 Deep Art 完全不同,比如 2010 年上架的 Mobile Monet, Van Gogh Camera 。
 
 
 
Camera Monet 与 Van Gogh Camera的界面展示。这两款滤镜软件,都能讲用户照片渲染成某种艺术效果。但核心原理和Deep Art使用的卷积神经网络完全不同。(深蓝制图)。
 
如果我们将同一张图片放入 Van Gogh Camera 中,Van Gogh Camera 会按照程序员事先内置的 “公式”,计算图中每一个像素点,最后输出一张梵高风格的照片。但只要我们想将图片风格从梵高换到毕加索,程序员就必须重新写一套代码,更改计算 “公式”。
 
而在 Deep Art 中,编写 “公式” 的程序员是卷积神经网络(CNN),只需输入梵高的《星空》,卷积神经网络便能自动提取这幅画作的风格特征,并量化成具体公式。也就是说,艺术史上所有的作品都能作为滤镜来源。
 
“卷积神经网络可以被看做是一个机器艺术家。” 莱昂 · 盖提斯说。
 
从德国到俄罗斯
 
2016 年年初,俄罗斯计算机工程师阿列克谢 · 莫伊谢延科夫(Alexei Moiseyenkov)读到了这三个德国人的论文。他敏锐地嗅到,德国人做的远远不够,这项技术在消费级市场仍是一片空白。
 
随后他组建了一个四人团队,研发了 Prisma,力求做到:免费,更快,更简单。“ 两个月研究数学模型,一个半月开发。” 莫伊谢延科夫说。
 
“ Prisma 第一次将这项技术成功商业化。他们充分考虑了智能手机覆盖率的飞速增长,并且细致研究了用户行为。Prisma 接入的是以亿数量级的市场。” 《莫斯科时报》这样报道他们:“ 谁抓住了用户需求,谁就能成为亿万富翁。”
 
Prisma 的横空出世,算是俄罗斯互联网圈子少有的高光时刻。2016年6月中旬,这款应用刚在 iOS 上发布,15 天内下载量 750 万,火遍四十个国家。
 
巨大的成功甚至让开发团队措手不及,不得不以每天扩大一倍的速度提升服务器处理能力。
 
“看起来,整个俄罗斯都被我们征服了。” 莫伊谢延科夫随后在 Facebook 上写下了这句话。8 月 2 日,Prisma 全球范围内已获得超过 5000 万用户。
 
 
 
坐拥 2300 万粉丝的俄国总统梅德韦杰夫也成为 Prisma 的用户。他在 Instgram 上晒出一张 Prisma 作品,迅速获得 8.7 万个赞。
 
Prisma 比 Deep Art 先进的地方在于,它大大缩短了图像处理的时间。在用户还没有达到十几亿数量级的时候,每张照片在 Prisma 系统内的处理时间只有 20 秒。其次,Prisma 是一款免费手机应用,相比网页版的 Deep Art, 无疑具有更多的用户基数。
 
20秒,全球的某个角落,一个用户上传照片,他的照片被传送到位于莫斯科的服务器上,Prisma利用人工智能和神经网络进行处理,然后经 “风格化” 后的图片再返回用户手机。
 
这个速度在业内是顶级的。为什么这么快?
 
“一定是下了血本,”一位来自国内著名人脸识别技术公司的工程师告诉深蓝 Deeper Blue,“在我当时搭建的框架之下,用普通笔记本的计算能力,做一张这样的图有可能需要几个小时。”
 
德国人莱昂 · 盖提斯则对深蓝 DeeperBlue 猜测道:“我认为他们训练了一个前馈神经网络来制造图片。”
 
 
“Prisma 没有完全依赖机器学习,而是对一些关键的内容加以控制。”一位业内人士则对深蓝 Deeper Blue 说,“例如,在海量的用户上传内容中,一定有相当一部分比例是人像,而相对于原始算法,Prisma 对面部细节的处理似乎更胜一筹,也许他们专门加入了对面部的识别和控制。”
 
据莫伊谢延科夫自己介绍,Prisma 一共用了三组神经网络,它们分工明确:两组神经网络负责的风格提取和照片制作,还有一组神经网络作为后台,为整个计算过程加速。
 
相比之下,Deep Art 更像是精工细作的手艺人。莱昂 · 盖提斯认为自家的原始算法虽然慢一些,但在细节表现力上更胜一筹—— “是真正的艺术品。” Deepart.io 提供的收费高分辨率大图,堪比一副挂在博物馆墙上的画。
 
 
Deep Art 主页上,关于作品定价的界面展示。图片来源:https://deepart.io/pricing/
 
“他们的风格化工作比最初的工作要弱了些,我认为他们是做了一些较低级别的图片处理,以掩盖风格化的不足,例如,加强了边缘的表现。” 莱昂 · 盖提斯对深蓝 Deeper Blue 说,他认为 Prisma 牺牲了艺术质量而求速度。
 
返回