From: Arxiv ; 编译:T.R
听起来神乎其神,究竟是怎样的强大手法呢?阅读下文一探究竟吧!
文末有实习生招聘,有需求的同学们不要错过!
历史名人经由此法修复后的惊艳效果
“照片时光机”的实现过程
与先前的方法不同的是,研究人员没有简单地直接将StyleGAN2输出与输入的老照片进行比较,而是利用了与输入人物面部特征极为相似的彩色高清图像作为额外的监督,使得模型可以有效学习出图像中的高频信息以及自然的颜色和光照。
为了进一步缩小输入老照片和现代人物肖像间的差异,研究人员为老照片设计出了独特的重建损失函数,构建了退化模块来模拟老照片的成像过程,并应用于StyleGAN2得到的结果,而后与老照片进行重建损失计算。退化模块涵盖了不同类型的胶片信息、照片扫描过程和相机相应曲线,并可结合使用改善拍摄效果。
给定一张老照片作为输入,研究人员使用前向自编码器在StyelGAN2的隐含空间中计算出面部特征相似的图像。而后利用这张相似图像作为隐空间编码优化的起点,寻找编码重建出输入。利用退化过程引导优化过程,在模拟老照片特点的同时保持现代图像中的纹理和皮肤细节。
相似人脸编码器
在此基础上,研究人员还添加了颜色迁移损失来修正最终输出图像的颜色损失,同时还利用了VGG对模型重建的历史人物图像和sibling图像的特征计算了内容上下文损失,来保证皮肤纹理和细节的重建性能。
颜色损失和上下文损失的结果比较
其中模糊主要使用了高斯滤波器,下图显示了使用高斯滤波模拟和不使用的结果对比:
利用不同颜色响应的重建结果对比,颜色响应的建模使得图像更为真实。
使用和不使用相机响应函数损失的对比,它提高了对比度和图像的曝光质量。
在获得有效的重建损失、颜色迁移损失和上下文损失后,就需要对潜在空间编码进行优化,以最小化这些损失的加权和。具体来说,首先利用相似图像的编码来初始化编码,而后在隐空间编码W+code上进行由粗到精地优化。具体的实验参数设置和调参结果,可以参看原文第四部分的详细设计。
实验结果
如果想要了解更多,穿越回过去看到历史人物的样子,请参看论文原文的更多细节和项目网站:
论文链接: https://arxiv.org/pdf/2012.12261.pdf
项目地址: https://time-travel-rephotography.github.io/
图片来源: https://time-travel-rephotography.github.io/supp_website/index.html
研究人员罗璇的个人主页: https://roxanneluo.github.io/
招实习生啦!
想打入将门内部一探究竟?
想与AI大佬产生更深刻的联系?
想拥有一段快速成长的实习经历?
快来投简历吧!
【新媒体实习生】&【视频剪辑实习生】
&【产品运营实习生(可转正者优先)】
火热招募中~~
后台回复【实习】即可获得岗位描述及投递地址
我“门”等着你!
(以下是一点点剧透)
扫码观看!
本周上新!
关于我“门”
将门是一家以专注于发掘、加速及投资技术驱动型创业公司的新型创投机构,旗下涵盖将门创新服务、将门技术社群以及将门创投基金。
将门成立于2015年底,创始团队由微软创投在中国的创始团队原班人马构建而成,曾为微软优选和深度孵化了126家创新的技术型创业公司。
如果您是技术领域的初创企业,不仅想获得投资,还希望获得一系列持续性、有价值的投后服务,欢迎发送或者推荐项目给我“门”:
bp@thejiangmen.com
扫二维码|命理学
微信:thejiangmen
bp@thejiangmen.com
点个“在看”,分享好内容
版权声明:本站部分内容由互联网用户自发贡献,文章观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容, 请拨打网站电话或发送邮件至1330763388@qq.com 反馈举报,一经查实,本站将立刻删除。
文章标题:重新上色的历史人物,惊艳了时光!华盛顿大学,伯克利与谷歌联袂送上照片时光机发布于2021-05-06 20:37:17