本篇文章2241字，读完约6分钟
中文标题: github趋势排行榜第一:用姐姐自拍，生成二维萌妹子，表情高度复原，反之亦然”
你怎么能把小姐姐当你的？
让她成为二次元的人，就能解除妻子的锁定。
韩国游戏公司ncsoft最近开发了开源熟练的ai。
只要随便输入姐姐的自拍，就能得到她的二维身影。
对于原图，姐姐还是像那个姐姐一样。
一个眼神，一个周围的笑声，都是三维时的样子不变。
当然，如果你有喜欢的二次元妻子，想看看她穿越到现实中的样子，没问题。 只需输入一张她的头像。
生了一个逼真的姐姐。
这个算法被称为u-gat-it，名字也令人向往。 重要的是，它是以不受监视的方式训练的，不需要联系到正确的数据。
目前，团队在github上部署了tensorflow和pytorch实现。 两个项目都登上了趋势排行榜，tf项目一次达到第一名。
吃之前，看看什么样的ai能给你这么丰富的福利。
这个gan的观察力和其他不同
u-gat-it是由两个gan组成的图到图的翻译算法。
一只gan必须把妹妹的自拍变成二维姐姐。 这是从源行业到目标行业的翻译。
另一只gan把二维姐姐又变回三维自拍。 这是从目标行业到源行业的翻译。
这样，有两个生成器&；判别器的组合。
生成器是真实的假图，负责生成欺诈判别器的判别器有责任识破假图。 互相成长。
为了生成更真实的图像，团队对这两个部件施加了不同的观察力。
具体做法受到周博磊团队年cam研究的启发。
cam是类激活图的缩写。 在评价图像真伪方面可以找到最重要的区域，ai可以把观察力集中在那里。
但是，在上采样部分，cam使用了全球平均池化。 u-gat-it为了取得更好的效果，将全球平均池化和最大池化结合起来。
在这里，以使用第一个gan生成二维姐姐的gan为例。 先看判别器:
要评估图像，它是否与数据集的二维妹妹属于同一类别。 如果不是同类的话就判定为发电机的作品。
判别器有cam (辅助分类器)，在类别评价中找到更重要的区域。
这也诱惑生成器，把观察力集中在重要领域。
查看生成器:
其辅助分类器找出属于三维妹子的重要区域。 然后，对照两个行业的重要领域，观察力模块就可以知道生成器的观察力应该集中在哪里。
第二只gan只是生成方向相反，道理也一样。
为了结合两个gan，损失函数也被精心设计
损失函数有四个部分
一是对抗损失，不要解释太多，所有的gan都有。
二是循环损失，为了找到有生成器和判别器的平衡，互相和解，不停滞。
生成器受“循环一致性”( cycle consistency )约束，以保证为目标行业生成的图像，并返回到源行业接受。
三是身份损失，为了保证输入图像和输出图像的颜色分布相似，给了生成器身份一致性的制约。
具体来说，如果从目标行业选择图像，从源行业向目标行业进行翻译，应该不会发生任何变化。
第四是cam的损失，提供了图的激活图，生成器和判别器知道它们需要提升哪里。 或者，我知道两个行业之间现在最大的区别在哪里。
除此之外，u-gat-it还有另一项重要贡献。
adalin选项的规范化方法
通常，实例化( in )是比较常见的方法，可以通过直接对图像的特征统计进行归一化来消除风格变化( style variation )。
与此相对，批量正规化( bn )和层正规化( ln** )不太常用。
标准化图像时，适应性in、简称adain越来越多。
但是在这里，团队提出了可以在in和ln之间动态选择的adalin。
有了它，ai能有多灵活地控制形状和质感的变化。
基于以前观察力的模型无法适应不同行业之间的几何变化。
但是，u-gat-it既可以是需要整体变化( holistic changes )的翻译，也可以是需要大幅度形状变化( large shape changes.)的翻译。
最后谈谈数据集吧。
没有监督，不成对
selfie2anime，有两个数据集。
一个是自拍数据集，一个是二维数据集，都只选了妹妹。
分别是训练集3400张，测试集100张。 没有一对。
其实不仅如此，还训练了马变成斑马、猫变成狗、照片变成梵高等各种功能。
让我们看看成果
远远胜过前辈
u-gat-it (b )与多个厉害的前辈相比，它们:
cyclegan (c )、unit (d )、munit (e )和drit (f )。
第四行是照片变成肖像画的作品。 第五行是改变梵高的画风
逆生成，例如二维成为三维，斑马成为马等，都是:
( b )列为本论文的主角，在跨维度的任务中，明显优于各路的前辈。 在其他任务中，生成效果总体上也超过前辈。
然后，看看观察力模块( cam )是否起作用。
右边的两排，区别很明显。 ( e )有观察力，( f )没有观察力:
最后，请注意可以动态选择规范化方法的adalin。 比无法选择效果怎么样？
( b )是adalin，右侧的4列是陪同的正规化方法(以及各种正规化的结合) :
adalin的生成结果更完美，瑕疵少。
从各个角度来看，u-gat-it已经成功了。
心里热了，来收开源代码吧。
这是tensorflow版本，曾获得趋势排行榜的第一名(现在排名第三)。
github/taki0112/ugatit
这是pytorch版本。
github/znxlwm/ugatit-pytorch
这是论文:
arxiv/abs/1907.10830
复制完毕
编纂。
看着
阅读原文。
