什么是风格转移?

老实说,“风格转移”作为任务名称相当模糊。

在常见的“风格转移”技术中,有的只是让色调变得与参考图像相似,有的只是改变了参考图像中所画的东西。但是,仅仅这些真的能被称为“风格”吗?

原本应该被称为“风格”的东西,应该包含更多的要素。

  • 如果是画:什么样的笔或刷子、笔迹、角色设计、线条的粗细或省略的习惯…
  • 如果是照片:相机或镜头、曝光、对比度、色彩还原、显影・修图的倾向…

目前被称为“风格转移”的东西,也可以认为 只是把“难以称之为 Subject 转移的基于参考的操作”统称为此


贴近纹理・笔触系

cysmith/neural-style-tf

古典的 Neural Style Transfer,以及“油画风”、“水彩风”的滤镜/LoRA 等都属于此类。

就像视频软件中的效果一样。 在维持原图的构图和形状的同时,只将笔触或涂色的质感模仿成别的画。

这里的主要对象是 笔触和纹理,不会深入到 Subject 或角色设计。


贴近画风・作家性系(“○○风”的模型)

学习了特定作家・作品群的 LoRA 或 fine-tune 模型进行的“○○风”生成。

线条的画法、颜色的放置方法、角色的面容、背景的绘制方法等,某种程度上包含角色设计在内,“汇总复制”的印象。

到了这个地步,与 Subject 转移的界限就变得相当模糊了。如果太相似,就不再是“风格”而是接近“本人(作品)复制”,而且如果包含了角色的设计,也可以说已经深入到了 Subject。


只使用参考图像的“氛围”(IP-Adapter 系)

这是将 Subject 转移中处理过的基于参考图像的手法,用于在将 Subject 变为别的东西的同时,只让画风・色调・光照接近的情况。

典型的做法是,将喜欢的画家的一张画作为参考图像,用提示词指定别的内容的场景(别的角色・别的构图),通过 IP-Adapter 等只注入“参考图像的氛围”。

在这个时间点,就变成了“Subject 会改变,但只借用氛围”意义上的风格转移。但是,从哪里开始是 Subject,到哪里为止是风格,依然是模糊的。


总结

关于这个页面,我很抱歉由于个人主张变得有些强硬。

在使用图像生成 AI 画漫画时,存在许多问题,其中指定画风是非常困难的问题。

当然这有技术上还未达到的原因,但我感觉首先需要对图像生成 AI 中的“画风”进行定义。