スタイル転送とは?

正直なところ、「スタイル転送」はタスク名としてかなり曖昧です。

よくある「スタイル転送」技術の中には、参照画像と同じような色合いになるだけのものや、参照画像に描かれたものを変更しただけのようなものも含まれます。しかし、それだけで「スタイル」と呼んでいいのでしょうか?

そもそも「スタイル」と呼ぶべきものには、もっと多くの要素が含まれているはずです。

  • 絵なら:どんなペンやブラシか、筆跡、キャラデザイン、線の太さや省略の癖…
  • 写真なら:カメラやレンズ、露出、コントラスト、色再現、現像・レタッチの傾向…

現状「スタイル転送」と呼ばれているものは、「Subject転送とは言いづらい参照ベースの操作」をまとめてそう呼んでいるだけ、と見てもよいでしょう。


テクスチャ・タッチ寄せ系

cysmith/neural-style-tf

古典的なNeural Style Transferや、「油絵風」「水彩風」のフィルタ/LoRAなどがここに入ります。

動画ソフトにあるエフェクトのようなものです。
元画像の構図や形は維持しつつ、ブラシストロークや塗りの質感だけを別の絵に似せます。

ここではタッチやテクスチャが主な対象で、Subjectやキャラデザインまでは踏み込みません。


画風・作家性寄せ系(「◯◯風」のモデル)

特定の作家・作品群を学習したLoRAやfine-tuneモデルによる「◯◯風」生成です。

線の引き方、色の置き方、キャラの顔つき、背景の描き込み方など、ある程度キャラデザまで含めて「まとめてコピー」するイメージです。

このあたりになると、Subject転送との境界がだいぶ怪しくなってきます。似すぎると、もはや「スタイル」ではなく「本人(作品)コピー」に近づきますし、キャラのデザインまで含めている場合、Subjectに踏み込んでいるとも言えます。


参照画像の「雰囲気」だけ使う(IP-Adapter系)

Subject転送で扱ったような参照画像ベースの手法を、Subjectは別のものに変えつつ、画風・色味・ライティングだけ近づけるという用途で使うパターンです。

典型的には、好きな画家の一枚絵を参照画像にして、別内容のシーン(別のキャラ・別の構図)をプロンプトで指定し、IP-Adapterなどで「参照画像の雰囲気」だけ注入します。

この時点で、「Subjectは変えるが、雰囲気だけ借りる」という意味でのスタイル転送になります。ただし、どこからがSubjectでどこまでがスタイルかは、やはり曖昧なままです。


まとめ

このページに関しては私個人の主張が強くなってしまい申し訳ありません。

画像生成AIを使って漫画を描く際、問題はいくつもありますが、その中でも絵柄の指定は非常に難しい問題です。

もちろん技術的にまだ及んでいないという面はあるでしょうが、そもそも画像生成AIにおける「絵柄」の定義が必要であると感じます。