シモセラ エドガー*, 飯塚里志*, 佐々木一真, 石川博   (*筆頭著者に相当)

Sketch Simplification

本研究では、畳込みニューラルネットワークを用いてラフスケッチを線画に自動変換する手法を提案する。既存のスケッチ簡略化手法の多くは単純なラフスケッチのベクター画像のみを対象としており、スキャンした鉛筆画など、ラスター形式の複雑なラフスケッチを線画化するのは困難であった。これに対し提案手法では、3種類の畳込み層から構成されるニューラルネットワークモデルによって複雑なラフと線画の対応を学習することで、ラスター形式の様々なラフスケッチを良好に線画化することができる。提案モデルでは、任意のサイズやアスペクト比をもつ画像を入力として扱うことが可能であり、出力される線画は入力画像と同じサイズになる。また、このような多層構造をもつモデルを学習させるため、ラフスケッチと線画がペアになった新しいデータセットを構築し、モデルを効果的に学習させる方法を提案した。得られた結果についてユーザテストを行い、提案手法の性能が既存手法を大きく超えることを確認した。

モデル

線画化モデル

提案モデルはすべての層が畳込み層のみから構成される多層ニューラルネットワークであり、ラフスケッチが入力されるとその線画が出力される。このモデルはdown-convolution, flat-convolution, up-convolutionの3種類の畳込み層から構成されている。down-convolutionではフィルタのストライド数を2にすることでマップの解像度を半分にし、flat-convolutionではマップの解像度は変えず、up-convolutionではストライド数を1/2にしてマップの解像度を2倍にしている。これにより、最初は画像を小さな特徴マップに圧縮して処理していき、最後に元の解像度に戻してきれいな線画を出力することができる。

結果

線画化の結果

様々な種類のラフスケッチの線画化について実験を行い、良好な結果が得られることを示した。また、ユーザテストによって既存手法よりも良好な結果が得られていることを確認した。画像(a),(b),(d)はテストセットの一部であり、画像(c)と(e)はそれぞれFlickrユーザ”Anna Anjos”および”Yama Q”の作品をCreative Commonsライセンスのもとで使用している。

比較

既存のツールと提案手法の比較

既存のツールと提案手法の比較結果。ここでは、PotraceおよびAdobe Live Traceと比較している。提案手法は既存手法と比べ、自然な線画が生成されていることがわかる。

さらに詳しい内容については論文を参照。

本研究は一部 JST CREST の援助を受けている。

論文

2017年

  • Mastering Sketching: Adversarial Augmentation for Structured Prediction

2016年

  • Learning to Simplify: Fully Convolutional Networks for Rough Sketch Cleanup