AIがモザイク加工の写真から人の顔を詳細に作り出す技術

人工知能ネットワークは新たな技を身につけました。ドットモザイク加工写真から写真のようなリアルな顔を作り出し、元の画像からはわからないまつげやシワまで描き出すというのです。

怖がるのはちょっと待ってください、これはぼやけた写真を逆ピクセル化してはっきりと再現するものではありません。AIが作り出す顔は人工的なもので実際の人物ではないのです。とはいえ、以前の技術では不可能だったすごい進歩なのです。

このPULSEシステムは元のモザイク加工写真の64倍の解析度で今までの技術よりも8倍もきめ細かい写真を作り出します。

「これほど詳細な超解析画像を作り出したことは今までありませんでした。」とデューク大学のコンピューター・サイエンティストのシンシア・ルーディン氏は述べています。

PULSEが行っているのはぼやけた写真に詳細を追加してマッチした顔を探すというものではなく、出来上がった顔をモザイク加工するともとのぼやけたオリジナル画像に戻るようにフル解析度画像を作り出すという逆方向の作業なのです。16×16ピクセルのグリッドに100万ピクセル以上を追加し1,024×1,024に数秒で変換することができます。

このシステムは本質的に2つのニューラルネットワーク（人の脳を模倣した複雑なAI学習エンジン）が実装された敵対的生成ネットワーク、通称GANを使用し、どちらにも同じ写真のセットでトレーニングします。1つは顔を作り出し、もう1つはその顔がリアルかどうか判断します。

他の技術ではぼやけて不明瞭になってしまうのですが、上記のルートをたどることによって、研究者たちははっきりした画像を作ることができたのです。

このシステムが成功したのは、元の画像にフィットする『本物の』画像を見つけるのではなく、ダウンスケールすると元の画像に戻るような画像を見つける方法にありました。このシステムは素早く大量のオプションをテストし『潜在空間』を通して作業します。

GANの技術は複雑化して進化を続けています。きっと実在しない人物の怖いほどにリアルな写真を作り出すことができる敵対的生成ネットワークを発表した技術系大手企業のNVIDIAコーポレーションは記憶に新しいのではないでしょうか。

この技術は、実在する顔を混合して画像を作り出すというものです。今回研究者たちがデモンストレーションしたPULSEシステムは、モザイク加工された画像ブロックをソースとして代わりに使用しています。

同じ元画像から複数の顔を作り出すことができます。この方法を使ってブロックノイズのある画像からネコや日没、木、風船などなんでも作り出せます。

このような技術は医学、顕微鏡検査、天文学、衛星画像などを含むあらゆる分野での使用が見込まれるでしょう。

PULSEのウェブサイトを訪問して頂ければ、あなたの顔写真で試すこともできます。

この研究は2020年に開催されたコンピュータービジョンとパターンリコグニション会議で発表されました。論文はプレプリントサーバー arXiv.orgにて閲覧可能です。

reference:sciencealert