1枚の写真を3D化するモーションポートレート

昨日都内某所でモーションポートレートなる技術のプレゼンに同席。
久々にちょっとビックリでした。

顔写真1枚あれば10秒ほどで3Dのオブジェクトに変換。
モーフィングの技術で目を閉じたり口を開けたりという動作が出来るように設定します。
そしてその3Dオブジェクトに対して「笑うとは顔の各パーツがどういう形になることか」などが定義された「表情エンジン」から指令を出すことで自在な表情を作ることが可能となっています。

サンプルだけでは凄さが分からなかったのですが、実際にプレゼン参加者をデジカメで撮影してその場で変換したところ、あっという間に3Dオブジェクトの作成が完了。
撮影の際には口を閉じたまじめな顔で撮影しますが、笑って口を開けると撮影時には見えなかった歯が3Dオブジェクトとして設定されていたり、見えている範囲の眼球から3Dオブジェクトが制作されていて、目がキョロキョロしたり、目の色を自在に変えるなどが可能。
さらには髪型を変えたり、眼鏡かけさせたり、顔の動きや表情は自在。

人間だけではなくて、マンガのキャラや、動物など、顔さえあればなんでもモーションポートレートに変換可能で、顔の形がないものでも手作業で顔の動きを作るデモも行われました。

完成した素材は独立したアプリとなり、キーボード操作で自在の表情を作り出したり、マイクから入力されたセリフとリップシンクするなど、リアルタイムの処理もできるには驚かされました。
その他にインタラクティブなFlashファイル、ムービー、静止画などに描き出すことが可能だそうです。

元々はソニー木原研究所で開発されたとのこと。

モーションポートレートの解説サイトには上記のような、さまざまなサンプルが掲載されていますので是非ご覧あれ！

アニメファンに大人気で12月に発売されるPSPのゲーム「涼宮ハルヒの約束」にはモーションポートレートの技術が活用されているようで、このページでモーションポートレートのサンプルを見ることができます。

プレゼンでは「葬儀の際、故人が最後のメッセージを喋る」なんていうアイデアも出たりして・・・
いやーー面白かったです。

ちなみに静止画からアニメやアイドルなどの動画を無許可で制作されてYouTubeなどにアップされまくるといろいろと問題あるので、コンシューマー向けの販売はしないそうです。

ITmedia「PSP版「ハルヒ」にも　顔写真を“3D顔アニメ”にするソニー発の技術」でも動画で詳しく解説されています。