CGや映画のワンシーンを作成できる！Creative Reality StudioのAI動画

2023 3/20

Studio D-ID社の開発したCreative Reality Studioという動画の自動生成サービスを知っていますか？
名前くらいは知っている人、名前すら知らない方もいると思います。

簡単に説明すると、
「自分で選んだ任意の写真やイラストなどに音声をつけて動画を作成してくれるサービスです」。

もちろん、音声についても自分でテキストを作成して、どんな言葉でも喋らせることができます。
写真などの静止画の人物が喋る時は、自然な形で口が動きます。

この驚くべきサービスはAIにより成り立っており、全ての合成をAIシステムが構築してくれます。
ユーザーは画像を選んで、テキストを入力すれば完了です。

今回は最新AI「Creative Reality Studio」で生成したいくつかの作品を実際の動画で紹介します！

Creative Reality Studioとは？

「Creative Reality Studio」は、イスラエルの「Studio D-ID」社によって開発された動画生成サービスです。　
テキストを入力し、静止画を自然な感じで喋らせることができます。

機能の概要としては、

写真やイラストが自然に喋っているような動画を作成
言語は日本語を始め、英語やスペイン語など数多く対応
動画は保存(.mp4)して見ることが可能

「Creative Reality Studio」での動画生成サービスの利用するには、最初にアカウント作成が必要となります。
今回はサービスを使用した作品の紹介となりますので、登録方法は割愛させて頂きます m(__)m

Creative Reality Studioの登録方法や動画生成の方法を知りたい方は以下の記事に詳細を紹介しております。
ご興味がある方は、是非ご参照ください！

Creative Reality Studioで生成した動画紹介

では、さっそく「Creative Reality Studio」で静止画から自動生成された動画4本を紹介したと思います。
喋る言葉は短めしておりますが、必要に応じてもっと長くすることもできます。

絵画のような画像

絵画のような上記の画像から動画を作成してみました。
顔を非常に印象的ですが、この絵画にいる人物が喋り始めると映画のワンシーンのような動画になります。

テキスト入力して喋ってもらう言葉は、
「私はAIによって合成されました。自然な動画になっていますよね。」

では、このテキストを喋らせた実際の動画はどのように生成されたのかを下記の動画でご覧ください。

これがもともと「静止画像」とは思えないほどのクオリティですよね？

ポイントとしては、口が動くだけではなく「まばたき」や「顔を傾げる」などの仕草も入れている事です。
このような映画のシーンを見たことがある人もいると思います。

このクオリティの動画が自分で簡単に作れてしまうのですから、最新AIの技術は本当に驚かされるばかりです。
日本語の発音もしっかりできており、コンピュータ的な音声ではないと感じます。

次はもっとイラストよりの静止画像を使って、「Creative Reality Studio」で動画を生成したいと思います。

イラストのような画像

さきほどの画像よりはイラストよりである上記の画像から動画を作成してみました。
今回は映画のシーンというよりは、少しレトロ感があるアニメーション風に仕上がっていると思います。

「Creative Reality Studio」は英語ベースで開発されているので、日本語ではなく、英語にしてみました。

テキスト入力して喋ってもらう言葉は、
「Hello. how are you ? I like Sushi and Yakiniku. I can speak Human language. But I was made by AI」

では、この英語を喋らせた実際の動画はどのように生成されたのか、下記の動画をご参照してください。

アメリカで放映されていた昔のアニメーションの感じがしませんか？

ポイントとしては、やはり「英語の発音」が良いし、口の動きも喋っている言葉とほぼ一致している事です。
英語が得意なAIなので、日本語よりも違和感がないと思います。

これは顔をアップした静止画像を選んでみましたが、もちろん顔が写っていれば全身画像でも問題ありません。
但し、動きが出るのは現時点では顔のみとなります。

次は人形のような静止画像を使って、「Creative Reality Studio」で動画を生成したいと思います。

人形の画像

今度はイラストや絵ではなく、人形の写真である上記の画像から動画を作成してみました。
このような人形が喋るシーンはディズニー映画などで見かける事がありますが、自分で創作は困難ですね。

写真の人形は西洋っぽい感じの雰囲気ですが、今回は日本語でテキスト入力して喋ってもらいます。

テキスト入力して喋ってもらう言葉は、
「私は人形の写真です。でも、本当に喋っているように見えますよね。」

では、この人形はどのような表情で喋るように生成されたのか、下記の動画をご参照してください。

バー〇ー人形が喋っている映画のような仕上がりになっていますよね？

ただ、「Creative Reality Studio」の日本語クオリティについては、もう少し改善の余地がありそうです。
「人形」が「人魚」として聞こえてしまいます。

おそらく、この点についてはAIなので期間が経てば日本語の学習も進んで、より良い発音になると思います。
現時点でもほとんどの日本語について違和感はありませんが、ときどきこんな感じもあるみたいです。

次は人間の赤ちゃんの静止画像を使って、「Creative Reality Studio」で動画を生成したいと思います。

人間の画像

今度は人工物である人形ではなく、実際の人間の写真である上記の画像から動画を作成してみました。
現実世界ではこの年齢の赤ちゃんが喋ることは絶対にないのですが、「Creative Reality Studio」なら可能です。

今のところ声質は男性と女性の2パターンしかないので、大人の男性のような声で喋ることになります。

テキスト入力して喋ってもらう言葉は、
「僕は普通に喋れることができます。不思議な感じですよね。」

では、この人間の赤ちゃんがどのような表情で喋るように生成されたのか、下記の動画をご参照してください。

少し違和感はありますが、外見は赤ちゃんで精神は大人のような映像になりましたよね？

この年齢の赤ちゃんには歯が生えてないと思いますが、口を開けるとなぜか歯が見えるという不思議ありです。
AIとしては写真の年齢を意識するようには学習されていないみたいですね。

違和感があるけれども、お子さんが誕生した方などには思い出として1つ動画を作ってみるのも良いかも。
親の思いなどを子供に喋らせて、将来その子供が成長した時に見せたりしたら面白いですよね。

今回の「Creative Reality Studio」を使ったAIによる静画から生成した動画の紹介はここまでとなります。
「Creative Reality Studio」を含んだAIの凄さを感じて頂ければ幸いです。