画像生成Ａｉ研究

画像生成Ａｉ研究・動画編　　　(記事記載:2024年12月22日)

Ａｉ研究「静止画編」を記載してから１年半以上経過しましたが、昨年秋から丸１年間ＣＧ制作に追われていたため、ようやく「動画編」を記載することができました。
業務での使用を前提にしているため法的権利をを侵害せぬよう、基本はＡｄｏｂｅのＦｌｙを使用します(※月額有料)。
また、Ａｄｏｂｅ以外のアプリを使用する場合は、キャラクターの著作権や人物の肖像権を侵害せぬよう、自分の肖像や自分で撮影した著作権を有する画像を使用して説明します。

⇒Ａｉ生成画像アルバム(動画編)はこちらからご覧くださいませ。順次、Ａi生成動画をＵＰいたします♪

１．画像を使用して生成するＡｉ動画

静止画と同様、こちらで用意した参照画像をベースに作る方法と、文字(プロンプト)を入力してゼロから作る方法の二通りがあります。
まずは、画像から動画を作る方法について。
年間有料課金契約で使用している"Ai Mirror"で作成した動画からご紹介します。
このアプリは様々な動画のフォーマットが用意されているのですが、画像を３Ｄフィギュア化して更にそれを動画にします。

まずは、著作権や肖像権など法的権利を侵害しない画像を用意します。
今回は自分のサイクルジャージ姿の画像を使用します。
そのままでもＡｉは人物部分を判別して生成してくれますが、背景が入り組んでいる場合や人物と背景の一部が同じ色合いの場合などは上手く人物部分の判別がなされず、おかしな生成画像になることがありますので、きれいに生成したければ予めフォトショップなどで背景をくり抜いておくことをお勧めいたします。
自分物の服の色に応じて、ブルーバックやグリーンバック他、背景の色を使い分けると良いです。

アプリに画像を取り込んで作成したフィギュア(自分)の静止画例がこちら！
参照画像から３Ｄモデリングを行い、マッピング画像の生成及び貼り込みを行い、レンダリングを行い。静止画完成まで僅か１分！

さて参照画像を元にＡｉでバーチャルフィギュア生成したものを、更に動画にしたのがこちらです。

動画生成まで僅か５分！それでこのクオリティ！凄いの一言です。
これを３ＤＣＧソフトを使って手作業で作成したら、気の遠くなるような手間と時間がかかりますね。

"Ai Mirror"は用意された動きのフォーマットに当てはめるので表現に限界がありますが、もっと自由な動きの表現のために、ＡｄｏｂｅのＦｌｙを使ってみましょう。今回も種々権利を侵害せぬよう、自分の画像を使用します。

Ｆｌｙに上記の画像を読み込んで、文字(プロンプト)で動作の説明を入れます。
プロンプトの指示は
「カンフーアクションで　空中回し蹴りをする」
です。
生成した動画がこちら！
↓

自分、こんな動き、絶対に無理！(笑)

次は下記のサイクリング時の写真で動画を生成。
プロンプトの指示は
「１.５ｍジャンプして１８０℃開脚して着地する」。
ちなみに、バク中などの３次元回転を加えた数カットは、どうしてもおかしな動きとなりシーンとして成立しませんでした。
色々と試していますが、有料(※決して安くはない)で制作本数に限度があるので有象無象には試せません。

完成した動画がこちら！

この動画は、スマホのイン側の解像度の低い方のカメラを使用しており、画面に対する顔も小さくて顔の情報が不足しており、途中から欧米人の顔になりました(笑)
Ａｉ生成では、写真の解像度(カメラの性能)や比率などのクオリティも重要な要素です。

更に、シーンを複雑にしてみましょう。１体でなく、２体が絡み合うシーンの作成です。
関宿城のゴリラと対面する自分の画像を使用してみます。
画角が４対３しかないのですが、１６対９の横長画面にどう対応してくれるのか？
プロンプトの指示は
「人間と　ゴリラが　カンフーで　戦う」
銅像ゴリラと生身人間、果たしてどうなることやら！？

完成した動画がこちら！

きちんとゴリラが動いて、バトルしてくれています(笑)。
それと上記の全ての生成動画に言える事ですが、元の画像の上下左右が見切れて写っていない背景を、Ａｉが判断してきれいに自然に埋めてくれてます。
このゴリラの元画像の様に寄りで撮影して画角が狭い場合など、非常に助かりますね。
しかも、木の葉が風で揺れていたり、地面が砂地で砂煙が上がっているところまで生成しています。

さて最後に、車を持ち上げる動画を生成してみましょう。
ランニング時に撮影した、車の前に立つ自分の画像を使用いたします。
プロンプトの指示はシンプルに
「人間が　車を　持ち上げる」
です。念のために書いておきますが、当該自動車には指一本触れておりません！(笑)

完成した動画がこちら！

ここで私が注目していたのは、車体の３Ｄ感、窓ガラスの透明感や映り込み、金属の反射などがどうリアルに表現されるか、と言う点です。
車体の傾きやタイヤの回転等の物理的な動き、太陽光の反射の移動、窓ガラスの向こう側に至るまで、細かくリアルに表現されています。
驚きなのはやはり背景処理で、車の下の隙間から少しだけ見えていたタイヤから、背景の自動車を描き出している点です。
Ａｉ生成が今後も進化していくことを思うと、凄いとしか言いようがないですね。

２．プロンプトのみで生成する動画

さて次は、参照画像なしで、文字(プロンプト)のみで動画を生成します。
先にも書きましたが、ＡｄｏｂｅＦｌｙは有料のシステム(２,０００クレジット辺り＝１,５８０円)であり、生成した動画が成功しようが失敗しようが８秒の動画で毎回４００クレジットを消費しますので、あまり無駄な生成はしたくありません。
とは言っても、何がどう出来上がってくるのかは色々試してみないと分からないので、最初は初期投資費用がそこそこかかります。
Ｆｌｙを色々試される方は、その辺りの費用をご理解の上お試しくださいませ。

次のプロンプトで生成してみます。
「イタリアの山道を　ロードバイクに乗ってサイクリングする　宇宙人ライダー　二人」
完成した動画がこちら！

なんともご陽気な宇宙人のサイクリングシーンができました(笑)

更に無茶ぶりな指示をしてみましょう。
入力指示したプロンプトは下記の通り。
「ツールドフランスで　フランスのパリ凱旋門の前をロードバイクで走る　宇宙人８人のチームのライダー達」。
どうなるでしょうか？

ロードレースファンとしては突っ込みどころ満載ですが、指示が大雑把なのを考えればまずまずの出来です。
クレジットに余裕があればもっと細かいプロンプトの指示をしてる色々試すところですが、既に付与されていたクレジット及び追加で購入したクレジットを全て使い切りましたので、今回はここまでとさせていただきます。

今回は、参照画像を使用したＡi生成動画、およびプロンプト(文字)のみで生成したＡi生成動画について記載しました。
いずれ第２弾として、もっと研究を重ねて(他のソフトウエア使用も考慮し)、より深いところまで書きたいと思っています。

また新しい動画が完成しましたら、Ａi生成動画のアルバムにＵＰしていきます。