SNSでよく見かける、生成AIで作られた写真やキャラクターが自然に話したり、歌ったりする動画。
その口パクのリアルさを支えているのは
「リップシンク」
という技術です。

リップシンクは、ミュージックビデオやアニメ、VTuberの配信など、幅広い場面で活用されています。
最近では、AIツールを使えば誰でも無料で高品質なリップシンク動画を作れるようになりました。

この記事では、初心者の方向けに「リップシンク動画を無料で作る方法」を解説します。
この記事を読めば、下のような動画をすぐに作れるようになります。

もちろん、実写だけでなくアニメも作れます↓

どちらも簡単なプロンプト（指示文）だけで作ったリップシンク動画です。
ぜひこの記事を参考にして、あなたもリップシンク動画作りにチャレンジしてみてください！

リップシンク動画は動画生成AIを使って作る

まずは、リップシンク動画を作るうえで知っておきたい基本から解説します。

いまSNSで見かけるリップシンク動画の多くは、「動画生成AI」と呼ばれるツールで作られています。
動画生成AIとは、その名のとおり動画を作ることに特化した生成AIのこと。
これを使えば、簡単にリップシンク動画を作れます。
リップシンク機能を備えた動画生成AIにもいくつか種類があり、大きく分けると次の2タイプがあります。

  • 半自動型
  • 手動型

この2つについて、簡単に解説します。

リップシンクが作れる動画生成AIの種類

「半自動型」ならプロンプトだけでリップシンク動画を作れる

「半自動型」は、その名のとおりプロンプトを入力するだけで動画を自動生成してくれるタイプのAIです。
音声やキャラクターの口の動き（リップシンク）も同時に作ってくれるため、非常に手軽に動画を作ることができます。

10秒ほどの短い動画なら、1分くらいで完成することもあります。
そのため、AIを使ったことがない人でも、すぐにリップシンク動画を作ることができます。
まさに初心者にぴったりの動画生成AIといえます。

その一方で、デメリットもあります。
半自動型は手軽な反面、動画の細かい動きや表情をコントロールしにくいのが弱点です。
思い通りの映像を作るには、プロンプト（指示文）の設計を工夫する必要があります。

代表的な半自動型動画生成AIには、

  • OpenAIが提供する 「Sora2」
  • Googleが開発した 「Veo 3.1」

などがあります。

半自動型の動画生成AIの解説

「手動型」なら画像や音声まで細かくコントロール可能

「手動型」の動画生成AIでは、プロンプトを入力するだけというわけにはいきません。
次の2つの素材を事前に用意する必要があります。

  • 動画内に登場するキャラクターの画像
  • 喋らせたい、または歌わせたい音声

画像は画像生成AIで、音声は音声生成AIで簡単に作成できます。
そのため、リップシンク動画の内容を細かくコントロールできるのが大きな特徴です。

けれどAI初心者にとって、複数の生成AIを使うのはややハードルが高いのも事実。
素材を別々に用意する手間があるぶん、全体的な難易度は半自動型より高めです。

手動型の動画生成AIの解説

仮に、MV（ミュージックビデオ）のリップシンク動画を作るとします。
そのとき、半自動型と手動型それぞれで必要になる準備を表で整理すると以下のようになります。

半自動型と手動型それぞれで必要になる準備

基本的には「半自動型の方が楽」という理解で大丈夫です。

無料でも使えてリップシンクのクオリティが高い動画生成AI

次は無料でも使えて、なおかつリップシンクの精度も高い動画生成AIを紹介します。
ここでは、半自動型と手動型のそれぞれでおすすめのツールを紹介します。

【半自動型】OpenAIの「Sora2」がおすすめ

半自動型の動画生成AIでは、ChatGPTで有名なOpenAIが提供する「Sora2」がおすすめです。
Sora2は1日30回まで無料で動画を生成できるため、初心者でも安心して試せます。
ちなみに、この記事の冒頭で紹介した動画はSora2を使い、プロンプトだけで作っています。
※今後は無料回数が制限される可能性があります。

Sora2の主な特徴は以下の通りです。

  • シンプルなプロンプトだけで自然なリップシンク動画を生成できる
  • 日本語のプロンプトにも対応
  • 画像を参照して動画を作ることも可能

一方で、無料で使うと動画にウォーターマーク（ロゴのような表示）が入る点には注意が必要です。

とはいえ、1日30回も無料で動画を生成できるのは大きな魅力です。
手動型のおすすめAIを紹介した後に、Sora2の使い方を解説するので、初心者の方はまずはSora2でリップシンク動画生成を体験してみましょう！

【手動型】アニメなら「Dreamina」、実写なら「HeyGen」が優秀

リップシンクに強い手動型の動画生成AIを紹介します。
結論から言うと、アニメならDreamina（ドリーミナ）、実写ならHeyGen（ヘイジェン）がおすすめです。

この2つはどちらも以下のような特徴があります。

  • リップシンクのクオリティが高い
  • 無料会員でも使える（無料クレジットがある）

それでは、実際に2つのAIで作ったリップシンク動画を見てみましょう。

まずはDreamina（アニメ）から↓

次はHeyGen（実写）です。

唇の動きとセリフが綺麗に一致していることがわかると思います。
動画はHeyGenやDreaminaだけでなく、以下のツールも使って作りました。

  • 画像生成AI：Whisk（ウィスク）
  • 音声生成AI：Elevenlabs（イレブンラボ）

もちろん、この記事内でそれぞれの使い方や手順も解説しますので、ぜひ最後までご覧ください。

【半自動型】Sora2で無料のリップシンク動画を作る流れ

ここからは、半自動型の「Sora2」を使って無料でリップシンク動画を作る方法を解説します。
会員登録の方法から解説しますね。

① アプリから会員登録

Sora2は、スマホアプリとブラウザ版の両方で使えます。
ブラウザ版から登録すると招待コードの登録を求められることが多いです。
けれど、アプリから登録すると招待コードなしでブラウザ版にもログインできるようになります。
そのため、最初の登録はアプリ版から行うのがおすすめです。

アプリのダウンロードと会員登録は、以下のリンクから行えます。
iPhone・Androidのどちらにも対応しています。
なお、アプリ名は「Sora by OpenAI」となっていますが、Sora2にも対応しているので安心してください。

iPhone版Soraのダウンロード画面

アプリをダウンロードしたら、ログインしてください。
もしChatGPTのアカウントを持っていれば、そのアカウントでログインできます。
アカウントを持っていない場合はGoogleアカウントでの登録がおすすめです。

Soraアプリ版の会員登録画面

② Webブラウザでログイン

アプリから会員登録したら、Sora2ブラウザ版からログインします。
下のURLからブラウザ版にアクセスしてください。

・Sora2ブラウザ版URL

https://sora.chatgpt.com/

アクセスしたら、右上にある「ログイン」をクリックします。

Sora2ブラウザ版画面

次の画面では、右側にある「ログイン」をクリックしてください。
そして、アプリから登録時に利用したアカウントでログインすれば完了です。

Sora2ブラウザ版にログイン

このステップなら、パソコンから招待コードなしでSora2を使えるようになります。
ログインしたら以下の流れで表記を日本語にしておきましょう。

  1. 左下の「設定」をクリック
  2. 「アカウント」をクリック
  3. 「Language」で「日本語（日本）」を選択

③ プロンプトを入力して生成開始

ログインが完了したら、あとはプロンプトを入力するだけです。
Sora2はシンプルなプロンプトでも、そこから意図を読み取り、動画を生成してくれます。
なので



モデル風の日本人女性が出演するビール会社のCMを作って

このようなシンプルなプロンプトでも、以下のような動画を作れます。

プロンプトの入力箇所は下の画像の赤枠部分です。

Sora2でプロンプトを入力する位置

他に設定できるのは以下の2つです。

  • 生成する画像のアスペクト比（横長なのか、それとも縦長なのか）
  • 動画の秒数（10秒もしくは15秒）

この2つの設定できる場所は以下の画像を参考にしてください。

Sora2でアスペクト比と秒数を設定

設定が完了したら、生成開始ボタンを押しましょう。
生成開始ボタンの場所は以下の画像の赤枠部分です。

Sora2の動画生成開始ボタン

クリックすると、約1分で動画の生成が完了します！

プロンプトはChatGPTに作ってもらうと楽

Sora2の使い方はとても簡単です。
おそらく、初心者にとって一番のハードルは「使い方」よりもプロンプトの作り方ではないでしょうか。
Sora2は短いプロンプトでもそれっぽい動画を生成してくれますが、やはり理想のイメージに近づけるにはプロンプトの工夫が必要です。

そこでおすすめなのが、ChatGPTにプロンプトを作ってもらう方法です。
ChatGPTは、あなたの作りたい動画のイメージを伝えるだけで、英語の自然なプロンプト文を自動で作成してくれます。
ChatGPTにお願いするときは以下のテンプレートを使ってください。

あなたはプロンプトエンジニアです。
私は動画生成AIのSora2で動画を生成したい。
以下の動画を生成できるプロンプトを作って。

# 動画の内容
ここに動画の内容となる情報を入力
例）アニメのワンシーン
例）ビールのCM

## 動画の舞台
ここに動画の舞台となる情報を入力
例）田舎の公園

## 登場するキャラクター
ここに動画内に登場するキャラクターを入力
例）高校生の男女二人

## キャラクターの動作
ここにキャラクターの動きを指定する
例）高校生カップルが公園のベンチで楽しく喋っている

## カメラワーク
ここにカメラの動きを指定する
例）優れた日本のアニメーションのように自然に動く

## キャラクターがしゃべるセリフ（日本語）
ここにキャラクターのセリフを指定する
例）
男性：昨日の動画見た？あれ生成AIで作ってるんだって！
女性：うそでしょ？！全然わからなかった！

## 動画のスタイル
ここに動画の全体的なスタイルを指定する
例）日本のアニメ風

項目をそれぞれ入力してChatGPTに貼り付ければ、Sora2用のプロンプトを生成してくれます。

④ 生成された動画はプロフィール画面で確認可能

Sora2で生成された動画はプロフィールページで確認できます。
具体的には以下の流れで確認可能です。

  1. サイドバーのプロフィールをクリック
  2. 下書き（Draft）と書かれた箇所をクリック
Sora2で生成された動画を確認できる場所

下書き（Draft）をクリックすると以下のような表示となり、最新の動画だけでなく過去に生成した動画も確認できます。

Sora2で生成された動画を確認できる場所

動画をダウンロードするには、対象の動画を選択したあと、右上の「…」をタップ（またはクリック）します。
ダウンロードした動画は、作成者本人であれば自由に利用可能です。
もちろん、SNSへの投稿やシェアもOKなので、ぜひ自分の作品を発信してみましょう。

Sora2で生成された動画をダウンロードする方法

⑤ 画像を参照して動画を作ることも可能

Sora2ではプロンプトだけでなく、指定した画像を参照して動画を作ることも可能です。
この「指定した画像を参照」について簡単に説明します。

この機能を使うと、自分が作りたいキャラクターなどの画像を元に動画を生成することができます。
事例を紹介すると、下の動画はアイドル風の女性を参照にして作った動画です。

この動画を作るにあたり参照にした画像はこちら↓

動画の参照に使った女性アイドルの画像

画像を参照にして動画を作りたい時は、プロンプト入力欄の左下にある＋ボタンをクリックし、参照する画像を指定するだけです。
場所は下の画像を参考にしてください。

sora2で画像を参照して動画を作る方法

⑥ 残りの無料生成回数を確認する方法

Sora2で残りの無料生成回数を確認する方法を紹介します。

まず左下にある「…」をクリックします。
次に「設定」をクリックします。

Sora2で残りの無料生成回数を確認する方法

最後に「使用状況」をクリックします。
すると、右側に残りの生成回数と、いつになったら無料生成回数が増加されるかが表示されます。

Sora2で残りの無料生成回数を確認する方法

無料枠を使い切っても、課金すれば動画を生成できますが、無料で使いたい場合は残り回数を確認しつつ計画的に生成してください。

Sora2を使ってリップシンク動画を作る方法の解説は以上となります。
次は、手動型の動画生成AIを使ってリップシンク動画を作る方法を解説します。

【手動型】Dreaminaで無料のリップシンク動画を作る流れ

記事の前半部分で、手動型ではHeyGen（ヘイジェン）とDreamina（ドリーミナ）がおすすめ、と紹介しました。
今回はDreaminaを使って無料のリップシンク動画を作る方法を解説します。

Dreaminaを選んだ理由はシンプルで、HeyGenよりも無料で生成できる動画数が多いからです。
DreaminaとHeyGenは違いは以下です。

DreaminaとHeyGenの違い

最大の違いは無料で作れる動画の秒数です。
Dreaminaは1日あたり30秒のリップシンク動画を作れますが、HeyGenは1ヶ月で30秒。
この違いは大きいですね！
Dreaminaの方が気軽に動画を作れるので、ここではDreaminaを使ってリップシンク動画を作る方法を紹介します。

全体の流れは以下となります

  1. 画像生成AI「Whisk」でキャラクター画像を生成
  2. 音声生成AI「Elevenlabs」で喋るセリフを生成
  3. Dreaminaでリップシンク動画を生成

whiskで作った画像と、Elevenlabsで作った音声をDreaminaで合体させるイメージです。
Sora2よりもステップは増えますが、難しくは無いので、ぜひ試してください。

Dreaminaで無料のリップシンク動画を作る流れ

① 画像生成AI「Whisk」でキャラクター画像を生成

はじめに画像を生成します。
利用するのはGoogleが運営するWhisk（ウィスク）です。
Whiskなら高品質の画像を無料で何枚でも生成できます。
こちらからWhiskにアクセスし、ログインしてください。

画像生成AI「Whisk」の「ツールを開く」をクリック

ログインしたら、下の画像を参考にしてプロンプトを入力してください。

画像生成AI「Whisk」でプロンプトを入力

Sora2の時と同じように、ChatGPTに使ってもらうと楽です。
今回は下のシンプルなプロンプトで生成してみます。

緑あふれる公園。少年が公園のベンチに座って真剣な表情で空を見つめている。天気は晴れ。日本のアニメ。

1回で2枚の画像が生成されるので、良いのができたらダウンロードしてください。
ダウンロード方法は簡単ですので、下の画像を参考にして試してください。

Whiskで生成した画像をダウンロード

今回は、以下の画像を使います。

Whiskで生成した画像

これで画像生成は完了です。
次は、喋るセリフを作りましょう！

② 音声生成AI「Elevenlabs」で喋るセリフを生成

セリフは音声生成AI「Elevenlabs（イレブンラボ）」で作ります。
Elevenlabsは世界トップの人気とクオリティを誇る大人気の音声生成AIです。
無料会員でも毎月500文字まで無料で生成できるので、無料枠でセリフを作りましょう。

下記のURLからElevenlabsにアクセスし、無料登録してください。

・Elevenlabs公式サイト

https://elevenlabs.io/ Elevenlabs公式サイト

あとは

  1. サイドバーの「テキスト読み上げ」をクリック
  2. ボイス（セリフを読み上げる声）を選択
  3. プロンプト（セリフ）を入力してボイスを生成

このような流れとなります。

Elevenlabsの生成画面

今回は、さきほどWhiskで作った画像内の少年にしゃべってもらうので、以下のプロンプトで音声を生成しました。

[high voice][thoughtful] うーん・・・、[sighs] どうすればいいのかなあ・・・

ボイスは「Sora」というキャラを選択しました。
生成された音声はこちら↓

次はDreaminaを使い、音声と先ほどの画像をくっつけましょう！

③ Dreaminaでリップシンク動画を生成

以下のURLからDreaminaに登録・ログインしてください。

・Dreamina公式URL

https://dreamina.capcut.com/ai-tool/home/

ログインしたら、画面の上の方にある
「AIアバター」
というリンクをクリックします。

DreaminaのAIアバター

次の画面で

  • 画像
  • 音声
  • プロンプト

の3つを入力します。
それぞれを入力する箇所は下の画像を参考にしてください。

Dreaminaのリップシンク動画設定画面

3つを設定すると以下のような画面となります。
今回は「少年は空を見ながら独り言を喋る」というプロンプトを入力しました。

Dreaminaのリップシンク動画設定完了画面

設定が完了したら生成開始ボタンをクリックし、リップシンク動画が完成するのを待ちます。
生成が完了したら、サイドバーの「作成」というリンクをクリックすれば動画を確認できます。

Dreaminaのリップシンク動画生成完了画面

この流れで生成されたリップシンク動画はこちら↓

こちらも、Sora2と同じように動画はダウンロード可能です。

手動型の動画生成AIを使ったリップシンク動画の作り方は、以上となります。
自動型に比べると少し手間はかかりますが、そのぶん表情や動きのクオリティを細かく調整できるのが魅力です。
ぜひ、自分だけのこだわりの動画づくりに挑戦してみてください！