購読する How To
アドビはジェネレーティブAIの開発を続けており、 同社のニューラルエンジン「Firefly」を搭載したウェブベースのサウンドジェネレーターをベータ版として公開した。ユーザーがテキストの説明からカスタムサウンドエフェクトを生成することができるが、最も興味深いのはそれだけではない。あなたの声でモデルを誘導し、効果音と画面上のアクションのタイミングを正確に合わせるためのオーディオキューを録音することもできる。
テキストからサウンドを生成するのは新しいコンセプトではない。以前からいくつかの企業がこの機能を提供している（例えば、ElevenLabsがその最前線にいる）。しかし、AIがビデオ内のアクションの長さやエネルギーを正確に把握できるように、希望のエフェクトを声に出すというアイデアはエキサイティングだ。クリエイティブな結果を得るために、より多くのコントロールとインスピレーションを与えてくれる。これはフォーリーのようなものだと考えてほしい。あなたの声だけで素早く録音し、それが適切な音に変わるのだ。
Adobe Fireflyサウンドジェネレーターとその特徴
アドビによるこの新しいツールは、コンパクトなブラウザベースのエディターのように見える。ユーザーがビデオ入力（現時点では30秒まで）をアップロードすると、それに合わせて効果音を生成し、正しいタイムスタンプに直接合わせることができる。
Adobe Fireflyのサウンドジェネレーターは、テキストプロンプトとあなたのボーカルパフォーマンスを組み合わせ、あなたの声のタイミングとダイナミクスに合わせながら、説明文に沿った効果音を生成する。また、複数のオーディオトラックを作成し、異なるサウンドエフェクトを重ねてより豊かなサウンドスケープを作ることもできる。
録音されたボイスノートは、音声のガイドとしてのみ使用されることに注意。このAdobeツールは、音声や歌われた歌詞を生成するものではない。
Adobe Fireflyサウンドジェネレーターの使い方
新しいサウンドジェネレーターのウェブインターフェイスは、非常に直感的に使うことができる。まず、FireflyのホームページからAudioモジュールを探し、「Voice to sound effects (beta) 」を選択する。Text to sound effects (beta)」も表示されるが、実際には必要ないだろう。最初のツールでも、録音されたガイダンスの提供はオプションだ。
次のステップ
- 効果音を生成したいメディアをアップロードする。(オーディオファイルでもビデオファイルでもよい）。
- タイムラインの再生ヘッドを、最初のサウンドエフェクトが始まる正確な位置に移動する。(後で調整できるが、今のうちに正確に設定しておくと、その後のレコーディングに役立つ)
- 次に、左側のVoice performanceセクションに移動する。そこでは、デバイスからオーディオファイルをアップロードするか、インターフェイスで直接録音することができる。後者の機能をクリックすると、3秒間のカウントダウンが表示される。それが終わると、録音を開始できる。
- 上のプロンプトタブにボイスメモが追加されているのがわかるだろう。そこにテキストの説明を入力する。プロンプトを作成する際のヒントをいくつか紹介しよう。
“Generate “をクリックすると、AIが4種類の効果音を表示する。ひとつを選ぶと、プログラムはそれをプレイヘッドの位置に挿入する。それを交換したい場合は、まずタイムラインで実際のクリップをクリックし、生成された別のバージョンを選ぶ。
複数のエフェクトを重ねる必要がある場合は、「オーディオトラックを追加」をクリックし、最初から同じ作業を繰り返す。それとは別に、一度に1つのサウンドで作業することをお勧めする。
新しいツールを試してみる
私たちはこのツールを試してみることにし、週刊CineDのポッドキャスト 「Focus Check」の特別エピソードから、映像クリエイターの健康に関するジョニーの料理の断片をいくつかアップロードした。クリップを1つのビデオに編集してアップロードし、その後、Fireflyでそれぞれのサウンドを個別に調整した。
私の生の音声だけをヒントにした動画はこんな感じだ。電車で移動中にスマートフォンで録音したので、周囲が騒がしい（Fireflyの処理には全く問題ないようだ）：
それぞれの音に「木のまな板の上で包丁が大根を切っている」とか「キッチンのミキサーがミキシングしている」というような簡単なテキストプロンプトを追加した後、生成された音をタイムラインに配置し、音量を少し調整した（これは、作成されたクリップを個別にクリックすることでできる）。そしてこれが簡単な結果だ：
生成されたサウンドのタイミングとクオリティは実に見事だ。さらに驚くべきは、この全体のプロセスが約10分で完了したことだ。
プロジェクトの作業が完了したら、最終的な動画ファイルまたは生成されたSFXを別ファイルとしてダウンロードし、さらに編集することができる。
プロンプトを書く際のヒント
Adobe Firefly サウンドジェネレーターの開発者は、希望する結果に近づけるためのプロンプトの書き方のヒントも公開している。例えば、生成したいサウンドの明確で簡潔かつ直接的な説明を提供することが重要だ。例えば、「ライオンの咆哮の音」と書くのではなく、「ライオンの咆哮」と簡潔に書く。
もう1つのヒントは、形容詞と動詞を使うこと。形容詞はSFXの特性を説明し、動詞は音の動作や行動を表現する。このアプローチにより、各サウンドエフェクトの特性をより正確に制御できる。
プロンプト作成のヒントについては、こちらをご覧ください。
価格とリリース時期
Adobe Fireflyサウンドジェネレーターは、ウェブベースのアプリケーションとしてベータ版で利用可能になった。Firefly では、さまざまな価格プランをご用意している。（詳細はこちら）
Creative Cloud ユーザーは、サブスクリプションの一部として、最新の機能を含む Adobe の生成型 AI をすぐに試すことができる。
Feature image: Adobe
