【爆速】YuE2で既存音源アレンジと音楽生成ローカルでComfyUIと無料モデルでサウンド作成 MiniMaxとの比較も

先日、ローカルオープンモデルの個人的な最後の砦、音楽生成AIのMiniMax Music 3を導入して、ぼくのYouTubeチャンネルのテーマ曲を作成し、MVをアップしました。

音楽の生成に35分、動画の編集に10時間です。過去動画から適切なカットを100個ほど切り出して、フルバージョンに仕上げました。満足度は95点です。この曲が無料で出来るのは脅威です。

で、一段落した矢先に新しい音声AIを見つけてしまいました。YuE2 by M-A-Pです。MiniMax Music 3、SUNO V6、そして、このYuE2とこの夏は音楽生成モデルの祭りです。

うちのComfyUIはポータブル版ですが、Nightly（ベータアップデート版）のテンプレートにYuE2のワークフローが来ました。

このモデルの長所は強力なアレンジ・修正機能と速度です。音楽の生成速度はマジで爆速です。一方、決定的な短所もあります。

この記事ではこのYuE2の使用感やライバルモデルとの比較を書きます。

旧SUNO越え？ YuE2
- YuE2の基本情報
YuE2のMuisc Coverのワークフローを使ってみる
YuE2のまとめ

旧SUNO越え？ YuE2

MiniMaxの記事にも書いたように音楽生成AIの代表はSUNOです。が、これはオープンウェイトでもフリーモデルでもありません。がちがちのクローズド商用系です。クラウド版しかない。

YuE2が出たころに最新のV6も出て、V5以前の過去モデルが黒歴史のように封印されました。なにか問題があったっぽい、おそらく著作権がらみで。SUNO V6の評判はおおむねネガティブです。

で、もとからサブスクリプションや従量課金をケチるぼくはSUNOの新型には手を出さず、オープンモデルのMiniMax Music 3を入れて、上記のデビュー曲？を作成しました。

以下はうちのPCの構成です。

GPU RTX3090 VRAM 24GB
CPU RYZEN 9 5950X
RAM 32GB
ストレージ6TB

ソフトウェアや開発環境は以下です。

Python
Git
CUDA
Comfyui
Rust
Adobe Premiere
Adobe Master Collection

GPTの基盤がRustになったとかなんとか・・・最近のAI界隈の動きはハイパーインフレで、ヤムチャ視点の一般ユーザーには暴力です。

で、MiniMaxの推奨要件が24GB～で、このYuE2もやっぱり24GB～です。RTX3090以下のGPUのオーナーには冬の時代が続きます。

YuE2の基本情報

YuE2の基本情報です。

カテゴリ	YuE2 (M-A-P) の詳細仕様
モデル概要	オープンソースのフロンティア音楽生成モデル（約3Bパラメータ）歌詞とスタイルプロンプトから、ボーカル・伴奏付きのフル楽曲を生成。Suno v5/v6に匹敵する品質を持つとされる。
最大の特徴（シンボリック計画）	いきなり音声波形を作らず、中間表現として編集可能な楽譜（ABC記譜法などによるメロディ・コードプラン）を自動生成。人間やAIエージェントが音程や構成を直接覗いて編集できる。
音声出力スペック	• 48 kHz ステレオ音声（量子化なし） • イントロ、ヴァース、コーラス、ブリッジ、アウトロなどのフル構成に対応
推奨実行環境（ローカル）	• OS: Linux / Python 3.12以降 • GPU: BF16対応、推奨VRAM 24GB以上（例: NVIDIA RTX 4090等）※実際の生成時ピークVRAM消費は14GB前後（軽量時は8GB未満に収まるケースもあり） • 速度目安: RTX 4090環境で約3.6分の曲を約71秒で生成
主な機能・拡張	• ゼロショットカバー生成、エージェント型編集機能、高度な音楽理解（MARBLEベンチマーク等でSOTA） • ComfyUIなどのカスタムワークフローにも対応

SUNOやMiniMax Musicとの比較です。

比較項目	Suno v6.0	MiniMax Music 3.0	YuE2 (オープンソース)
提供形態 / ライセンス	クラウド型（Webサービス / 専用DAW）	API / オープンウェイト（クラウド・ローカル選択可）	完全オープンソース（Hugging Face等で無償公開）
モデル構成・仕組み	3モデル体制（フラッグシップ、実験的、軽量）	階層型（8BグローバルLLM ＋ 0.6BローカルLLM）	約3Bパラメータ＋中間楽譜（シンボリック計画）による生成パイプライン
音質・スペック	高品質ステレオ（最大8分）	32 kHz / 16-bit ステレオ WAV（最大5分）	48 kHz ステレオ音声（非量子化）
編集・コントロール性	自然言語による部分修正、マッシュアップ	構造タグ＋ 3セクション式キャプション指定	楽譜（ABC記譜法）を直接覗いてのコード・メロディ編集
ローカル実行環境	不可（ブラウザ専用）	要ハイエンド（VRAM 24GB以上推奨）	要ハイエンド（推奨VRAM 24GB / ピーク14GB前後）、ComfyUI等対応

YuE2とMiniMaxの差はアレンジ及び修正能力です。現状、MiniMax Musicには音源参照の機能がありません。こいつは完成品しか作れない。

おかげで惜しい候補が没になってしまいます。これは一例です。

Wink的な？

B4Cのデビュー曲の歌詞を変えずに、ヴォーカルを女子にして、試験的に生成したら、なかなかキャッチーなエンディング風の曲をガチャれました。曲調にそこはかとなく相田翔子色があふれます。

が、なんとなく生成時間をケチって、ステップ数を10に、秒数を90にしました。おかげで音質がいまいちですし、最後がしりきれとんぼです。もう1コーラスが足りない！

同じシードで秒数を伸ばしても、このWink風の曲を出せません。Adobe Premiereでむりやりカットを繋いだりしましたが、うまくまとめれなかった。0.5フレームくらいが微妙に合わない・・・

結果、このエンディング曲はお蔵入りですーーYuE2を入れるまでは。

YuE2のMuisc Coverのワークフローを使ってみる

うちのComfyは0.34 Portableの安定板ですが、ここにはまだYuE2のワークフローはありません。しかし、ManagerからNightly版に切り替えると、2つのテンプレートと対面できます。

左が音源参照のカバー版、右が新規生成版です。Checkpointとサウンドエンコーダーは共通です。こみこみ8.6GBくらい。公式では3b_int8版が推奨のようですが、ぼくは何となくbf16を使います。

Checkpoint=7.3GB（bf16）or 3b_int8（3.7GB）
audio encoder=1,3GB

※Lora対応はbf16のみ

本体がでかめ、おまけがちいさめ。逆にMiniMax Music 3ではテキストエンコーダーが8GBオーバーで、本体は4GB、VAEが200MBくらいです。

これは生成速度に如実な影響を与えます。MiniMax Muisc 3の処理では最初のエンコード部分が非常に冗長です。おおむね3~4分の曲で20分オーバー。で、100ステップが10分オーバーです。

正味の生成時間はだいたい40分弱ですね。30分以下にはならない。

ほぼ同じ設定でYuE2では生成時間は2分強です。初期の処理もステップの進みも爆速！　

コマンドラインのログは以下の通りです。ここにはおもしろい発見が一つあります。処理の順序。

MiniMaxはテキストエンコーダー→モデル→VAE
YuEはモデル→サウンドエンコーダー

です。ただのノードの順序でしょうか？　ともにステップ処理は最後に入ります

YuE2の音質チェック

YuE2のメインノードのサブグラフ内にはABC譜の出力やおなじみKサンプラーがあります。初期のステップは32、YuE公式の推奨も32です。

MiniMaxでは50以上で音質が安定しました。基本的にぼくは100でやります。30分が35分に伸びても、ストレスは変わらない。

YuE2でも何度か100ステップで実行しました。が、ぼくの耳ではステップ32とステップ100の音質の差を聞き分けられません。

ちなみにぼくはつねにイヤホンで音声をチェックします。（作業モニターにスピーカーがないため）

さっきの没曲の修正版を聞き比べましょう。Prmiereで最後の10秒をつぎはぎしてから、アレンジに掛けました。

これが100ステップ

これが32ステップ

ろれつがともにほろ酔い風ですが、気障りなノイズやエコーや音割れは見当たりません。楽器の音が少し軽く平べったく聞こえる？ Insの弱さはAI音楽の弱点です。

もっとも、32ステップも100ステップも1-2分で終わってしまいます。モリモリ設定で3分くらいのフルバージョンを作成しても、2~5分くらいで完成品を得られます。

ガチャがはかどる！

アレンジの限界

YuE2の売りの一つが楽譜からの詳細な制御です。ABC譜が自動的に作成されます。これは別の新曲、チャリのパンクのだるくてダウナーな気分をうたう『ダルルダウナー』です、made in MiniMax。

テーマはダウナーですが、曲調はのりのりのユーロビートのダンスミュージックです。意味不明。出だしの雰囲気がまんまアイアイアイの歌（Smile – Butterfly）の親戚ですね。

で、これが全曲のABC譜です。こういう暗号がYuE2のノードにテキストベースで出ます。

X:1
T:
M:4/4
L:1/16
Q:1/4=150
V: Vocal clef=treble name="Vocal Melody" snm="Vocal"
V: Ins clef=treble name="Ins Melody" snm="Inst."
K:Em
% intro
V: Vocal
z12"Em"e2g2|"Em"b4e2g2"D6"a4"Em7/D"d2e2-|"C"e2z6"D6"z8|"Em"b4e2g2"D6"a4"Em7/D"d2e2-|
V: Ins
Z4|
V: Vocal
"C"e2z6"D6"z8|"Em"z8"D6"z8|"C"z8"D6"z8|"Am7"z8"Bm7"z4"Cmaj7/B"z4|
V: Ins
Z|g2f2g2a2b3d'3e'2|a3a3b2g3g3a2|g2f2g2a2b3d'3e'2|
V: Vocal
"C"z8"D6"z8|"Em"z8"D6"z8|"C"z8"D6"z8|"Am7"z8"Bm7"z4"Cmaj7/B"z4|
V: Ins
a3a3b2g3g3a2|g2f2g2a2b3d'3e'2|a3a3b2g3g3a2|g2f2g2a2b3d'3e'2|
V: Vocal
"C"z8"D"z8|
V: Ins
a3a3b2g3g3a2|
% verse
V: Vocal
"Em"z2e2e2d2e2e4d2|"Em"e4e2d2e4B4|"Em"z2e4d2e2e2e4|"Em"e4e2d2e4g4|
V: Ins
Z4|
V: Vocal
"C"z2g2g2f2f2e2e2d2|"C"e4e2d2e4B4|"D"z2A2A2G2A2G2A2G2|"D"A2G2A2B4A4z2|
V: Ins
Z4|
V: Vocal
"Am7"g6f6d4-|"Am7"d2B6d4e4|"Bm"f6f6g4-|"Bm"g2a6g2f2f4|
V: Ins
Z4|
V: Vocal
"Cmaj7"z2e2e2d2e3e3d2|"Cmaj7"e2e2e2d2e3b3a2|"D"z2a2a2g2a3a3g2|"D"a2a2a2g2a3d'3b2|
V: Ins
Z4|
V: Vocal
"Bm"b16-|"Bm"b16|"Bm"z16|"Bm"z16|
V: Ins
Z2|b4b4b4b4|b4b4b4b2g2|
% chorus
V: Vocal
"Em"e4b2b2"D"a3f-"C"f2e2-|"C"e2e2b2b2"D"a3f-"Am"f2e2-|"Am"e2e2e2g2"Bm7"a2g2"Cmaj7"f2g2-|"C"g4z4"D"z8|
V: Ins
Z4|
V: Vocal
"Em"e4b2b2"D"a3f-"C"f2e2-|"C"e2e2b2b2"D"a3f-"Am"f2e2-|"Am"e2e2e2g2"Bm7"a2g2"Cmaj7"f2g2-|"C"g4z4"D"g4a2g2|
V: Ins
Z4|
V: Vocal
"C"b8d'6az|"D"a6g2g4z4|"Em"b8d'8|"G"a6g2g4z4|
V: Ins
Z4|
V: Vocal
"C"e4b2b2a3f3e2-|"D"e2e2b2b2a3f3e2-|"Em"e2z12z2|"Em"z16|
V: Ins
Z2|z4e4e4e4|e4e4e4e2e2|
% interlude
V: Vocal
"Em"z8"D"z8|"C"z8"D"z8|"Am"z8"Bm"z8|"C"z8"D"z8|
V: Ins
g2f2g2a2b3d'3e'2|a3a3b2g3g3a2|g2f2g2a2b3d'3e'2|a3a3b2g3g3a2|
V: Vocal
"Em"z8"D"z8|"C"z8"D"z8|"Am"z8"Bm"z8|"C"z8"D"z8|
V: Ins
g2f2g2a2b3d'3e'2|a3a3b2g3g3a2|g2f2g2a2b3d'3e'2|a3a3b2g3g3a2|
% verse
V: Vocal
"Em"z2e2e2d2e2e4d2|"Em"e4e2d2e4B4|"Em"z2e2e2d2e2e4d2|"Em"e2e2e2d2e2e2g4|
V: Ins
Z4|
V: Vocal
"C"z4g2f4d2d2B2|"C"d2d4B2d4B4|"D"z2G2A2G2A2G2A2G2|"D"A2G2A2G2A2B4z2|
V: Ins
Z4|
V: Vocal
"Am7"g6f6d4-|"Am7"d2B6d4e4|"Bm"f6f6g4-|"Bm"g2a6g2f2f4|
V: Ins
Z4|
V: Vocal
"Cmaj7"z2e2e2d2e3e3d2|"Cmaj7"e2e2e2d2e3b3a2|"D"z2a2a2g2a3a3g2|"D"a2a2a2g2a3d'3b2|
V: Ins
Z4|
V: Vocal
"Bm"b16-|"Bm"b16|"Bm"z16|"Bm"z16|
V: Ins
Z2|b4b4b4b4|b4b4b4b2g2|
% chorus
V: Vocal
"Em"e4b2b2"D"a3f-"C"f2e2-|"C"e2e2b2b2"D"a3f-"Am"f2e2-|"Am"e2e2e2g2"Bm"a2g2"Cmaj7"f2g2-|"C"g4z4"D"z8|
V: Ins
Z4|
V: Vocal
"Em"e4b2b2"D"a3f-"C"f2e2-|"C"e2e2b2b2"D"a3f-"Am"f2e2-|"Am"e2e2e2g2"Bm"a2g2"Cmaj7/B"f2g2-|"C"g4z4"D"g4a2g2|
V: Ins
Z4|
V: Vocal
"C"b8d'6az|"D"a6g2g4z4|"Em"b8d'6az|"G"a6g2g4z4|
V: Ins
Z4|
V: Vocal
"C"e4b2b2a3f3e2-|"D"e2e2b2b2a3f3e2-|"Em"e2z12z2|"Em"z16|
V: Ins
Z2|z4e4e4e4|e4e4e4e2g2|
% bridge
V: Vocal
"Cmaj7"b4a2g2g2f2f2f2|"Cmaj7"g2f2f2d2d4z2d2|"D"b4a2g2g2f2f2f2|"D"g4f2d2d4e4|
V: Ins
Z4|
V: Vocal
"Em"z4e2d2e2d2e4|"Em"e4e4e4g4|"G"z4e4e2e4d2|"G"e2d2e2b4a2a4|
V: Ins
Z4|
V: Vocal
"Cmaj7"z16|"Cmaj7"z16|"D"z16|"D"z16|
V: Ins
b2a2a2b2b2a2a2b2|b2a2a2b2b2a2a2b2|b2a2a2b2b2a2a2b2|b2a2a2b2b2a2a4|
V: Vocal
"Cmaj7"z16|"Cmaj7"z16|"D"z16|"D"z16|
V: Ins
e4e4e4e4|e4e4e4e4|e4e4e4e4|e4e4e4e2e2|
% chorus
V: Vocal
"Em"e4b2b2"D"a3f-"C"f2e2-|"C"e2e2b2b2"D"a3f-"Am"f2e2-|"Am"e2e2e2g2"Bm"a2g2"Cmaj7/B"f2g2-|"C"g4z4"D"z8|
V: Ins
Z4|
V: Vocal
"Em"e4b2b2"D"a3f-"C"f2e2-|"C"e2e2b2b2"D"a3f-"Am"f2e2-|"Am"e2e2e2g2"Bm"a2g2"Cmaj7"f2g2-|"C"g4z4"D"z8|
V: Ins
Z4|
V: Vocal
"Em"e4b2b2"D"a3f-"C"f2e2-|"C"e2e2b2b2"D"a3f-"Am"f2e2-|"Am"e2e2e2g2"Bm"a2g2"Cmaj7/B"f2g2-|"C"g4z4"D"z8|
V: Ins
Z4|
V: Vocal
"Em"e4b2b2"D"a3f-"C"f2e2-|"C"e2e2b2b2"D"a3f-"Am"f2e2-|"Am"e2e2e2g2"Bm"a2g2"Cmaj7"f2g2-|"C"g4z4"D"z8|
V: Ins
Z4|
% outro
V: Vocal
"Em"z8"D"z4"C"z4|"C"z8"D"z8|"Am"z8"Bm"z4"Cmaj7/B"z4|"C"z8"D"z8|
V: Ins
g2f2g2a2b3d'3e'2|a3a3b2g3g3a2|g2f2g2a2b3d'3e'2|a3a3b2g3g3a2|
V: Vocal
"Em"z8"D"z4"C"z4|"C"z8"D"z8|"Am"z8"Bm"z4"Cmaj7"z4|"C"z8"D"z8|
V: Ins
g2f2g2a2b3d'3e'2|a3a3b2g3g3a2|g2f2g2a2b3d'3e'2|a3a3b2g3g3a2|
V: Vocal
"Em"z16|"Em"z16|"Em"z16|"Em"z16|
V: Ins
g2f2g2a2b3d'3e'2|a3a3b2g3g3a2|g2f2g2a2b3d'3e'2|a3a3b2g3g3a2|
V: Vocal
"Em"z16|"Em"z16|
V: Ins
a4z12|Z|

C=ツェー＝ド=ハです。ヴァイオリン曲の「G線上のアリア」のG線のGは「ソ」のことです。Em＝イーマイナー＝ホ短調。

あと、「シ」はドイツ語ではH（ハーと発音する）ですが、英語ではBです。さらにドイツ語ではB（ベー）はシのフラットです。ややこしい・・・

YuE2の出力は英語表記のABC譜です。テキストの”B”はシ（イタリア）=ロ（日本）となります。

MiniMaxの没曲をYuEで修正してみる

これはまたまた別の曲、硬いパンの賛歌「ガリバリ」です。きゃりーぱみゅぱみゅ味がただよいます。

ぼくが歌詞を起こして、Geminiに構成の手直しをたのみ、MinimMax Muisc 3にぶっこんで、ステップ100で生成しました。処理時間は約35分でした。

歌詞の全文です。ひらがなとカタカナでの入力が安定します。

[Intro]
パンパンパンパン

[Verse 1]
ネットでみつけた おすすめのパンや
えきから とおいぞ あるきで さんキロ

わくわく しながら ふらふら むかうよ
あさから あたしの おくちは パンです

ちずでは このへん かんばん どこかな
じゅうたくがいだぞ ほんとに ここかな

[Pre-Chorus]
こういうところに ぽつんとあるみせ
えいぎょうすくなめ へいじつねらいめ
え? ていきゅうびじゃないよね?

[Chorus]
がりがり ばりばり
しんまで かたいの
がりがり ばりばり
かたさは せいぎさ
はごたえ さいこう
はごたえ さいきょう

[Post-Chorus]
がりがり ばりばり
しんまで かたいの
がりがり ばりばり
かたさは せいぎさ

[Verse 2]
たまたまみかけた こぎれいなパンや
かくれがタイプの こうきゅうてんだよ

やきたてめがけて でんげきとつげき
トングをカチカチ このエピ ガチガチ

てごたえじゅうぶん かたさはせいぎさ
でもまあときどき おくちがちだらけ

[Pre-Chorus]
こういうところに ひっそりあるみせ
おねだんおたかめ おおきさひかえめ
え? げんきんしかだめなの?

[Chorus]
がりがり ばりばり
しんまで かたいの
がりがり ばりばり
かたさは せいぎさ
はごたえ さいこう
はごたえ さいきょう
[Bridge]
あしたのパンを あたしのパンを
ひるかって よるくって
あさまでもたない ぜったいたりない

[Final Chorus]
がりがり ばりばり
しんまで かたいの
がりがり ばりばり
かたさは せいぎさ
はごたえ さいこう
はごたえ さいきょう
がりがり ばりばり
しんまでかたいの
がりがり ばりばり
かたさはせいぎさ
はごたえ さいこう
はごたえ さいきょう
[Outro]
パンパンパンパン

これはおおむねイメージ通りの出来ですが、一か所だけ、0:13から0:16くらいのVerse1の歌詞、「ふらふらむかうよ」がふらふら「ゆかうよ」になってしまいました。「ゆこうよ」と「むかうよ」が混ざった？！

音楽生成AIには日本語の「やゆよ」とその前後はなかなかの難所です。くずれがち。ときどきろれつが回らない。

イントロ、曲調、声質、テンポ、サビは満足です。ここの発音のくずれだけが赤点だ。1:14あたりの「でんげき」もやや不安定ですが、「ゆかうよ」ほどではない。

で、MiniMaxではこの一か所だけを部分的に修正するのは不可能です。リテイクはまた40分コースだ。

そこでこれをYuE2のアレンジに掛けました。

声と歌い方と楽器が変わりましたが、「ゆかうよ」は「むかうよ」になりました。あと、ところどころにアドリブの掛け声みたいなのも入る。3秒短くなった。でも、このアンニュイな感じは嫌いではない。

しかし、0:27前後の歌詞がすこし間延びして、音符とワードがすこしずれてしまった。結果、「え、ていきゅうびじゃないよね？」の「え」が虚空に消えました。

ABC譜を弄ってみる

テキストベースのABC譜は音痴のぼくにはさっぱり分かりません。DeepSeek V4 Flashに頼んで、YuE2用のStreamlitのpyファイルを作成しましょう。

うえの入力欄にABC譜を入れると、おなじみのおたまじゃくし♬♪を下側に表示できます。一応、上と下は連動します。Streamlitの機能では完全同期のUIは無理ですが、トグルオンオフで変更が反映されます。

で、これは冒頭からVocal Melodyが入りますから、さっきの硬いパンの曲の楽譜ではありません。「ダルルダウナー」の別バージョンのIntroです。

Ins Melodyは伴奏の主旋律のみです。ビートのパーカッションやベースとかは見当たらない。上の指定4は四小節休みです。

M:4/4
L:1/16
Q:1/4=150
K:Em

このへんはリズムや調整の記号です。

ためしにこのABC譜から[verse2]部分をごっそり抜いて、再生成してみました。下はPremiereの編集画面です。上の2段がオリジナル、下の2段がリテイク版です。

冒頭からIntroの入りの山の部分がほぼ一緒ですね。

全体はこちらです。当然、リテイク版は短くなります。が、最後部の波形の谷は同じです。

リテイク版の出力結果です。

1:17からOutroですが、その前後に不自然な断絶はありません。テレビ用のショート版になりました。

ただし、あらたな問題が発生します。

日本語がやや不安定？

YuE2の生成速度はMiniMaxを明らかに上回ります。アレンジ版は3分以内に完成する。早さは正義さ。

しかし、この世界に完全なAIモデルは存在しません。有料のSUNOすらが完ぺきではない。

YuE2で100曲ほどを生成&編集して、気掛かりなポイントを見つけました。日本語が崩れる。フレーズやセンテンスがまとまらない。

語頭、語中、語尾で「ん？」という部分が一曲中に少なからず発生します。

これはYuE2版の全曲です。

0:51からの肝心のサビの返しコールのところ、「つねにかみだのみ」の「み」が消えました。そのつぎの「つねにうんだのみ」の「み」も消えた。

このフレーズはコーラスで何回も反復されますが、「み」はつねに時空の彼方です。きゃりーぱみゅぱみゅに「み」の在庫を持っていかれたか・・・そういう歌(Me-み）がありましたよね？　

全般的にフレーズやセンテンスのまとめ方が不安定です。日本語のかみくだきが足りない。メロディーにむりやり音を充てるような強引さを感じるーーそう、デビューほやほやの宇多田ヒカルみたいに。

かの名曲Automaticのサビに「君と Paradise にいるみたい」って歌詞がありますが、あそこの歌い方は日本語の語感では「きみとパラ」「ダイスにいるみたいに」聞こえます。

YuE2はこれを彷彿とさせます。

詰めるところを詰めず、伸ばさないところを伸ばす。
語尾で韻を踏む行を同じセクションにまとめない。
へんな歌い方をして、歌詞を跳ばすor順送りにする。一個がずれると、あとがずれる。違和感がコードの仕切り直しまで続く。
先述の「やゆよ」や「にゅ」や「ふぉ」や「い」や「ら」もよく消えるorあばれる。

などなど。

詩先のMiniMax 曲先のYuE

この点、MiniMaxの出力はよりナチュラルです。初期宇多田ヒカルがそうそう起こらない。日本語を日本語らしくまとめてくれる。

これはおそらく生成初めのテキストエンコーダーの長ったらしい処理のたまものでしょう。8Bの熟考はだてではない。言語のかみ砕き、特に日本語の解釈が3Bの3倍ですし。

実際、YuE2ではABC譜の出力結果は全体の処理の13~15%の工程でぱっと出ます。音源のベースの作成はマジで爆速です。

これはぼくの予想ですが、このモデルの処理の中身は以下の手順です。

キャプションを読んでテンポや調性や声質や楽器を決める
歌詞を読んで文字数のみをざっくりカウントする
ABC譜をつくる
そこに再帰的に歌詞をあてはめる
ステップ処理

中学生は本を読んで、内容を解釈できます。しかし、感想文には「おもしろかったです」と書いてしまいます。3Bの頭脳はこれとそっくりです。日本語を解釈できるが、うまく出力できない。　

反面、MiniMax Music 3の8Bは高校生クラスです。日本語を日本語として音符にじっくりあてはめられる。ゆえに語尾の順送りや消失がそれほど起こらない。

これは音楽業界用語の「詩先」か「曲先」に相当します。MiniMaxが詩先、YuE2が曲先です。出力の結果も処理の経過もこの説と反しない。

で、ぼくの独断と偏見では日本語の曲の作成にはMiniMax Music 3が上です。事実、採用曲はMiniMaxのものばかりです。

YuE2の生成速度は魅力ですが、どうしても日本語がうまくまとまりません。MiniMaxは30分で高精度の1本をきちんと仕上げますが、YuE2は低精度の10本をざっくりと吐き出します。

さあ、どっち？　後者を選ぶのはナンセンスです。サビの歌詞がきえる、ずれる、くずれると、気力が失せる。再生成でそこが治っても、また高確率で他が崩れる。

逆に以下の用途にはYuEが有利です。