ルモーリン

AIきりたん用musicxmlをMikuMikuDanceリップシンク用vsqに変換

投稿:2020-03-26、更新:2023-03-04

musicxmlをAIきりたんに歌ってもらったあと、MikuMikuDanceでリップシンク(口パク)のモーションを作ると手間がかかります。 MikuMikuDanceにはvsqを読み込んでリップシンクする機能があります。 このvsqは昔のボーカロイドが出力できたようです。 でも手元にはmusicxmlしかありません。 そこでリップシンク用vsqに変換できればよい訳です。

2023-03-04 サービスを利用された方から(ありがとうございます!) 変換に失敗する報告と使ったmusicxmlを提供いただき改善できました。 テンポ記号や歌詞に装飾(フォント指定など)を施した場合は、読み込みに失敗してました。 出力元のMuseScoreは譜面作成ソフトだから見た目の指定が色々できるけれど、読み込む方が対処できてなかった💦 2020-04-08 タイ記号で繋がった音符を一つにまとめて発音するよう改善しました。

このvsqファイルを読み込むことでMikuMikuDanceが誤動作する可能性があります。 MikuMikuDanceで読み込む前にプロジェクトをバックアップしてください。 実際にこの変換サービスを開発中、vsqを読み込んだ途端、フレーム番号がマイナスから始まるような誤動作が起きています。 最悪の場合、プロジェクトを破棄して、vsqを読み込む前の状態から再開しなくてはなりません。

musicxmlファイルを指定してから変換ボタンをクリックするとlipsync.vsqファイルがダウンロードされます。 MikuMikuDanceの「表情」→「vsqによるリップシンク」で読ませてください。 1小節ほど前後にズレますので「リップフレーム時間シフト」で調整してください。
musicxmlファイル:

開始フレームを合わせただけで口パク内容は無調整です。

私の拙いプログラミング能力にのんびり付き合う方に限りmusicxmlファイルを提供していただければMikuMikuDanceで読み込めるvsqファイルに変換できる所までは頑張りたいと思います(きちんと口パクするvsqになるかは別です)。