build!: コアを0.16にする #1587

qryxip · 2025-04-05T04:37:53Z

内容

一旦 #709 は抜きで、コア0.16の導入を行う。

スクリーンショット・動画など

その他

qryxip · 2025-04-17T10:46:19Z

.github/workflows/build-engine-container.yml

@@ -138,6 +139,15 @@ jobs:
          DOWNLOAD_RESOURCE_PATH: download/resource
        run: bash tools/process_voicevox_resource.bash

+      # NOTE: you must agree to the ToU
+      # FIXME: なんか数分かかるみたいなので、GitHub Releasesから持って来た方がよいかも


そういやGitHub Releasesには無いんだった。自分でダウンローダーの実装とかしてたのに忘れてた。

となるとGitHubからのファイル単位ダウンロード（ダウンローダーはこれ）だけど、実際に速くなるのかは未調査。

cbc883c (#1587)
とりあえずFIXMEの文面を変更。

（ジャストアイディアですが）

最初1回目は数分かかるのは仕方ないとして、キャッシュするのもありかもですね！
もしかしたらもうキャッシュされてたり･･･？
もしキャッシュされてるならFIXME外しちゃっても良いかも？

qryxip · 2025-04-17T10:47:14Z

.github/workflows/build-engine-container.yml

@@ -138,6 +139,15 @@ jobs:
          DOWNLOAD_RESOURCE_PATH: download/resource
        run: bash tools/process_voicevox_resource.bash

+      # NOTE: you must agree to the ToU


TODO: 上手い文面

71ecf15 (#1587): 色々書くのは #709 のときにやることにして、このPRでは何も書かないことにしようかなと。

qryxip · 2025-04-17T10:49:03Z

.github/workflows/build-engine-container.yml

-  VOICEVOX_CORE_VERSION: "0.15.7"
-  ONNXRUNTIME_VERSION: "1.13.1"
+  VOICEVOX_CORE_VERSION: "0.16.0"
+  VOICEVOX_VVM_VERSION: "0.1.0"
+  ONNXRUNTIME_VERSION: "1.17.3"


diffの量を抑えるためにONNXRUNTIME_VERSIONのままにしたけど、このPR内でVOICEVOX_ONNXRUNTIME_VERSIONにした方がよいかも？

.github/workflows/build-engine-package.yml

Refs: VOICEVOX#1587 (comment)

qryxip · 2025-04-20T18:15:23Z

とりあえず後回しにしていたCUDA & cuDNN関係を片付けたのでdraft外しました。
あとはこのPRの状態のENGINEがちゃんと動くか確認するという流れになると思います。

qryxip · 2025-04-20T18:23:45Z

tools/licenses/cuda/EULA.txt

何故かわかりませんが100755 (GIT_FILEMODE_BLOB_EXECUTABLE相当)だったので100644にしておきました。

あとcudnn/LICENSEの方ですが、どうやら本来CRLFっぽいですがこのリポジトリではLFになっているっぽいです。多分autocrlfかなと。改行コード以外で差分は出ないっぽいのでこのPRでは見送ろうかなと思っています。

❯ unzip -p cudnn-windows-x86_64-8.9.7.29_cuda12-archive.zip cudnn-windows-x86_64-8.9.7.29_cuda12-archive/LICENSE | file - /dev/stdin: Unicode text, UTF-8 text, with very long lines (1028), with CRLF line terminators

warning: in the working copy of 'tools/licenses/cudnn/LICENSE', CRLF will be replaced by LF the next time Git touches it

755

なるほどです！！　windowsのファイルだったからとかありそう。

あとcudnn/LICENSEの方ですが、どうやら本来CRLFっぽいですがこのリポジトリではLFになっているっぽいです。

これはまあどっちでも良い気がしました！
そもそもこのライセンスの文面を入れる必要はないんですよね、多分･･･。
確か参考にしたソフトウェア（何だったか忘れましたが。。）の中に入ってたから、とりあえず入れておこうと思って入れた記憶があります。
別にこの文面を入れないといけない、という規約にはなってなかった･････はず･･･？

755

あ、念の為の補足ですが、このリポジトリで755になっていたので更新のついでにそのまま644にした次第です。

CRLF

Linux版だと普通にLFのようです。なので_Licenseに対すうるメモをWindows版じゃなくてLinux版のにしておけばおかしくはなくなるはず？

❯ tar xvf ./cudnn-linux-x86_64-8.9.7.29_cuda12-archive.tar.xz cudnn-linux-x86_64-8.9.7.29_cuda12-archive/LICENSE ❯ file ./cudnn-linux-x86_64-8.9.7.29_cuda12-archive/LICENSE ./cudnn-linux-x86_64-8.9.7.29_cuda12-archive/LICENSE: Unicode text, UTF-8 text, with very long lines (1028)

そもそもこのライセンスの文面を入れる必要はないんですよね、多分･･･。

今現時点でここに存在する以上はこのPRでは対応しようかなーと考えています。

license_text不要論ということでissue建てた方がいいですかね？

あ、なるほどです！！
このPRでは含めていただければと思っています･･･！！

issueはもしよかったら立てていただけると助かります！！！！！！感謝･･･！！！

Hiroshiba · 2025-04-20T18:38:06Z

とりあえず後回しにしていたCUDA & cuDNN関係を片付けたのでdraft外しました。
あとはこのPRの状態のENGINEがちゃんと動くか確認するという流れになると思います。

ありがとうございます！！！！！！！

方針3つあるんですけど、どうしましょうか。

1つ目が @qryxip さんのところでビルドしていただく感じです。
普通にworkflow_dispatchになってるんで、どこでもビルドできるはずではあります。
どこかorg前提になってるところはなきにしもあらずかも･･･。

2つ目が一旦VOICEVOX側でproject-core-0.16みたいなのを作って、そちらにマージしてからビルドする流れです。
みんな試せるっちゃ試せるけどひと手間かかるので一長一短。

3つ目がえいやでmainブランチにマージする流れです。
できればこれは念のために避けたいかもです。
しばらくリリースの予定はありませんが、念のために1段階挟みたいかも。

まあでもVOICEVOX ENGINE側で課題を握れた方がいいので、2番目が一番まるそうな気がしてきました！
とりあえずレビューしてみます！！

qryxip · 2025-04-20T18:41:54Z

1つ目が @qryxip さんのところでビルドしていただく感じです。

今開始してみました。
https://github.com/qryxip/voicevox_engine/actions/runs/14562288855

前は駄目だったのですが、$GITHUB_TOKENの権限がread onlyのままだったようで書き込み権限を与えたので大丈夫なはず。

Refs: VOICEVOX#1659 (comment)

qryxip · 2025-04-25T17:58:21Z

d7ffcf4 (#1587)
#1659 の調査結果から、とりあえずWindowsをwindows-2022にしました。
test-engine-packageまで無事に通るようになっています。
https://github.com/qryxip/voicevox_engine/actions/runs/14669803025

qryxip · 2025-04-26T04:36:28Z

とりあえず

方針3つあるんですけど、どうしましょうか。

1つ目が @qryxip さんのところでビルドしていただく感じです。

に話を戻すと、私のリポジトリで999.999.202504260207をビルドしてみました。次の5つを確認できれば、ビルドがちゃんとできているということになると思います。

[追記] 999.999.202504281454をビルドしました。

x86_64 Windows DirectML
x86_64 Windows NVIDIA GPU
x86_64 Linux NVIDIA GPU
Dockerfile (TARGETPLATFORM=linux/amd64, USE_GPU=false)
Dockerfile (TARGETPLATFORM=linux/amd64, USE_GPU=true)
Dockerfile (TARGETPLATFORM=linux/arm64/v8, USE_GPU=false)

.github/workflows/build-engine-package.yml

Suggested-by: sabonerune <[email protected]> Refs: VOICEVOX#1659 (comment)

qryxip · 2025-04-29T15:51:34Z

#1587 (comment)
チェックボックスを更新しました。WindowsのCUDA版だけちょっと私以外の人が試していただけないかなと思っております。

Dockerについては一つやらかしがあったみたいで、 VOICEVOX/voicevox_core#954 もあるから/opt/voicevox_core/も/opt/voicevox_core/libにしないといけなかった…

RuntimeError: コアが見つかりません

[追記] ubuntu:20.04にしてるのも駄目っぽい。

RuntimeError: コアの読み込みに失敗しました：/lib/x86_64-linux-gnu/libstdc++.so.6: version `GLIBCXX_3.4.29' not found (required by /opt/voicevox_core/lib/libvoicevox_core.so)

qryxip · 2025-04-30T10:38:22Z

66a906e (#1587): Dockerfileを完成させる。手元での動作を確認。

qryxip · 2025-04-30T13:45:37Z

.github/workflows/build-engine-container.yml

-            base_runtime_image: mirror.gcr.io/nvidia/cuda:11.8.0-cudnn8-runtime-ubuntu22.04
+            base_runtime_image: mirror.gcr.io/nvidia/cuda:12.1.0-cudnn8-runtime-ubuntu22.04


なんかこれは駄目っぽくて動かない！
(OrtCUDAProviderOptionsV2までは通るけど、OrtSessionを開始するときにコケているらしいです)

CORE Python APIを動かしてみてエラー内容を覗いたらこんなのが出てきました。version is insufficientかぁ…。
(我々のORT/VVORTはCUDA 12.4とcuDNN 8でビルドしている)

Exception: Failed to create ONNX Runtime session: /home/runner/work/onnxruntime-builder/onnxruntime-builder/onnxruntime/core/providers/cuda/cuda_call.cc:121 std::conditional_t<THRW, void, onnxruntime::common::Status> onnxruntime::CudaCall(ERRTYPE, const char*, const char*, ERRTYPE, const char*, const char*, int) [with ERRTYPE = cudaError; bool THRW = true; std::conditional_t<THRW, void, onnxruntime::common::Status> = void] /home/runner/work/onnxruntime-builder/onnxruntime-builder/onnxruntime/core/providers/cuda/cuda_call.cc:114 std::conditional_t<THRW, void, onnxruntime::common::Status> onnxruntime::CudaCall(ERRTYPE, const char*, const char*, ERRTYPE, const char*, const char*, int) [with ERRTYPE = cudaError; bool THRW = true; std::conditional_t<THRW, void, onnxruntime::common::Status> = void] CUDA failure 35: CUDA driver version is insufficient for CUDA runtime version ; GPU=0 ; hostname=e1354849c946 ; file=/home/runner/work/onnxruntime-builder/onnxruntime-builder/onnxruntime/core/providers/cuda/cuda_execution_provider.cc ; line=245 ; expr=cudaSetDevice(info_.device_id);

整理すると

我々の(VOICEVOX) ONNX Runtimeはv1.17であり、CUDA 11 & cuDNN 8、もしくはCUDA 12 & cuDNN 8での利用でなければならない。

我々の(VOICEVOX) ONNX Runtimeは現在CUDA 12.4 & cuDNN 8でビルドしている

nvidia/cudaに12.4.0-cudnn8-runtime-ubuntu22.04みたいなのがあればよいが、無い。12.1.0-cudnn8-runtime-ubuntu22.04ならある。

という感じであり、CUDA 12.4でビルドした(VOICEVOX) ONNX RuntimeをCUDA 12.1のランタイムで動かそうとして失敗している、というのが現状かと思います。

このうち2.だけは手軽にどうにかできる範囲ではありそう。nvidia/cudaのイメージを使うのをやめて自前でダウンロードというのもありかも。

うおお。。。cudnn9が入っている気がしますが、↓で動いたりしないですかね。。。
nvidia/cuda:12.4.1-cudnn-runtime-ubuntu22.04

ちょっとこれは今後のためにもVOICEVOX ENGINEのdocker環境を別で用意するのではなく、ビルドしたパッケージ版エンジンをdocker内に突っ込む形にするのが良い気がしました。
ちょっと時間かかりそうですが一旦issue側にコメントしてみます。

あるいはリビルトですかね。。。。
そうなるとadditional libraryの方もリビルドする必要がある･･･？
まあまあいろんなとこに影響ある気はしそう。影響範囲が見定められないけどできなくはなさそう。

（review comment ではなく質問です🙇）
こちらの問題、この辺 #709 (comment) で挙がっていた懸念点とは関係ありそうでしょうか？
CUDA 上げると過去の core が動かなくなったりする...?

@tarepan
一言で言うと、たぶんそうな気がします！！！！！！！

まず、ただCUDAのバージョンをあげるだけであれば問題なさそうな気がします！
当時の僕の↓のコメントがそのまま使えそう。

なので一番最新のコアに合わせる形でonnxruntimeを用意し、それに合うCUDAとかを用意すれば良い･･･？

~~でもCUDAとは別の話で過去のcoreが動かなくなる気がすることに気づきました。~~
追記：CUDAバージョン変更と↓の名称変更の合わせ技で、過去のCUDA版コアが動かなくなることに気づきました！！

VOICEVOXコア0.16はonnxruntime.dllではなくvoicevox_onnxruntime.dllを参照します。
voicevox_onnxruntime.dllはVOICEOVX専用にビルドしたonnxruntimeです。一応過去のコアも動くはずではありますが、過去のコアはvoicevox_onnxruntime.dllではなくonnxruntime.dllを参照します。

つまりコア0.16には最新版CUDAが使えるvoicevox_onnxruntime.dllがあるけど、過去のコアはこのdllを見ないので結果的に動かないはず。。。。。。

手はいくつか考えられそうですが、ちょっとややこしくなるのでissueに転載の方に議論の場を移せればと思います！！

ここの問題ですが、 #1669 をやってて気付いたのですが私が手元でdocker runする際に--gpusを忘れてたっぽい。もしかしてcuda:12.1.0-cudnn8-runtime-ubuntu22.04でも大丈夫なのかも…？

まあ #1669 は既にやる方向にはなってるので、そちらを進めたいと思います。

なるほど、あり得そう！！！

直感だとgpusつけようがつけまいがversionが合わないエラーにはならない気もする…？
もしかしたらコンテナ内ではなくホスト側のcudaが見えてエラーがなくなった…みたいな可能性もあり得なくはないかも………？

まあどちらにせよdockerコンテナの方針を変えるのが目処立ってるのでそちらがより良さそう感！

qryxip · 2025-04-30T13:47:52Z

4bb6636 (#1587): build-engine-containerを更新。glibcの関係上Ubuntu 20.04で動かすのは厳しくなったので切り捨て。
(glibcだけ新しいのを持って来ればなんとかなりそうではありますが)

build!: コアを0.16にする

47eae73

nanae772 mentioned this pull request Apr 5, 2025

refactor: 不要になったincludeのonnxruntime_versionを削除 #1588

Merged

qryxip mentioned this pull request Apr 5, 2025

コアを0.16にする #1571

Open

6 tasks

qryxip added 2 commits April 5, 2025 22:25

Merge branch 'master' into pr/build-use-core-0-16

ce6b802

USE_GPUの概念を更新

98c2818

qryxip commented Apr 17, 2025

View reviewed changes

qryxip commented Apr 18, 2025

View reviewed changes

.github/workflows/build-engine-package.yml Show resolved Hide resolved

qryxip mentioned this pull request Apr 19, 2025

[調査] 0.2.0は動作するのか？ VOICEVOX/voicevox_additional_libraries#5

Open

6 tasks

qryxip added 2 commits April 21, 2025 02:29

VVMのFIXMEの文面を変える

cbc883c

Refs: VOICEVOX#1587 (comment)

CUDA EULA & cuDNN license

eb39add

qryxip marked this pull request as ready for review April 20, 2025 18:08

qryxip requested a review from a team as a code owner April 20, 2025 18:08

qryxip requested review from Hiroshiba and removed request for a team April 20, 2025 18:08

Merge branch 'master' into pr/build-use-core-0-16

d69cda0

qryxip commented Apr 20, 2025

View reviewed changes

qryxip mentioned this pull request Apr 24, 2025

refactor: コアの読み込みをバージョン別に整理 #1645

Merged

Merge branch 'master' into pr/build-use-core-0-16

385bce4

qryxip mentioned this pull request Apr 25, 2025

GHAでビルドしたWindows版エンジンがonnxruntime-builder製ORTを読み込めない #1659

Open

3 tasks

とりあえずwindows-2022に

d7ffcf4

Refs: VOICEVOX#1659 (comment)

FIXMEの文面修正

8b2a1dd

Hiroshiba reviewed Apr 26, 2025

View reviewed changes

.github/workflows/build-engine-package.yml Show resolved Hide resolved

ビルドはwindows-2022で、テストはwindows-2019で

f13d1f9

Suggested-by: sabonerune <[email protected]> Refs: VOICEVOX#1659 (comment)

ビルドをwindows-2022で行っている理由を書く

e8f1109

qryxip added 2 commits April 30, 2025 01:29

コメントを追加

f0c33ed

Dockerfileを完成

66a906e

qryxip added 3 commits April 30, 2025 22:31

build-engine-containerを更新

4bb6636

"NOTE: you must agree to the ToU"を削除

71ecf15

Merge branch 'master' into pr/build-use-core-0-16

81c5552

qryxip commented Apr 30, 2025

View reviewed changes

qryxip requested a review from Hiroshiba April 30, 2025 13:47

This was referenced Apr 30, 2025

docker版/Dockerfileの扱いを考える #482

Open

パッケージ用にビルドしたものをdockerコンテナ内で動かすビルドフローにしたい #1668

Open

This was referenced May 1, 2025

feat!: SemVerのbuild metadataとしてコミット日付とハッシュを入れる VOICEVOX/onnxruntime-builder#86

Open

よりよいリリース名の形式とバージョニングを考える VOICEVOX/onnxruntime-builder#87

Open

Merge branch 'master' into pr/build-use-core-0-16

fdfb8ac

qryxip mentioned this pull request May 10, 2025

synthesisで処理が終わった後にメモリを開放する #1506

Open

3 tasks

Provide feedback

Saved searches

Use saved searches to filter your results more quickly

build!: コアを0.16にする #1587

build!: コアを0.16にする #1587

qryxip commented Apr 5, 2025 •

edited

Loading

qryxip Apr 17, 2025 •

edited

Loading

qryxip Apr 20, 2025

Hiroshiba Apr 20, 2025 •

edited

Loading

qryxip Apr 17, 2025

qryxip Apr 30, 2025

qryxip Apr 17, 2025

qryxip commented Apr 20, 2025

qryxip Apr 20, 2025

Hiroshiba Apr 20, 2025

qryxip Apr 20, 2025

Hiroshiba Apr 20, 2025

Hiroshiba commented Apr 20, 2025

qryxip commented Apr 20, 2025

qryxip commented Apr 25, 2025

qryxip commented Apr 26, 2025 •

edited

Loading

qryxip commented Apr 29, 2025 •

edited

Loading

qryxip commented Apr 30, 2025

qryxip Apr 30, 2025 •

edited

Loading

qryxip Apr 30, 2025

qryxip Apr 30, 2025

Hiroshiba Apr 30, 2025

tarepan Apr 30, 2025

Hiroshiba Apr 30, 2025 •

edited

Loading

qryxip May 2, 2025

Hiroshiba May 3, 2025 •

edited

Loading

qryxip commented Apr 30, 2025

		base_runtime_image: mirror.gcr.io/nvidia/cuda:11.8.0-cudnn8-runtime-ubuntu22.04
		base_runtime_image: mirror.gcr.io/nvidia/cuda:12.1.0-cudnn8-runtime-ubuntu22.04

build!: コアを0.16にする #1587

Are you sure you want to change the base?

build!: コアを0.16にする #1587

Conversation

qryxip commented Apr 5, 2025 • edited Loading

内容

関連 Issue

スクリーンショット・動画など

その他

qryxip Apr 17, 2025 • edited Loading

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Hiroshiba Apr 20, 2025 • edited Loading

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

qryxip commented Apr 20, 2025

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Hiroshiba commented Apr 20, 2025

qryxip commented Apr 20, 2025

qryxip commented Apr 25, 2025

qryxip commented Apr 26, 2025 • edited Loading

qryxip commented Apr 29, 2025 • edited Loading

qryxip commented Apr 30, 2025

qryxip Apr 30, 2025 • edited Loading

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Hiroshiba Apr 30, 2025 • edited Loading

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Hiroshiba May 3, 2025 • edited Loading

Choose a reason for hiding this comment

qryxip commented Apr 30, 2025

qryxip commented Apr 5, 2025 •

edited

Loading

qryxip Apr 17, 2025 •

edited

Loading

Hiroshiba Apr 20, 2025 •

edited

Loading

qryxip commented Apr 26, 2025 •

edited

Loading

qryxip commented Apr 29, 2025 •

edited

Loading

qryxip Apr 30, 2025 •

edited

Loading

Hiroshiba Apr 30, 2025 •

edited

Loading

Hiroshiba May 3, 2025 •

edited

Loading