build!: DockerではPyinstallerビルドのエンジンを用いる #1669

qryxip · 2025-05-02T04:55:10Z

内容

スクリーンショット・動画など

その他

qryxip

f777833 (#1669): download-engine-envを仕上げました。

Dockerfile

qryxip · 2025-05-02T15:11:54Z

Dockerfile

+ARG VOICEVOX_ENGINE_VERSION=latest
+ARG USE_GPU=false
+
+RUN --mount=type=secret,id=gh-token,env=GH_TOKEN <<EOF


📝 シェルスクリプトの書き方については、

インデントは4

（実質的に）定数となる変数は大文字

というところだけ合わせておく。

qryxip · 2025-05-02T15:49:27Z

8ae5a76 (#1669): docker run -p 127.0.0.1:50021:50021までできるようにしました。

Hiroshiba

まだ完成じゃないかもですが気になるポイントをコメントしてみました！
かなり良い感じな気がしました！！！

判断メモ：
Github Runner側でパッケージをダウンロードして、dockerfileには COPY するだけという手もありそう。
でも今までは結構dockerfileの中でダウンロードしたりしていたので、そっちに合わせる手もありそう。
どちらが良いか今のところわからないので、個人的には一旦どっちでも良さそう！！

Dockerfile

Hiroshiba · 2025-05-02T16:23:00Z

現状draftですが、もしよかったら @aoirint さんからも気になる点があったらコメントいただけると･･･！！ 🙏
（「こういう設計の方がいいんじゃないか」みたいなのって人それぞれで、いろんな人の視点を入れた方が良いものが出来上がる）

qryxip · 2025-05-03T03:25:05Z

fd5ad27 (#1669): Docker内のTARGETPLATFORMはどうやらlinux/arm64/v8ではなくlinux/arm64になるっぽいので訂正。
74196e1 (#1669): GHA側をやりました。

これにより、

Ubuntu 20.04を爆破する (Dockerのベースイメージにubuntu:20.04が使われている箇所への対応 #1559)
VOICEVOX_ENGINE_VERSIONとしてlatestを受け入れるのをやめる

のどちらかをやればdraftを外せる状態になると思います。

ちなみにUbuntu 22.04のdocker buildまでなら動くことを確認しました。
https://github.com/qryxip/voicevox_engine/actions/runs/14806840981

Hiroshiba · 2025-05-03T06:17:13Z

@aoirint さんのキャッシュに関してのコメントを見て、20.04を爆破するのも良さそうですが、その場合でもlatestは辞めたほうが良さそうだなと思いました！！
とりあえず20.04をどうするかは置いといて、2のlatestを辞める方向で進めるというのはどうでしょうか？

qryxip · 2025-05-03T10:19:16Z

~~cce8419 (#1669)~~
10a6205 (#1669): latestの対応をやめました。

qryxip

6a042f9 (#1669): README.mdとCONTRIBUTING.mdを更新

CONTRIBUTING.md

Hiroshiba

僕的にはほぼLGTMです！！

@aoirint さん的に想像と違ってるとことかあればぜひコメントいただければという感じです！！
（あと #1662 の兼ね合いとかでもコメントあれば！！）

Hiroshiba · 2025-05-03T11:05:55Z

.github/workflows/build-engine-container.yml

@@ -15,8 +14,6 @@ on:
 env:
  IMAGE_NAME: ${{ vars.DOCKERHUB_USERNAME }}/voicevox_engine
  VOICEVOX_RESOURCE_VERSION: "0.23.0"


（ただのメモコメントです）

あ、VOICEVOX_RESOURCE_VERSIONは本当はなくせそうな気がしますね！！
packageのなかにあるはずなので･･････と思ったら入ってなさそう！！！
じゃあ今の形が良さそう！！

.github/workflows/build-engine-package.yml

Dockerfile

Refs: VOICEVOX#1669 (comment) Co-authored-by: Hiroshiba <[email protected]>

Refs: VOICEVOX#1669 (comment) Suggested-by: Hiroshiba <[email protected]>

qryxip · 2025-05-03T14:49:46Z

6df0fc5 (#1669): build-latest-devがbuild-engien-containerを起動するようになったままだったので、削りました。

.github/workflows/build-latest-dev.yml

README.md

Hiroshiba · 2025-05-06T19:03:01Z

.github/workflows/build-engine-container.yml

-  push:
-    branches:
-      - master


この変更で、latestがpushされなくなることに気づきました！
今までどおりmainブランチのものをlatestにpushするのは、まあ結構な変更をしないといけない気がします。
（例えばこのymlにlatestとしてpushするフラグを作り、mainブランチをビルドする-devreleases時にそのフラグをtrueにする）

さらに調べてると、そもそもdockerのlatestタグは安定版を提供すべきっぽいことに気づきました！！

docker hubへリリースしている latest は、mainブランチの最新ではなく安定版（バージョニングされているもの）の最新版をpushすべきかも #1674

個人的には、言われてみればlatestで開発最新版が降ってくるのは一般的じゃない気がするので一般的なのに合わせたいのと、あとまあビルドは１本化したいのと、このPRで一気に仕様変更でも別に良いかな～～～とおもうので、今のPRの内容に賛成です。

メンションしまくってしまって申し訳ないのですが、こちらも意見とかあれば。。。 🙇 @tarepan @aoirint

latestがpushされなくなる

ことについて気付いたことがあったのでこっちにもぶら下げておきます。
#1669 (comment)

#1674 (comment) にて latest の仕様変更について返信しました。PR の内容に賛成です。

Hiroshiba · 2025-05-06T19:33:55Z

.github/workflows/build-engine-container.yml

+          : # workflow_call/workflow_dispatchでのバージョン名か、latest
+          version_or_latest=${{ inputs.version || 'latest' }}
+
+          case "$version_or_latest" in
+            latest) version=$(gh release view -R "$GITHUB_REPOSITORY" --json tagName -q .tagName) ;;
+            *) version=$version_or_latest
+          esac
+
+          echo "version_or_latest=$version_or_latest" >> "$GITHUB_OUTPUT"
+          echo "version=$version" >> "$GITHUB_OUTPUT"
+        env:
+          GH_TOKEN: ${{ secrets.GITHUB_TOKEN }}


ここ、現状のコードだとversion_or_latestがlatestになることはありえなそうでした！
latestになるのはinputs.versionが空、つまりon: pushのときだけだけど、on: pushが消えてるので。

このコードを残すべきかどうかが難しいんですよね。。。。。。。。
このPR時点ではデッドコードになるけど、latestタグを復活させる場合は有用かもだし。。。。。。

latestを復活させるときに有用かもだから、latestの扱いを考えるissue内に<details>とかでサンプルとしてコードスニペットを置いといて、このPRからは消してしまうとか･････？
ちょっと考えきれてないのですが、一旦コメントまで 🙇

このコード、消した方が良いかもです･･･！

現状使われてないはず（そもそもこの認識があってるのかどうか。。）。

あと、将来的にも使われないかもだと思いました！
version_or_latestではなく、is_latestやis_edgeプラグを用意して、それらのフラグがついてたらlatestやedgeも付けてpushする、という流れにもなりえそうだな～～～と。

こういう箇所 (if:)もYAGNIっちゃう感じでしょうか？最低限TODOコメントくらいは置いておかないと、is_edgeとかを追加するときに忘れそうな気がしています。

run-release-test-workflow: # version が指定されている場合のみ実行する if: needs.config.outputs.version_or_latest != 'latest' needs: [config, build-docker, build-docker-multi-platform]

ちょっとよくわかってないんですけど、例示されているとこのifはYAGNIではなく、現状で必須な気がします！
build-engine.ymlはon: pushがあるので。

あ、私が指したのはbuild-engine-containerにあるrun-release-test-workflowですね。よく考えたらbuild-engine（旧build-engine-package）にも同名のものがあったのを失念していました。

あっほんとだ、失礼しました 🙇

新しいlatestもedgeもビルドしたimageのテストが必要なので、このifは要らない･･･はず･･･？

新しいlatestもedgeもビルドしたimageのテストが必要なので、

今のmasterブランチだとそうなっていない（latestに対してスキップされる）ので、是正するなら今のmasterブランチに向けて別PRということになるかなと。

今のmasterブランチ：latestがビルドされるが、latestに対してのテストはしない
このPRでifをなくしたら：latestがビルドされず、latestに対してのテストはしない

なので、if有無の差分は影響がないのかなと思ってます！

それはさておき、latestのビルドやめるのは破壊的変更だから別PRのが良いのではという感じであれば、賛成です･･･！

このPRでifをなくしたら：latestがビルドされず、

これについては一つ考慮しなくてはならないことがあると思っていて、build-engine-containerのon.workflow_dispatchは消していないので、"latest"もしくは""を入力可能だと思います。もっともbuild-latest-devからbuild-engine-containerを呼ぶ箇所は消滅するので、このon.workflow_dispatchは消してもそんなに問題無いかも？

それはさておき、latestのビルドやめるのは破壊的変更だから別PRのが良いのではという感じであれば、賛成です･･･！

是正というのは「新しいlatestもedgeもビルドしたimageのテストが必要なので、」に対して、今はlatestに対してビルドを回していないので回すとしたら、という意図でした。

ちょっとこの話はややこしくなりすぎた感じがします。提案なのですが#1669 (comment)のsuggestionを実行し、「とりあえず今はlatestとはmasterブランチの最新版を指す」ということにしませんか…？ #1674 のことはこのPRをマージした後で考える感じで。

.github/workflows/build-engine.yml

Refs: VOICEVOX#1669 (comment) Suggested-by: Hiroshiba <[email protected]>

.github/workflows/build-engine-container.yml

Refs: VOICEVOX#1669 (comment) Co-authored-by: Hiroshiba <[email protected]>

.github/workflows/build-engine-container.yml

Dockerfile

Refs: VOICEVOX#1669 (comment) Co-authored-by: Hiroshiba <[email protected]>

Refs: VOICEVOX#1669 (comment)

Refs: VOICEVOX#1669 (comment) Co-authored-by: Hiroshiba <[email protected]>

Refs: VOICEVOX#1669 (comment)

Add download-engine-env

1e77b98

qryxip force-pushed the pr/build-use-pyinstaller-package-for-docker branch from 7dfc341 to dac6673 Compare May 2, 2025 10:34

download-engine-envを仕上げる

f777833

qryxip force-pushed the pr/build-use-pyinstaller-package-for-docker branch from dac6673 to f777833 Compare May 2, 2025 15:03

qryxip commented May 2, 2025

View reviewed changes

qryxip added 3 commits May 3, 2025 00:22

$TAG → $tag

e9ec347

$LIST_NAME → $list_name

1e9966c

Dockerfileを完成

8ae5a76

Hiroshiba reviewed May 2, 2025

View reviewed changes

Dockerfile Outdated Show resolved Hide resolved

Dockerfile Outdated Show resolved Hide resolved

Hiroshiba requested a review from aoirint May 2, 2025 16:17

qryxip mentioned this pull request May 2, 2025

build!: コアを0.16にする #1587

Open

qryxip added 2 commits May 3, 2025 12:15

$TARGETPLATFORMはlinux/arm/v8ではなくlinux/arm64

fd5ad27

GHA側を準備する

74196e1

latestの対応をやめる

10a6205

qryxip force-pushed the pr/build-use-pyinstaller-package-for-docker branch from cce8419 to 10a6205 Compare May 3, 2025 10:20

README.mdとCONTRIBUTING.mdを更新

6a042f9

qryxip marked this pull request as ready for review May 3, 2025 10:34

qryxip requested a review from a team as a code owner May 3, 2025 10:34

qryxip requested review from Hiroshiba and removed request for a team May 3, 2025 10:34

qryxip commented May 3, 2025

View reviewed changes

CONTRIBUTING.md Outdated Show resolved Hide resolved

Hiroshiba reviewed May 3, 2025

View reviewed changes

qryxip and others added 3 commits May 3, 2025 23:26

requirements.txtに関する記述を更新

f5f515c

Refs: VOICEVOX#1669 (comment) Co-authored-by: Hiroshiba <[email protected]>

build-engine-package → build-engine

ab58ce1

Refs: VOICEVOX#1669 (comment) Suggested-by: Hiroshiba <[email protected]>

build-latest-devがbuild-engien-containerを起動するのを防ぐ

6df0fc5

"target"は外から注入する

cb51ba0

qryxip requested a review from Hiroshiba May 3, 2025 15:01

curl --retry 3 --retry-delay 5に統一

46c0063

qryxip mentioned this pull request May 3, 2025

refactor(docker): # syntaxのバージョン指定を1にする #1672

Merged

Merge branch 'master' into pr/build-use-pyinstaller-package-for-docker

8e2c764

qryxip commented May 4, 2025

View reviewed changes

.github/workflows/build-latest-dev.yml Outdated Show resolved Hide resolved

README.md Show resolved Hide resolved

qryxip mentioned this pull request May 6, 2025

refactor(ci): github-scriptにセミコロンと末尾カンマを入れる #1673

Merged

Merge branch 'master' into pr/build-use-pyinstaller-package-for-docker

625d22e

qryxip requested review from Hiroshiba and removed request for Hiroshiba May 6, 2025 17:22

Hiroshiba mentioned this pull request May 6, 2025

docker hubへリリースしている latest は、mainブランチの最新ではなく安定版（バージョニングされているもの）の最新版をpushすべきかも #1674

Open

3 tasks

Hiroshiba reviewed May 6, 2025

View reviewed changes

qryxip commented May 7, 2025

View reviewed changes

.github/workflows/build-engine.yml Show resolved Hide resolved

Add a fixme

ad362bc

Refs: VOICEVOX#1669 (comment) Suggested-by: Hiroshiba <[email protected]>

qryxip requested a review from Hiroshiba May 7, 2025 10:38

Hiroshiba reviewed May 8, 2025

View reviewed changes

.github/workflows/build-engine-container.yml Outdated Show resolved Hide resolved

Hiroshiba reviewed May 8, 2025

View reviewed changes

.github/workflows/build-engine-container.yml Outdated Show resolved Hide resolved

Hiroshiba mentioned this pull request May 8, 2025

#1669 の変更提案プルリクエスト qryxip/voicevox_engine#1

Merged

fixmeコメントを変更

077e3ad

Refs: VOICEVOX#1669 (comment) Co-authored-by: Hiroshiba <[email protected]>

Hiroshiba reviewed May 8, 2025

View reviewed changes

.github/workflows/build-engine-container.yml Outdated Show resolved Hide resolved

.github/workflows/build-engine-container.yml Show resolved Hide resolved

.github/workflows/build-engine-container.yml Outdated Show resolved Hide resolved

Dockerfile Outdated Show resolved Hide resolved

qryxip and others added 5 commits May 8, 2025 19:34

Remove gh

52c16c3

Refs: VOICEVOX#1669 (comment) Co-authored-by: Hiroshiba <[email protected]>

カウンタープルリクエスト用の変更 (#1)

31272d2

Refs: VOICEVOX#1669 (comment)

必要だったprepare_pythonを復活

5d3a2ec

Refs: VOICEVOX#1669 (comment)

Rename a step

ee14aa8

Refs: VOICEVOX#1669 (comment) Co-authored-by: Hiroshiba <[email protected]>

BASE_RUNTIME_IMAGEを消す

fee28f8

Refs: VOICEVOX#1669 (comment)

qryxip mentioned this pull request May 10, 2025

synthesisで処理が終わった後にメモリを開放する #1506

Open

3 tasks

Provide feedback

Saved searches

Use saved searches to filter your results more quickly

build!: DockerではPyinstallerビルドのエンジンを用いる #1669

build!: DockerではPyinstallerビルドのエンジンを用いる #1669

qryxip commented May 2, 2025

qryxip left a comment

qryxip May 2, 2025 •

edited

Loading

qryxip commented May 2, 2025

Hiroshiba left a comment •

edited

Loading

Hiroshiba commented May 2, 2025

qryxip commented May 3, 2025 •

edited

Loading

Hiroshiba commented May 3, 2025

qryxip commented May 3, 2025 •

edited

Loading

qryxip left a comment

Hiroshiba left a comment

Hiroshiba May 3, 2025

qryxip commented May 3, 2025

Hiroshiba May 6, 2025

qryxip May 7, 2025

tarepan May 7, 2025

Hiroshiba May 6, 2025

Hiroshiba May 8, 2025

qryxip May 8, 2025

Hiroshiba May 8, 2025

qryxip May 9, 2025

Hiroshiba May 9, 2025 •

edited

Loading

qryxip May 9, 2025 •

edited

Loading

Hiroshiba May 9, 2025 •

edited

Loading

qryxip May 10, 2025

qryxip May 10, 2025 •

edited

Loading

build!: DockerではPyinstallerビルドのエンジンを用いる #1669

Are you sure you want to change the base?

build!: DockerではPyinstallerビルドのエンジンを用いる #1669

Conversation

qryxip commented May 2, 2025

内容

関連 Issue

スクリーンショット・動画など

その他

qryxip left a comment

Choose a reason for hiding this comment

qryxip May 2, 2025 • edited Loading

Choose a reason for hiding this comment

qryxip commented May 2, 2025

Hiroshiba left a comment • edited Loading

Choose a reason for hiding this comment

Hiroshiba commented May 2, 2025

qryxip commented May 3, 2025 • edited Loading

Hiroshiba commented May 3, 2025

qryxip commented May 3, 2025 • edited Loading

qryxip left a comment

Choose a reason for hiding this comment

Hiroshiba left a comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

qryxip commented May 3, 2025

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Hiroshiba May 9, 2025 • edited Loading

Choose a reason for hiding this comment

qryxip May 9, 2025 • edited Loading

Choose a reason for hiding this comment

Hiroshiba May 9, 2025 • edited Loading

Choose a reason for hiding this comment

Choose a reason for hiding this comment

qryxip May 10, 2025 • edited Loading

Choose a reason for hiding this comment

qryxip May 2, 2025 •

edited

Loading

Hiroshiba left a comment •

edited

Loading

qryxip commented May 3, 2025 •

edited

Loading

qryxip commented May 3, 2025 •

edited

Loading

Hiroshiba May 9, 2025 •

edited

Loading

qryxip May 9, 2025 •

edited

Loading

Hiroshiba May 9, 2025 •

edited

Loading

qryxip May 10, 2025 •

edited

Loading