通过持久化 cache.json 优化模型切换的性能

[web3nomad]

webui 加载模型之前会计算一下 hash，这个过程耗时较长，计算好的 hash 会存在 webui 根目录的 cache.json 里面，可以通过持久化 cache.json 来避免重启 webui 实例以后重新计算 hash。

但是 cache.json 不能被多个 webui 实例共用，因为 cache.json 会在 webui 启动的时候就读取，之后只会更新 cache.json 文件，所以一个 webui 实例无法在运行时读取其他 webui 实例写入的缓存。

这种方案是每个 webui 实例单独维护一个 cache.json。

        command:
        - /bin/bash
        args:
        - -c
        - |
          tee cacheinit.sh <<EOF
          mkdir -p /data/webui-cache-files
          if [ ! -f "/data/webui-cache-files/webui-{{ $i }}-cache.json" ]; then
            echo "{}" > /data/webui-cache-files/webui-{{ $i }}-cache.json
          fi
          rm -rf cache.json
          ln -s /data/webui-cache-files/webui-{{ $i }}-cache.json cache.json
          EOF
          chmod +x cacheinit.sh
          ./cacheinit.sh
          /docker/entrypoint.sh
          python -u webui.py --listen --port 7860 ${CLI_ARGS}

TODO: 需要一个更好的解决方案，通过改写 webui 的 cache 逻辑来实现