[本地部署]: ollama serve +川虎部署失败

[taozhiyuai]

是否已存在现有反馈与解答？

• 我确认没有已有issue或discussion，且已阅读常见问题。

是否是一个代理配置相关的疑问？

• 我确认这不是一个代理配置相关的疑问。

错误描述

不能推理

复现操作

1. 模型是qwen:14b-chat-v1.5-fp16
2. 运行ollama serve

3.川虎配置文件设置了
"openai_api_key": "ollama",
"extra_models": ["qwen:14b-chat-v1.5-fp16"],
"openai_api_base": "http://localhost:11434/v1",

错误日志

No response

运行环境

- OS: macOS
- Browser: safari
- Gradio version: 
- Python version:

补充说明

No response

[taozhiyuai]

模型列表点击我添加的qwen:14b-chat-v1.5-fp16, 也不能选择

[Keldos-Li]

"openai_api_key"设置为openai，api base设置为你的本地api地址，模型选择时选择gpt系列的模型，不要添加新的模型

[taozhiyuai]

"openai_api_key"设置为openai，api base设置为你的本地api地址，模型选择时选择gpt系列的模型，不要添加新的模型

lm studio像你说的操作可以.换成ollama server 就出现如图错误

[taozhiyuai]

附上我的json
config.json

"openai_api_key": "ollama",
"default_model": "GPT3.5 Turbo", // 默认模型
"openai_api_base": "http://localhost:11434/v1",

下面的注释掉了
// "available_models": ["GPT3.5 Turbo", "GPT4 Turbo", "GPT4 Vision"], // 可用的模型列表，将覆盖默认的可用模型列表
// "extra_models": ["模型名称3", "模型名称4", ...], // 额外的模型，将添加到可用的模型列表之后

[taozhiyuai]

"openai_api_key"设置为openai，api base设置为你的本地api地址，模型选择时选择gpt系列的模型，不要添加新的模型

试了很多次,总是如图错误.请问怎么办.

[GaiZhenbiao]

ollama 应该在模型选单选 ollama

[taozhiyuai]

ollama 应该在模型选单选 ollama

不太明白什么意思,应该如何操作?麻烦介绍清楚点.谢谢. @GaiZhenbiao

我刚才 又确认了一下.在LM STUDIO开API SERVER, 可以改API和BASE, 不管MODEL可以推理. 但是用OLLAMA后, 相同的修改配置方法, 却不可以推理.

[taozhiyuai]

"default_model": "ollama", // 默认模型

结果是这样的 @GaiZhenbiao