Releases: wangzhaode/mnn-llm
Releases · wangzhaode/mnn-llm
llama3-8b-instruct-mnn
Llama-3-8B-Instruct
导出onnx转换得到的int4量化版本mnn模型。
模型列表:
- tokenizer.txt
- embeddings_bf16.bin
- lm.mnn
- block_[0-31].mnn
qwen1.5-7b-chat-mnn
Qwen1_5-7B-Chat
导出onnx转换得到的int4量化版本mnn模型。
模型列表:
- tokenizer.txt
- embeddings_bf16.bin
- lm.mnn
- block_[0-31].mnn
qwen1.5-4b-chat-mnn
Qwen1_5-4B-Chat
导出onnx转换得到的int4量化版本mnn模型。
模型列表:
- tokenizer.txt
- embedding.mnn
- embeddings_bf16.bin
- lm.mnn
- block_[0-39].mnn
qwen1.5-1.8b-chat-mnn
Qwen1_5-1_8B-Chat
导出onnx转换得到的int4量化版本mnn模型。
模型列表:
- tokenizer.txt
- embedding.mnn
- embeddings_bf16.bin
- lm.mnn
- block_[0-23].mnn
qwen1.5-0.5b-chat-mnn
Qwen1_5-0_5B-Chat
导出onnx转换得到的int4量化版本mnn模型。
模型列表:
- tokenizer.txt
- embedding.mnn
- embeddings_bf16.bin
- lm.mnn
- block_[0-23].mnn
yi-6b-chat-mnn
deepseek-7b-chat-mnn
deepseek-llm-7b-chat
导出onnx转换得到的int4
量化版本mnn模型。
模型列表:
- tokenizer.txt
- embedding.mnn
- lm.mnn
- block_[0-29].mnn
tinyllama-1.1b-chat-mnn-int8
TinyLlama-1.1B-Chat
导出onnx转换得到的int8
量化版本mnn模型。
模型列表:
- tokenizer.txt
- embedding.mnn
- lm.mnn
- block_[0-22].mnn
bge-large-zh-mnn
mnn-llm-apk
基于mnn-llm构建的Android apk, apk中不含模型文件。使用方法如下:
- 下载想要测试的模型文件夹,可以参考README中的链接下载, 注意文件夹名称需要包含模型名称;
- 将下载好的文件夹使用adb推动到
/data/local/tmp/mnn-llm
目录下,命令行如下:
adb shell mkdir /data/local/tmp/mnn-llm
adb push ./qwen-1.8b-mnn /data/local/tmp/mnn-llm
- 下载安装
apk
,打开后在下拉列表中选择要测试的模型文件目录,点击加载模型
按钮; - 进入聊天界面,进行聊天测试;