您们会开源DeepSeekMoE 2B模型吗?

[win10ogod]

您们会开源2b参数的moe模型吗?

[win10ogod]

@luofuli @zwd003

[luofuli]

暂无计划开源小尺度的moe模型（2B），但我们会开源更大的145B MoE。
你的使用场景是？for research？还是其他？

[win10ogod]

暂无计划开源小尺度的moe模型（2B），但我们会开源更大的145B MoE。 你的使用场景是？for research？还是其他？

我需要能在安卓手机上快速运行，并且能在rtx3050上快速微调的小型号，用于个人化的助手实验。
期待您们开源的新模型，您们的deepseek-llm-67b-chat，在https://chat.lmsys.org/与gpt4-turbo对比编码能力只差一点，如果数据量更多一些，例如： 3T或4T的代币会更好

[soloice]

暂无计划开源小尺度的moe模型（2B），但我们会开源更大的145B MoE。 你的使用场景是？for research？还是其他？

我需要能在安卓手机上快速运行，并且能在rtx3050上快速微调的小型号，用于个人化的助手实验。 期待您们开源的新模型，您们的deepseek-llm-67b-chat，在https://chat.lmsys.org/与gpt4-turbo对比编码能力只差一点，如果数据量更多一些，例如： 3T或4T的代币会更好

这个场景建议试试 1-2B 的 dense 模型

[nbardy]

I am looking for the 2B model as well.

I need to deploy fast models in production on domain specific tasks and I don't need the reasoning capabilities of larger models.

Right now I am running GPT-2-medium(440M) dense.

Would be great to move to a MoE model that is the same speed, but higher parameter count.

[chenhengzh]

希望开源2B模型。目前社区小规模的MoE模型几乎没有，高校实验室几乎无法做任何关于MoE模型finetune的研究。DeepseekMoE-2B将解决这一需求。