Skip to content

是否有基于Llama-2的增量训练模型? #817

@ymcui

Description

@ymcui

我们已发布基于Llama-2的相关模型,模型大小包括7B和13B,以及长上下文版7B-16K和13B-16K模型。

项目地址:https://github.com/ymcui/Chinese-LLaMA-Alpaca-2

  • 【新】已发布长上下文版模型,支持16K上下文长度,并可通过NTK方法扩展至24K+

  • 目前已发布13B级别的模型,效果优于一代项目(本项目)的Plus/Pro-13B,部分指标超过Plus/Pro-33B,推荐使用相关模型的用户迁移到我们的二代模型上

  • 目前已发布7B级别的模型,效果优于一代项目(本项目)的Plus/Pro-7B和Plus/Pro-13B,推荐使用相关模型的用户迁移到我们的二代模型上

  • 目前暂无33B级别二代模型(meta还没发布),可先使用一代Plus/Pro-33B模型。

Metadata

Metadata

Assignees

No one assigned

    Labels

    No labels
    No labels

    Projects

    No projects

    Milestone

    No milestone

    Relationships

    None yet

    Development

    No branches or pull requests

    Issue actions