Awesome Pretrained Chinese NLP Models

[论文: A Survey of Large Language Models](https://arxiv.org/pdf/2303.18223.pdf)

在自然语言处理领域中，预训练语言模型（Pretrained Language Models）已成为非常重要的基础技术，本仓库主要收集目前网上公开的一些高质量中文预训练模型、中文多模态模型、中文大语言模型等内容(感谢分享资源的大佬)，并将持续更新......

国内下载HuggingFace仓库模型推荐使用HuggingFace镜像地址:

📑 目录导航

📚 模型分类索引

🤖 大模型系列

🔧 预训练模型系列

📦 资源与工具

📊 大模型评估基准 · 📦 开源模型库平台 · 📚 开源数据集库 · 📝 中文指令数据集 · 🎯 Embedding · 🔗 Other-Awesome

📌 备注说明

ND: Non-Causal Decoder (非因果解码器) | CD: Causal Decoder (因果解码器) | ED: Encoder-Decoder (编码器-解码器)

Base-LLM

大规模基础模型：表格中只罗列出参数量大于7B以上模型。查看完整列表 →

📋 查看全部 40+ 个模型请访问 Base-LLM 完整列表 →

[Back to Top]

Domain-Base-LLM

各个垂直领域开源基础模型。查看完整列表 →

📋 查看全部 13 个模型请访问 Domain-Base-LLM 完整列表 →

[Back to Top]

ChatLLM

具备问答和对话等功能的大型语言模型。查看完整列表 →

📋 查看全部 180+ 个模型请访问 ChatLLM 完整列表 →

Domain-ChatLLM

各个垂直领域开源对话模型。查看完整列表 →

📋 查看全部 60+ 个模型请访问 Domain-ChatLLM 完整列表 →

MultiModal-ChatLLM

收集包含中文的多模态大模型，具备对话等功能。查看完整列表 →

📋 查看全部 90+ 个模型请访问 MultiModal-ChatLLM 完整列表 →

ReasoningLLM

收集推理能力比较突出的中文大模型。查看完整列表 →

📋 查看全部 50+ 个模型请访问 ReasoningLLM 完整列表 →

Embedding

MTEB排行榜: 镜像 查看完整列表 →

📋 查看全部 16 个模型请访问 Embedding 完整列表 →

大模型评估基准

1. C-Eval

C-Eval 是一个全面的中文基础模型评估套件。它包含了13948个多项选择题，涵盖了52个不同的学科和四个难度级别，查看论文了解更多细节。

[官方网站] [Github] [论文]

2. FlagEval

FlagEval是一个面向AI基础模型的评测工具包。我们的目标是探索和集合科学、公正、开放的基础模型评测基准、方法及工具，对多领域（如语言、语音、视觉及多模态）的基础模型进行多维度（如准确性、效率、鲁棒性等）的评测。我们希望通过对基础模型的评测，加深对基础模型的理解，促进相关的技术创新及产业应用。

[官方网站] [Github]

3. SuperCLUElyb

SuperCLUE琅琊榜，这是一个中文通用大模型对战评价基准，它以众包的方式提供匿名、随机的对战。在本文中，我们发布了初步的结果和基于Elo评级系统的排行榜，Elo评级是国际象棋和其他竞技游戏中广泛使用的评级系统。我们邀请整个社区加入这项工作，贡献新的模型，并通过提问和投票选出你最喜欢的答案来评估它们。

[官方网站] [Github]

4. XiezhiBenchmark

该基准包括来自13个不同学科的516个学科的220,000个多项选择题，以及15,000个来自单一学科和多个学科的问题。我们对47个最新的大型语言模型在Xiezhi上进行了评估，结果表明在科学、工程、农学、医学和艺术等领域，大型语言模型的表现超过了人类的平均水平，但在经济学、法学、教育学、文学、历史和管理学等领域，人类的表现仍然远远超过了大型语言模型。

[官方网站] [Github] [论文]

5. Open LLM Leaderboard

由HuggingFace组织的一个LLM评测榜单，目前已评估了较多主流的开源LLM模型，以英文为主。主要目标是跟踪、排名和评估最新的大语言模型和聊天机器人，让所有人方便的观察到开源社区的进展和评估这些模型。这个排行榜有一个关键优势，社区中的任何成员都可以提交模型，并在 Hugging Face 的 GPU 集群上自动评估。

[官方网站]

6. 中文大模型安全评测平台

大模型安全测评依托于一套系统的安全评测框架，涵盖了仇恨言论、偏见歧视言论、犯罪违法、隐私、伦理道德等八大类别，包括细粒度划分的40余个二级安全类别。

[官方网站] [Github] [论文]

7. OpenCompass大语言模型评测

OpenCompass 是一款开源、高效、全面的评测大模型体系及开放平台。我们提供完整开源可复现的评测框架，支持大语言模型、多模态模型各类模型的一站式评测。利用分布式技术，即使面对千亿参数模型也能在数小时内完成评测。基于多个不同维度的高认可度数据集开放多样化的评测方式，包括零样本评测、小样本评测和思维链评测，全方位量化模型各个维度能力。

[官方网站] [Github]

开源模型库平台

1. 🤗HuggingFace: The AI community building the future.

• 模型下载地址:

1. ModelScope: ModelScope平台是以模型为中心的模型开源社区

• 模型下载地址:

1. flagopen: flagopen飞智大模型技术开源体系

• 模型下载地址:

1. 始智AI: 中国AI开源创新社区

• 模型下载地址:

开源数据集库

1. huggfaceing数据集仓库:

• 包含了自然语言处理、计算机视觉、语音、多模态等数据集，内置100多个多语言公共数据集下载

1. ModelScope数据集仓库:

• 提供了覆盖自然语言处理、计算机视觉、语音、多模态等数据集，更有阿里巴巴集团贡献的专业领域数据集，

1. flagopen数据集仓库:

• 内置公共数据集下载，可下200G大规模预训练语料WuDaoCorpora

1. cluebenchmarks数据集仓库：

• 多个中英文NLP数据集，并可申请下载100GB的高质量中文预训练语料CLUECorpus2020

1. MNBVC: Massive Never-ending BT Vast Chinese corpus

• 超大规模中文语料集

1. OpenDataLab数据集仓库:

• OpenDataLab 是有影响力的数据开源开放平台，公开数据集触手可及。

1. OSCAR: Open Super-large Crawled Aggregated coRpus, 多语言数据集

• 最新版本包含1.4T的中文语言数据集

🔧 预训练模型系列

中文预训练语言模型系列，涵盖 NLU、NLG、NLU-NLG 和多模态四大类。

Other-Awesome

其他优质 Awesome 资源列表

查看完整列表（共 52 个）→

更新

• 2026.08.30 增加Hy4-preview, GLM-5.3, GLM-5.3-Flash, Qwen3.8-Flash-Next, Qwen3.8-27B, Ornith-1.5-35B-A3B, Kimi-K3，Hy4-preview 是腾讯混元 770B/A49B MoE 旗舰，Gated DSA 稀疏注意力+IndexCache，1M 上下文，Apache-2.0 开源；GLM-5.3 与 GLM-5.2 同底座，开放权重编码 SOTA；GLM-5.3-Flash 是 GLM-5 首个原生多模态模型（320B/A18B），稀疏+线性注意力混合，MIT 开源；Qwen3.8-Flash-Next 是 Qwen4 架构预览（125B/A6B+51B N-gram Embedding），QSA 稀疏注意力；Qwen3.8-27B 是 27B 稠密原生视觉语言模型；Ornith-1.5-35B-A3B 是端到端自改进 agentic 模型（A3/35B）；Kimi-K3 是全球首个开放 3T 级模型（2.8T/A104B），KDA+AttnRes 架构，1M 上下文
• 2026.08.30 增加MiniMax-Music3, MiniMax-H3，MiniMax-Music3 是音乐生成模型，支持歌词+描述细粒度控制与最长 5 分钟完整歌曲生成，32kHz 立体声；MiniMax-H3 是通用全模态生成系统，统一理解文本/图像/视频/音频，生成最高 2K、15 秒视频并输出原生立体声
• 2026.08.30 增加WeMM-Embedding-2B，腾讯开源的通用多模态 Embedding 模型，基于 Qwen3.5-2B，支持文本/图像/视频/视觉文档与交错多模态输入，输出 2048 维向量并支持 MRL
• 2026.06.19 增加GLM-5.2，zai-org 最新旗舰推理模型，专为长程任务设计，支持稳定 1M Token 上下文，采用 IndexShare 稀疏注意力架构与 MTP 推测解码，MIT 开源许可证
• 2026.06.16 增加Kimi-K2.7-Code、MiniMax-M3，Kimi-K2.7-Code 是基于 Kimi K2.6 构建的代码领域 agentic 模型，MoE 架构（1T / 32B），上下文 256K，thinking-token 较 K2.6 降低约 30%；MiniMax-M3 是原生多模态模型，A23/428B，支持 1M 上下文，采用 MiniMax Sparse Attention (MSA) 实现 9× prefill / 15× decode 加速，在编码与长程 agentic 协作任务上达前沿水平

📋 查看完整更新日志请访问 更新日志 →

Contributors

Misc

↳ Stargazers

↳ Forkers

↳ Star History