llm-resource（LLM 百宝箱）

LLM全栈优质资源汇总

非常欢迎大家也参与进来，收集更多优质大模型相关资源。

目录

• 🐼 LLM算法
• 🐘 LLM训练
  • 🐘 LLM微调
  • 🐼 LLM对齐
• 🔥 LLM推理
• :palm_tree: LLM数据工程（Data Engineering）
• 📡 LLM压缩
• 🐰 LLM测评
• 🐘 AI基础知识
• 📡 AI基础设施
  • :palm_tree: AI芯片
  • 🐰 CUDA
• 🐘 AI编译器
• 🐰 AI框架
• 📡 LLM应用开发
• 🐘 LLMOps
• 📡 LLM实践
• 📡微信公众号文章集锦

LLM算法

Transformer

原理：

• Transformer模型详解（图解最完整版
• OpenAI ChatGPT（一）：十分钟读懂 Transformer
• Transformer的结构是什么样的？各个子模块各有什么作用？
• 以Transformer结构为基础的大模型参数量、计算量、中间激活以及KV cache剖析
• Transformer 一起动手编码学原理
• 为什么transformer(Bert)的多头注意力要对每一个head进行降维？
• Decoder-Only Transformers: The Workhorse of Generative LLMs

源码：

• OpenAI ChatGPT（一）：Tensorflow实现Transformer
• OpenAI ChatGPT（一）：十分钟读懂 Transformer
• GPT （一）transformer原理和代码详解
• Transformer源码详解（Pytorch版本）
• 搞懂Transformer结构，看这篇PyTorch实现就够了

GPT1

GPT2

• GPT2 源码：https://github.com/huggingface/transformers/blob/main/src/transformers/models/gpt2/modeling_gpt2.py

• GPT2 源码解析：https://zhuanlan.zhihu.com/p/630970209

• nanoGPT：https://github.com/karpathy/nanoGPT/blob/master/model.py

• 7.3 GPT2模型深度解析：http://121.199.45.168:13013/7_3.html

• GPT（三）GPT2原理和代码详解: https://zhuanlan.zhihu.com/p/637782385

• GPT2参数量剖析: https://zhuanlan.zhihu.com/p/640501114

ChatGPT

• State of GPT：大神Andrej揭秘OpenAI大模型原理和训练过程
• OpenAI联合创始人亲自上场科普GPT，让技术小白也能理解最强AI

GLM

• 预训练语言模型：GLM

LLaMA

MOE 大模型

• Mixtral-8x7B MoE大模型微调实践，超越Llama2-65B
• 大模型分布式训练并行技术（八）-MOE并行
• MoE架构模型爆发或将带飞国产AI芯片
• 大模型的模型融合方法概述
• 混合专家模型 (MoE) 详解
• 群魔乱舞：MoE大模型详解
• 大模型LLM之混合专家模型MoE（上-基础篇）
• 大模型LLM之混合专家模型MoE（下-实现篇）

下一代大模型

• https://github.com/NExT-GPT/NExT-GPT
• https://next-gpt.github.io/
• Introduction to NExT-GPT: Any-to-Any Multimodal Large Language Model

多模态大模型

A Survey on Multimodal Large Language Models：https://arxiv.org/pdf/2306.13549 Efficient-Multimodal-LLMs-Survey：https://github.com/lijiannuist/Efficient-Multimodal-LLMs-Survey

其他

• 大模型时代的归一化技术：解密Transformer架构中Pre-Norm与RMSNorm的黄金组合

LLM训练

• 分布式训练 Playbook

• OPT-175B是如何炼成的

• 全网最全-混合精度训练原理

• 飞桨分布式训练4D混合并行可训千亿级AI模型

• Transformer Math 101 - 如何计算显存消耗?

• Megatron-LM 第三篇Paper总结——Sequence Parallelism & Selective Checkpointing

• 大模型训练踩坑

• 学习率(warmup, decay)：

  • 模型调优，学习率设置（Warm Up、loss自适应衰减等），batch size调优技巧，基于方差放缩初始化方法
  • 深度学习模型训练小技巧

LLM微调

• Adapting P-Tuning to Solve Non-English Downstream Tasks

LLM对齐

• MOSS-RLHF
• 模型调优（RLHF/DPO/ORPO）- 终极指南
• DPO: Direct Preference Optimization 论文解读及代码实践
• 强化学习入门：基本思想和经典算法
• 人人都能看懂的PPO原理与源码解读
• 关于Instruct GPT复现的一些细节与想法
• 【RLHF】RL 究竟是如何与 LLM 做结合的？
• 【RLHF】想训练ChatGPT？得先弄明白Reward Model怎么训（附源码）
• Reinforcement Learning from Human Feedback 全家桶（RL 侧）

paper:

• LLM对齐综述
• RLHF-PPO
• DPO
• ORPO

LLM推理

• 使用HuggingFace的Accelerate库加载和运行超大模型 : device_map、no_split_module_classes、 offload_folder、 offload_state_dict
• 借助 PyTorch，Accelerate 如何运行超大模型
• 使用 DeepSpeed 和 Accelerate 进行超快 BLOOM 模型推理
• LLM七种推理服务框架总结
• LLM投机采样（Speculative Sampling）为何能加速模型推理
• 大模型推理妙招—投机采样（Speculative Decoding）
• https://github.com/flexflow/FlexFlow/tree/inference
• TensorRT-LLM(3)--架构
• NLP（十八）：LLM 的推理优化技术纵览：https://zhuanlan.zhihu.com/p/642412124
• ​揭秘NVIDIA大模型推理框架：TensorRT-LLM：https://zhuanlan.zhihu.com/p/680808866
• 如何生成文本: 通过 Transformers 用不同的解码方法生成文本 | How to generate text: using different decoding methods for language generation with Transformers
• DeepSeek-V3 / R1 推理系统概览

大模型推理优化技术

KV Cache：

• 图解大模型推理优化：KV Cache
• 大模型推理百倍加速之KV cache篇
• 大模型推理加速：看图学KV Cache
• 大模型推理性能优化之KV Cache解读

解码优化：

• 大模型推理妙招—投机采样（Speculative Decoding）

vLLM

• vLLM（六）源码解读下 @HelloWorld
• 猛猿：图解大模型计算加速系列：vLLM源码解析1，整体架构
• LLM推理2：vLLM源码学习 @ akaihaoshuai
• 大模型推理框架 vLLM 源码解析（一）：框架概览

LLM数据工程

• An Initial Exploration of Theoretical Support for Language Model Data Engineering. Part 1: Pretraining @ 符尧

LLM压缩

• Awesome Model Quantization
• Efficient-LLMs-Survey
• Awesome LLM Compression
• 模型转换、模型压缩、模型加速工具汇总
• AI 框架部署方案之模型转换
• Pytorch 模型转 TensorRT (torch2trt 教程)

LLM测评

• CLiB中文大模型能力评测榜单
• huggingface Open LLM Leaderboard
• HELM：https://github.com/stanford-crfm/helm
• HELM：https://crfm.stanford.edu/helm/latest/
• lm-evaluation-harness：https://github.com/EleutherAI/lm-evaluation-harness/
• CLEVA：http://www.lavicleva.com/#/homepage/overview
• CLEVA：https://github.com/LaVi-Lab/CLEVA/blob/main/README_zh-CN.md

提示工程

• 做数据关键步骤：怎么写好prompt？
• 从1000+模板中总结出的10大提示工程方法助你成为提示词大师！
• 一文搞懂提示工程的原理及前世今生
• Effective Prompt: 编写高质量Prompt的14个有效方法
• 提示工程和提示构造技巧
• 一文带你了解提示攻击！

综合

• 通向AGI之路：大型语言模型（LLM）技术精要
• 大语言模型的涌现能力：现象与解释
• NLP（十八）：LLM 的推理优化技术纵览
• 并行计算3：并行计算模型
• 大模型“幻觉”，看这一篇就够了 | 哈工大华为出品
• 深入理解语言模型的困惑度(perplexity)

safetensors：

• bin和safetensors区别是什么？
• Safetensors：保存模型权重的新格式
• github: safetensors
• huggingface: safetensors
• Safetensors: a simple, safe and faster way to store and distribute tensors.
• https://huggingface.co/docs/safetensors/index
• https://github.com/huggingface/safetensors/tree/v0.3.3
• 手把手教你：LLama2原始权重转HF模型

AI框架

PyTorch

• PyTorch 源码解读系列 @ OpenMMLab 团队
• [源码解析] PyTorch 分布式 @ 罗西的思考
• PyTorch 分布式(18) --- 使用 RPC 的分布式流水线并行 @ 罗西的思考
• 【Pytorch】model.train() 和 model.eval() 原理与用法

DeepSpeed

• DeepSpeed使用指南(简略版)
• 关于Deepspeed的一些总结与心得

Megatron-LM

• Megatron-LM 近期的改动
• 深入理解 Megatron-LM（1）基础知识 @ 简枫
• 深入理解 Megatron-LM（2）原理介绍
• [源码解析] 模型并行分布式训练Megatron (1) --- 论文 & 基础 @ 罗西的思考
• [源码解析] 模型并行分布式训练Megatron (2) --- 整体架构
• [细读经典]Megatron论文和代码详细分析(1) @迷途小书僮​
• [细读经典]Megatron论文和代码详细分析(2)

Megatron-DeepSpeed

Huggingface Transformers

AI基础知识

AI基础设施

AI芯片

• 业界AI加速芯片浅析（一）百度昆仑芯
• NVIDIA CUDA-X AI：https://www.nvidia.cn/technologies/cuda-x/
• Intel，Nvidia，AMD三大巨头火拼GPU与CPU
• 处理器与AI芯片-Google-TPU：https://zhuanlan.zhihu.com/p/646793355
• 一文看懂国产AI芯片玩家
• 深度 | 国产AI芯片，玩家几何

CUDA

• CUDA编程入门（一）CUDA编程模型
• CUDA编程入门（二）GPU硬件基础
• GPU编程（CUDA）
• CUDA编程入门极简教程

AI编译器

• TVM资料
• AI编译器原理 @ZIMO酱

LLM应用开发

• 动手学大模型应用开发
• langchain java
• 大模型主流应用RAG的介绍——从架构到技术细节
• 基于检索的大语言模型和应用（陈丹琦）
• 大模型bad case修复方案思考
• 《综述：全新大语言模型驱动的Agent》——4.5万字详细解读复旦NLP和米哈游最新Agent Survey

LLMOps

• MLOps Landscape in 2023: Top Tools and Platforms
• What Constitutes A Large Language Model Application? ：LLM Functionality Landscape
• AI System @吃果冻不吐果冻皮

RAG

• https://github.com/hymie122/RAG-Survey

书籍

• 大语言模型原理与工程 @杨青
• 大语言模型从理论到实践 @张奇 ：https://intro-llm.github.io/
• 动手学大模型

LLM实践

• minGPT @karpathy
• llm.c @karpathy: LLM training in simple, raw C/CUDA
• LLM101n
• llama2.c: Inference Llama 2 in one file of pure C
• nanoGPT
• Baby-Llama2-Chinese
• 从0到1构建一个MiniLLM
• gpt-fast 、blog
• CSE 234: Data Systems for Machine Learning
• DSC 291: Machine Learning Systems

大模型汇总资料

• Awesome-Chinese-LLM
• Awesome-LLM-Survey
• Large Language Model Course
• Awesome-Quantization-Papers
• Awesome Model Quantization (GitHub)
• Awesome Transformer Attention (GitHub)
• 语言模型数据选择综述
• Awesome Knowledge Distillation of LLM Papers
• Awasome-Pruning @ghimiredhikura
• Awesome-Pruning @he-y
• awesome-pruning @hrcheng1066
• Awesome-LLM-Inference

微信公众号文章集锦

• 2024年2月大模型文章集锦
• 2024年1月大模型文章集锦
• 2023年12月大模型文章集锦
• 2023年6-11月大模型文章集锦

其他

• Hugging Face 博客