AI Rank
← 开源
Hoper-J

AI-Guide-and-Demos-zh_CN

这是一份入门AI/LLM大模型的逐步指南，包含教程和演示代码，带你从API走进本地大模型部署和微调，代码文件会提供Kaggle或Colab在线版本，即便没有显卡也可以进行学习。项目中还开设了一个小型的代码游乐场🎡，你可以尝试在里面实验一些有意思的AI脚本。同时，包含李宏毅 (HUNG-YI LEE）2024生成式人工智能导论课程的完整中文镜像作业。

TutorialsAIE roadmapGetting startedPython
在 GitHub 打开
增长势头
+724 小时新增 Star+0.1%
4.70k
Star
488
Fork
+49
本周
4
贡献者
创建于 2024-09-10 · 更新于 2026-10-14 · 今日第 1771 名
主要开发者
Hoper-Jguohuan-xieXihWang
README

这是一个中文的 AI/LLM 大模型入门项目

回顾过去的学习历程，吴恩达和李宏毅老师的视频为我的深度学习之路提供了极大的帮助。他们幽默风趣的讲解方式和简单直观的阐述，让枯燥的理论学习变得生动有趣。

然而，在实践的时候，许多学弟学妹们最初会烦恼于怎么去获取国外大模型的 API ，尽管最终都能找到解决方法，但第一次的畏难情绪总是会拖延学习进度，逐渐转变为“看视频就够了”的状态。我时常在评论区看到类似的讨论，于是决定利用闲暇时间帮学子们跨过这道门槛，这也是项目的初衷。

本项目不会提供🪜科学上网的教程，也不会依赖平台自定义的接口，而是使用更兼容的 OpenAI SDK，帮助大家学习更通用的知识。

项目将从简单的 API 调用入手，带你逐步深入大模型的世界。在此过程中，你将掌握 AI 视频摘要、LLM 微调和 AI 图像生成等技能。

强烈建议观看李宏毅老师的课程「生成式人工智能导论」同步学习：课程相关链接快速访问

现在，项目还开设了🎡CodePlayground，你可以按照文档配置好环境，使用一行代码运行脚本，体验 AI 的魅力。

📑论文随笔位于 PaperNotes，将逐步上传大模型相关的基础论文。

🚀 基础镜像已经准备好，如果你还没有配置好属于自己的深度学习环境，不妨尝试一下 Docker。

祝你旅途愉快！

目录

  • Tag 说明:
    • ---: 基础知识，根据需要进行观看，也可以暂时跳过。其中的代码文件结果都会在文章中示出，但仍建议动手运行代码。可能会有显存要求。
    • API: 文章仅使用大模型的 API，不受设备限制，无 GPU 也可运行。
      • Kaggle 目前不允许使用 Gradio，故部分交互文件不提供相关链接（这一类文件可以本地运行）。
    • LLM: 大型语言模型相关的实践，代码文件可能有显存要求。
    • SD: Stable Diffusion，文生图相关的实践，代码文件有显存要求。
  • Online 在线链接说明：
    • 与 Code 内容一致，如果提供了 Kaggle 和 Colab，则三选一运行。
    • 如果仅提供了 Colab，说明不受显卡限制可以本地运行，此时不能科学上网的同学可以下载 File 的代码，学习效果一致。
    • 运行时请不要忘记打开对应在线平台的 GPU。
      • Kaggle：Setting -> Accelerator -> 选择 GPU。
      • Colab：代码执行程序 -> 更改运行时类型 -> 选择 GPU。

✨ New

好久不见，更新一篇 MCP 相关的中间文章，或许会对你有所帮助。

因为还没想好模块标题，所以暂时置顶。

目前项目将在叙述上全面使用 uv 进行环境的配置，这是一次并不“友好”的改动，但考虑到其目前已经被广泛应用，「长痛不如短痛」，索性从本项目开始“折腾”，希望能让你熟悉 uv 的使用。

Colab 链接因为原账户没绑定恢复邮箱，被暂停了外部访问且无法恢复（引以为戒），后续我会抽空迁移至新账户上。

DeepSeek 使用手册

这部分内容将直接由之前的文章（导论部分）重组得来，故存在重复，此模块将暂时专注于 DeepSeek API 的使用，是 OpenAI SDK 相关的通用知识，也可以作为导论 API 部分的拓展。

DeepSeek API【共享】

Guide Tag Describe File Online
DeepSeek API 的获取与对话示例 API 获取 DeepSeek API 的 N 种方法及其单轮对话样例：

【代码文件】

  • 使用 APIConfigManager 进行各平台配置，不再分散逻辑 | Code | Kaggle
    Colab |

导论

Guide Tag Describe File Online
00. 大模型 API 获取步骤 API 带你一步步的获取 API：

[!TIP]

如果你更喜欢拉取仓库到本地进行阅读 .md，那么在出现公式报错的时候，请使用 Ctrl+F 或者 Command+F，搜索\\_并全部替换为\_。

拓展阅读

Guide Describe
a. 使用 HFD 加快 Hugging Face 模型和数据集的下载 如果你觉得模型下载实在是太慢了，可以参考这篇文章进行配置。
遇到代理相关的 443 错误，也可以试着查看这篇文章。
b. 命令行基础指令速查（Linux & Mac适用） 一份命令行的指令速查，基本包含当前仓库的涉及的所有指令，在感到疑惑时去查看它。
c. 一些问题的解决方法 这里会解决一些项目运行过程中可能遇到的问题。

文件夹解释：

快速访问

生成式人工智能导论学习资源

中文镜像版的制作与分享已经获得李宏毅老师的授权，感谢老师对于知识的无私分享！

P.S. 中文镜像将完全实现作业代码的所有功能（本地运行），Kaggle 是国内可直连的在线平台，中文 Colab 和 Kaggle 内容一致，英文 Colab 链接对应于原作业，选择其中一个完成学习即可。

根据实际需求，从下方选择一种方式来准备学习环境，点击 ► 或文字展开。

在线平台学习

如果倾向于使用在线平台学习，或者受到显卡性能的限制，可以选择以下平台：

项目中的代码文件在两个平台是同步的。

本地环境配置

安装基础软件

  • Git：用于克隆代码仓库。
  • Wget 和 Curl：用于下载脚本和文件。
  • pip：用于安装 Python 依赖包。
  • uv：仓库将不再采用 conda 而是全面转为 uv。

安装 Git

  • Linux (Ubuntu)：

    sudo apt-get update
sudo apt-get install git

  • Mac：

    • 先安装 Homebrew：

      /bin/bash -c "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/HEAD/install.sh)"

    然后运行：

    brew install git

  • Windows：

    从 Git for Windows 下载并安装。

安装 Wget 和 Curl

  • Linux (Ubuntu)：

    sudo apt-get update
sudo apt-get install wget curl

  • Mac：

    brew install wget curl

  • Windows：

    从 Wget for Windows 和 Curl 官方网站 下载并安装。

安装 pip

注意：如果已经安装了 Anaconda 或 Miniconda，系统中会包含 pip，无需额外安装。

  • Linux (Ubuntu)：

    sudo apt-get update
sudo apt-get install python3-pip

  • Mac：

    brew install python3

  • Windows：

    1. 下载并安装 Python，确保勾选“Add Python to PATH”选项。

    2. 打开命令提示符，输入：

      python -m ensurepip --upgrade

验证安装

在终端中输入以下命令，如果显示版本信息，则说明安装成功。

pip --version

配置国内镜像源（可选，建议）

pip config set global.index-url https://mirrors.aliyun.com/pypi/simple

安装 uv

  • Linux/Mac：

    curl -LsSf https://astral.sh/uv/install.sh | sh
# 或者 pip install uv

    查看目前的 Shell：

    echo $SHELL

    然后将 uv 加到 PATH 中，根据 echo $SHELL 的输出选择对应的命令执行：

    • sh, bash, zsh：

      source $HOME/.local/bin/env

    • fish

      source $HOME/.local/bin/env.fish

  • Windows：

    powershell -c "irm https://astral.sh/uv/install.ps1 | more"
# 或者 pip install uv

配置国内镜像源（可选，建议）

# 创建配置目录
mkdir -p ~/.config/uv

# 创建配置文件（Linux/Mac），Windows 在 %APPDATA%\uv\uv.toml
cat > ~/.config/uv/uv.toml << EOF
[[index]]
url = "https://mirrors.aliyun.com/pypi/simple/"
default = true
EOF

克隆仓库项目

通过以下命令拉取项目:

git clone https://github.com/Hoper-J/AI-Guide-and-Demos-zh_CN.git
cd AI-Guide-and-Demos-zh_CN

同步项目依赖

uv sync

该命令会自动同步当前项目的主要依赖：

  • torch>=2.6
  • torchvision>=0.19
  • torchaudio>=2.6
  • ...（详见 pyproject.toml）

这样就成功配置好了所有需要的环境，准备开始学习 :) 如果缺少显卡或者系统原因导致无法完全同步，也不用担心，其余依赖在每个文章中会单独列出，可以尝试直接到对应的文章中进行一部分依赖的下载。

激活虚拟环境

如果不激活的话需要使用 uv run + 命令执行，比如：

uv run python script.py
uv run jupyter lab

  • Linux/Mac：

    source .venv/bin/activate

  • Windows：

    .venv\Scripts\activate

使用 Jupyter-Lab

执行下面的命令：

uv run jupyter-lab

image-20240928110805693

[!note]

如果在 AutoDL 租服务器运行的话，建议先注册内核，方便切换版本：

UV_DIR=$(dirname $(which uv)) uv run python -m ipykernel install --user --name=ai --display-name="ai" --env PATH "$UV_DIR:$PATH"

注册后可以在左上角内核->更改内核：

image-20250808005910358

可以通过弹出的链接进行访问，一般位于 8888 端口。对于图形化界面，Windows/Linux 按住 Ctrl，Mac 按住 Command，然后点击链接可以直接跳转。至此，你将获得项目的全貌：

image-20240928115726301

Docker 快速部署

没有安装 Docker 的同学可以阅读文章《使用 Docker 快速配置深度学习环境（Linux）》，建议初学者阅读《Docker 基础命令介绍和常见报错解决》。

镜像介绍

未来将更新为 uv 安装。

所有版本都预装了 sudo、pip、conda、wget、curl 和 vim 等常用工具，且已经配置好 pip 和 conda 的国内镜像源。同时，集成了 zsh 和一些实用的命令行插件（命令自动补全、语法高亮、以及目录跳转工具 z）。此外，已预装 jupyter notebook 和 jupyter lab，设置了其中的默认终端为 zsh，方便进行深度学习开发，并优化了容器内的中文显示，避免出现乱码问题。其中还预配置了 Hugging Face 的国内镜像地址。

版本说明

  • base 版本：占用约 16GB 存储空间，基于 pytorch/pytorch:2.5.1-cuda11.8-cudnn9-devel，默认 python 版本为 3.11.10，可以通过 conda install python==版本号 直接修改版本。
  • dl 版本：占用约 20GB 存储空间，在 base 基础上，额外安装了深度学习框架和常用工具，具体查看安装清单。

安装清单

base

基础环境：

  • python 3.11.10
  • torch 2.5.1 + cuda 11.8 + cudnn 9

Apt 安装：

  • wget、curl：命令行下载工具
  • vim、nano：文本编辑器
  • git：版本控制工具
  • git-lfs：Git LFS（大文件存储）
  • zip、unzip：文件压缩和解压工具
  • htop：系统监控工具
  • tmux、screen：会话管理工具
  • build-essential：编译工具（如 gcc、g++）
  • iputils-ping、iproute2、net-tools：网络工具（提供 ping、ip、ifconfig、netstat 等命令）
  • ssh：远程连接工具
  • rsync：文件同步工具
  • tree：显示文件和目录树
  • lsof：查看当前系统打开的文件
  • aria2：多线程下载工具
  • libssl-dev：OpenSSL 开发库

pip 安装：

  • jupyter notebook、jupyter lab：交互式开发环境
  • virtualenv：Python 虚拟环境管理工具，可以直接用 conda
  • tensorboard：深度学习训练可视化工具
  • ipywidgets：Jupyter 小部件库，用以正确显示进度条

插件：

  • zsh-autosuggestions：命令自动补全
  • zsh-syntax-highlighting：语法高亮
  • z：快速跳转目录

dl

dl（Deep Learning）版本在 base 基础上，额外安装了深度学习可能用到的基础工具和库：

Apt 安装：

  • ffmpeg：音视频处理工具
  • libgl1-mesa-glx：图形库依赖（解决一些深度学习框架图形相关问题）

pip 安装：

  • 数据科学库：
    • numpy、scipy：数值计算和科学计算
    • pandas：数据分析
    • matplotlib、seaborn：数据可视化
    • scikit-learn：机器学习工具
  • 深度学习框架：
    • tensorflow：另一种流行的深度学习框架
    • tf-keras：Keras 接口的 TensorFlow 实现
  • NLP 相关库：
    • transformers、datasets：Hugging Face 提供的 NLP 工具
    • nltk、spacy：自然语言处理工具

如果需要额外的库，可以通过以下命令手动安装：

pip install --timeout 120 <替换成库名>

这里 --timeout 120 设置了 120 秒的超时时间，确保在网络不佳的情况下仍然有足够的时间进行安装。如果不进行设置，在国内的环境下可能会遇到安装包因下载超时而失败的情况。

注意，所有镜像都不会提前拉取仓库。

获取镜像（三选一）

假设你已经安装并配置好了 Docker，那么只需两行命令即可完成深度学习的环境配置，对于当前项目，你可以查看完版本说明后进行选择，二者对应的 image_name:tag 如下：

  • base: hoperj/quickstart:base-torch2.5.1-cuda11.8-cudnn9-devel
  • dl: hoperj/quickstart:dl-torch2.5.1-cuda11.8-cudnn9-devel

拉取命令为：

docker pull

下面以 dl 版为例进行命令演示，选择其中一种方式完成。

国内镜像版

docker pull dockerpull.org/hoperj/quickstart:dl-torch2.5.1-cuda11.8-cudnn9-devel

🪜科学上网版

docker pull hoperj/quickstart:dl-torch2.5.1-cuda11.8-cudnn9-devel

本地（网盘下载）

可以通过百度云盘下载文件（阿里云盘不支持分享大的压缩文件）。

同名文件内容相同，.tar.gz 为压缩版本，下载后通过以下命令解压：

gzip -d dl.tar.gz

假设 dl.tar 被下载到了 ~/Downloads 中，那么切换至对应目录：

cd ~/Downloads

然后加载镜像：

docker load -i dl.tar

创建并运行容器（使用主机网络）

此模式下，容器会直接使用主机的网络配置，所有端口都等同于主机的端口，无需单独映射。如果只需映射指定端口，将 --network host 替换为 -p port:port。

docker run --gpus all -it --name ai --network host hoperj/quickstart:dl-torch2.5.1-cuda11.8-cudnn9-devel /bin/zsh

设置代理

对于需要使用代理的同学，增加 -e 来设置环境变量，也可以参考拓展文章a：

假设代理的 HTTP/HTTPS 端口号为 7890， SOCKS5 为 7891：

  • -e http_proxy=http://127.0.0.1:7890
  • -e https_proxy=http://127.0.0.1:7890
  • -e all_proxy=socks5://127.0.0.1:7891

融入到之前的命令中：

docker run --gpus all -it \
  --name ai \
  --network host \
  -e http_proxy=http://127.0.0.1:7890 \
  -e https_proxy=http://127.0.0.1:7890 \
  -e all_proxy=socks5://127.0.0.1:7891 \
  hoperj/quickstart:dl-torch2.5.1-cuda11.8-cudnn9-devel \
  /bin/zsh

[!tip]

常用操作提前看：

  • 启动容器：docker start <容器名>
  • 运行容器：docker exec -it <容器名> /bin/zsh
    • 容器内退出：Ctrl + D 或 exit。
  • 停止容器：docker stop <容器名>
  • 删除容器：docker rm <容器名>

克隆仓库

git clone https://github.com/Hoper-J/AI-Guide-and-Demos-zh_CN.git
cd AI-Guide-and-Demos-zh_CN

安装并启动 Jupyter Lab

jupyter lab --ip=0.0.0.0 --port=8888 --no-browser --allow-root

image-20241113224059114

对于图形化界面，Windows/Linux 摁住 Ctrl，mac 按住 Command，然后点击链接可以直接跳转。

感谢你的STAR🌟，希望这一切对你有所帮助。