1. tensorflow使用
项目文件夹:_tensorflow
- batch_normalization: 专栏
- dataset.shuffle、batch、repeat: 专栏
- tfrecord读写数据: 专栏
- estimator模型训练: 专栏
- tf版本hashtable:专栏
1.1 部署
项目文件夹:_tensorflow/serving
- tensorflow serving: 专栏
1.2 自定义算子
项目文件夹:_tensorflow/tensorflow-custom-op(独立实现git仓库)
- 如何实现TensorFlow自定义算子?: 专栏
2. 多任务学习MTL
项目文件夹:multitasklearning
- shared_bottom、mmoe、ple模型介绍: 专栏
- 多目标优化-Uncertainty Weight、GradNorm、Dynamic Weight Average、Pareto-Eficient:专栏
- STEM: 推荐模型中的维度坍塌&兴趣纠缠:专栏
3. 推荐系统
项目文件夹:recommendation (本git的推荐系统使用的是tensorflow1.x,关于tensorflow2.x的实现可前往另外一个git)
3.1 Match(召回)
项目文件夹:recommendation/match
3.2 Rank(排序)
项目文件夹:recommendation/rank
- ctr特征重要性建模:FiBiNet&FiBiNet++模型:专栏
- ctr预估之FMs系列:FM/FFM/FwFM/FEFM:专栏
- ctr预估之DNN系列模型:FNN/PNN/DeepCrossing:专栏
- ctr预估之Wide&Deep系列模型:DeepFM/DCN:专栏
- ctr预估之Wide&Deep系列(下):NFM/xDeepFM:专栏
- CTR特征建模:ContextNet & MaskNet(Twitter在用的排序模型):专栏
- CTR之行为序列建模用户兴趣:DIN:专栏
- CTR之行为序列建模用户兴趣:DIEN:专栏
- CTR之Session行为序列建模用户兴趣:DSIN:专栏
- CTR之行为序列建模用户兴趣:Temporal Interest Network:专栏
- 推荐模型中辅助排序损失的作用:专栏
- GwPFM&HMoE: 推荐模型中的维度坍塌&兴趣纠缠:专栏
- 推荐系统特征建模: AdaF^2M^2:专栏
3.3 多场景建模(Multi-Domain)
项目文件夹:recommendation/multidomain
- 多场景建模: STAR(Star Topology Adaptive Recommender):专栏
- 多场景建模(二): SAR-Net(Scenario-Aware Ranking Network):专栏
- 多场景多任务建模(三): M2M(Multi-Scenario Multi-Task Meta Learning):专栏
- 多场景多任务建模(四): PEPNet(Parameter and Embedding Personalized Network):专栏
4. TensorRT & Triton
TensorRT:一种深度学习框架,提升GPU模型推理性能
Triton:TensorRT对应的模型服务化,实现模型统一管理和部署
4.1 Triton
项目文件夹:triton
- TensorRT&Triton学习笔记(一): triton和模型部署+client:专栏
5. 自然语言处理NLP
项目文件夹:nlp
5.1 bert句向量
- Sentence-BERT: 专栏
5.2 bert系列
BERT预训练代码(tensorflow和torch版本):NLP/masked_language_model(独立实现git仓库)
- BERT模型系列大全解读:专栏
6. 深度学习trick
项目文件夹:trick
带pt后缀的为pytorch实现版本,不带后缀的则为tensorflow版本。
- 变量初始化(initialization)、分层学习率(hierarchical_lr)、梯度累积(gradient_accumulation): 专栏
- Stochastic Weight Averaging (SWA)、Exponential Moving Average(EMA):专栏
- (unbalance)分类模型-类别不均衡问题之loss设计 & Label Smoothing:专栏
7. 多模态
项目文件夹:multimodal
7.1 Stable Diffusion
项目文件夹:Stable Diffusion
8. Embedding
项目文件夹:embedding
9. 大语言模型(LLMs)
项目文件夹:llms
9.1 LangChain
LangChain开发入门教程::llms/langchain_tutorial
- Model I/O(prompts、llms、chat model、output parsers):专栏
- RAG/Retrieval(文档加载器、文本分割器、Embedding、向量数据库、检索):专栏
- Tools/Agents(工具、function call、agent):专栏
9.2 LLM训练
LLM训练:llms/train
- 尝试基于小模型复现DeepSeek-R1的思维链以及白话文介绍如何从零训练一个LLM:专栏