# ai_learning_note

**Repository Path**: zrclass/ai_learning

## Basic Information

- **Project Name**: ai_learning_note
- **Description**: No description available
- **Primary Language**: Unknown
- **License**: Not specified
- **Default Branch**: master
- **Homepage**: None
- **GVP Project**: No

## Statistics

- **Stars**: 0
- **Forks**: 0
- **Created**: 2026-03-18
- **Last Updated**: 2026-03-18

## Categories & Tags

**Categories**: Uncategorized

**Tags**: ai学习笔记

## README

# ai_learning_note

大语言模型学习笔记

## 目录导航

### [01.大语言模型基础](./01.大语言模型基础/README.md)
- [1.语言模型](./01.大语言模型基础/1.语言模型/1.语言模型.md)
- [1.分词](./01.大语言模型基础/1.分词/1.2.1分词.md)
- [2.jieba分词用法及原理](./01.大语言模型基础/2.jieba分词用法及原理/2.jieba分词用法及原理.md)
- [3.词性标注](./01.大语言模型基础/3.词性标注/3.词性标注.md)
- [4.句法分析](./01.大语言模型基础/4.句法分析/4.句法分析.md)
- [5.词向量](./01.大语言模型基础/5.词向量/5.词向量.md)
- [Word2Vec](./01.大语言模型基础/Word2Vec/Word2Vec.md)
- [NLP三大特征抽取器（CNN/RNN/TF）](./01.大语言模型基础/NLP三大特征抽取器（CNN-RNN-TF）/NLP三大特征抽取器（CNN-RNN-TF）.md)
- [NLP面试题](./01.大语言模型基础/NLP面试题/NLP面试题.md)
- [LLM为什么Decoder only架构](./01.大语言模型基础/LLM为什么Decoder only架构/LLM为什么Decoder only架构.md)
- [1.激活函数](./01.大语言模型基础/1.激活函数/1.激活函数.md)
- [1.llm概念](./01.大语言模型基础/1.llm概念/1.llm概念.md)

### [02.大语言模型架构](./02.大语言模型架构/README.md)
- [1.attention](./02.大语言模型架构/1.attention/1.attention.md)
- [2.layer_normalization](./02.大语言模型架构/2.layer_normalization/2.layer_normalization.md)
- [3.位置编码](./02.大语言模型架构/3.位置编码/3.位置编码.md)
- [4.tokenize分词](./02.大语言模型架构/4.tokenize分词/4.tokenize分词.md)
- [5.token及模型参数](./02.大语言模型架构/5.token及模型参数/5.token及模型参数.md)
- [6.激活函数](./02.大语言模型架构/6.激活函数/6.激活函数.md)
- [MHA_MQA_GQA](./02.大语言模型架构/MHA_MQA_GQA/MHA_MQA_GQA.md)
- [解码策略（Top-k & Top-p & Temperature）](./02.大语言模型架构/解码策略（Top-k%20&%20Top-p%20&%20Temperature）/解码策略（Top-k%20&%20Top-p%20&%20Temperature）.md)
- [bert细节](./02.大语言模型架构/bert细节/bert细节.md)
- [Transformer架构细节](./02.大语言模型架构/Transformer架构细节/Transformer架构细节.md)
- [bert变种](./02.大语言模型架构/bert变种/bert变种.md)
- [llama系列模型](./02.大语言模型架构/llama系列模型/llama系列模型.md)
- [chatglm系列模型](./02.大语言模型架构/chatglm系列模型/chatglm系列模型.md)
- [llama 2代码详解](./02.大语言模型架构/llama%202代码详解/llama%202代码详解.md)
- [llama 3](./02.大语言模型架构/llama%203/llama%203.md)
- [1.MoE论文](./02.大语言模型架构/1.MoE论文/1.MoE论文.md)
- [2.MoE经典论文简牍](./02.大语言模型架构/2.MoE经典论文简牍/2.MoE经典论文简牍.md)
- [3.LLM MoE：Switch Transformers](./02.大语言模型架构/3.LLM%20MoE%20：Switch%20Transformers/3.LLM%20MoE%20：Switch%20Transformers.md)

### [03.训练数据集](./03.训练数据集/README.md)
- [数据格式](./03.训练数据集/数据格式/数据格式.md)

### [04.分布式训练](./04.分布式训练/README.md)
- [1.概述](./04.分布式训练/1.概述/1.概述.md)
- [2.数据并行](./04.分布式训练/2.数据并行/2.数据并行.md)
- [3.流水线并行](./04.分布式训练/3.流水线并行/3.流水线并行.md)
- [4.张量并行](./04.分布式训练/4.张量并行/4.张量并行.md)
- [5.序列并行](./04.分布式训练/5.序列并行/5.序列并行.md)
- [6.多维度混合并行](./04.分布式训练/6.多维度混合并行/6.多维度混合并行.md)
- [7.自动并行](./04.分布式训练/7.自动并行/7.自动并行.md)
- [8.moe并行](./04.分布式训练/8.moe并行/8.moe并行.md)
- [9.总结](./04.分布式训练/9.总结/9.总结.md)
- [deepspeed介绍](./04.分布式训练/deepspeed介绍/deepspeed介绍.md)
- [1.显存问题](./04.分布式训练/1.显存问题/1.显存问题.md)
- [分布式训练题目](./04.分布式训练/分布式训练题目/分布式训练题目.md)

### [05.有监督微调](./05.有监督微调/README.md)
- [1.基本概念](./05.有监督微调/1.基本概念/1.基本概念.md)
- [2.prompting](./05.有监督微调/2.prompting/2.prompting.md)
- [3.adapter-tuning](./05.有监督微调/3.adapter-tuning/3.adapter-tuning.md)
- [4.lora](./05.有监督微调/4.lora/4.lora.md)
- [5.总结](./05.有监督微调/5.总结/5.总结.md)
- [llama2微调](./05.有监督微调/llama2微调/llama2微调.md)
- [ChatGLM3微调](./05.有监督微调/ChatGLM3微调/ChatGLM3微调.md)
- [1.微调](./05.有监督微调/1.微调/1.微调.md)
- [2.预训练](./05.有监督微调/2.预训练/2.预训练.md)

### [06.推理](./06.推理/README.md)
- [0.llm推理框架简单总结](./06.推理/0.llm推理框架简单总结/0.llm推理框架简单总结.md)
- [1.vllm](./06.推理/1.vllm/1.vllm.md)
- [2.text_generation_inference](./06.推理/2.text_generation_inference/2.text_generation_inference.md)
- [3.faster_transformer](./06.推理/3.faster_transformer/3.faster_transformer.md)
- [4.trt_llm](./06.推理/4.trt_llm/4.trt_llm.md)
- [llm推理优化技术](./06.推理/llm推理优化技术/llm推理优化技术.md)
- [LLM推理常见参数](./06.推理/LLM推理常见参数/LLM推理常见参数.md)
- [1.推理](./06.推理/1.推理/1.推理.md)

### [07.强化学习](./07.强化学习/README.md)
- [策略梯度（pg）](./07.强化学习/策略梯度（pg）/策略梯度（pg）.md)
- [近端策略优化(ppo)](./07.强化学习/近端策略优化(ppo)/近端策略优化(ppo).md)
- [大模型RLHF：PPO原理与源码解读](./07.强化学习/大模型RLHF：PPO原理与源码解读/大模型RLHF：PPO原理与源码解读.md)
- [DPO](./07.强化学习/DPO/DPO.md)
- [1.rlhf相关](./07.强化学习/1.rlhf相关/1.rlhf相关.md)
- [2.强化学习](./07.强化学习/2.强化学习/2.强化学习.md)

### [08.检索增强RAG](./08.检索增强rag/README.md)
- [检索增强llm](./08.检索增强rag/检索增强llm/检索增强llm.md)
- [rag（检索增强生成）技术](./08.检索增强rag/rag（检索增强生成）技术/rag（检索增强生成）技术.md)
- [大模型agent技术](./08.检索增强rag/大模型agent技术/大模型agent技术.md)

### [09.大语言模型评估](./09.大语言模型评估/README.md)
- [1.评测](./09.大语言模型评估/1.评测/1.评测.md)
- [1.大模型幻觉](./09.大语言模型评估/1.大模型幻觉/1.大模型幻觉.md)
- [2.幻觉来源与缓解](./09.大语言模型评估/2.幻觉来源与缓解/2.幻觉来源与缓解.md)

### [10.大语言模型应用](./10.大语言模型应用/README.md)
- [1.思维链（cot）](./10.大语言模型应用/1.思维链（cot）/1.思维链（cot）.md)
- [1.langchain](./10.大语言模型应用/1.langchain/1.langchain.md)