# study_llm

**Repository Path**: justinruan/study_llm

## Basic Information

- **Project Name**: study_llm
- **Description**: No description available
- **Primary Language**: Python
- **License**: MIT
- **Default Branch**: master
- **Homepage**: None
- **GVP Project**: No

## Statistics

- **Stars**: 0
- **Forks**: 2
- **Created**: 2026-04-30
- **Last Updated**: 2026-05-26

## Categories & Tags

**Categories**: Uncategorized

**Tags**: None

## README

# study_llm

#### 介绍

(1)基于SGLang本地部署实验(task1_ SGL)
- 学习SGLang框架，进行本地部署Qwen 2B模型（或更小的），以及4-Bit量化后版本。

(2)基于PyTorch的LLM的推理实验(task2_HappyLLM)
- 在本地跑通Happy-LLM SFT版本的推理过程，验证基于PyTorch环境下的模型使用。使用0.5M的数据集进行测试。训练数据为BelleGroup。

(3)基于PyTorch的QWen（带CoT）的推理实验(task3_GSM8K)
- 在本地跑通Qwen 2B模型（或更小的），验证基于PyTorch环境下的模型使用，跑通对GSM8K数据集的测试。

(4)基于PyTorchFI的故障注入实验(task4_FI)
- 生成一个简单的神经网络，比如：ResNet18
- 使用Cifar10或MNIST数据集训练它，测试它
- 使用PyTorchFI的故障注入工具，在测试时对它进行有效攻击，得到劣化的指标。
- 收集攻击方式和攻击效果的对应数据。

(5) 基于PyTorchFI的故障注入实验(task5)
- Claude Opus 4.7生成的项目，进行故障注入实验。

(6) 微调实验(task6)


(7) 蒸馏实验(task7)