# vllm

**Repository Path**: sprogx/vllm

## Basic Information

- **Project Name**: vllm
- **Description**: vllm部署qwen的代码
- **Primary Language**: Unknown
- **License**: Not specified
- **Default Branch**: main
- **Homepage**: None
- **GVP Project**: No

## Statistics

- **Stars**: 1
- **Forks**: 1
- **Created**: 2024-11-25
- **Last Updated**: 2025-03-27

## Categories & Tags

**Categories**: Uncategorized

**Tags**: None

## README


## 训练 
都位于文件夹下[sft](sft)下
数据解压后放到路径${ROOT_PATH}/sft/data下

### 本地lora微调Qwen2.5-7B
用LLaMA-Factory框架调
[single-gpu-train.sh](sft%2Fsingle-gpu-train.sh)

### 评测训练好的模型
[run-eval.sh](sft%2Frun-eval.sh)

### 数据集
都位于[processed](sft%2Fdata%2Fprocessed)下
配置数据集去[dataset_info.json](sft%2FLLaMA-Factory%2Fdata%2Fdataset_info.json)自定义即可。


## 推理
都位于文件夹[inference](inference)下，用vllm推理

### 对话机器人
[chatbot.py](inference%2Fchatbot.py)

### 本地推理 （json，xlsx文件格式输入输出）
[main.py](inference%2Fmain.py)

### 本地推理 OpenAI api 输入输出
[main-client.py](inference%2Fmain-client.py)