# llm_export

**Repository Path**: geek_dog/llm_export

## Basic Information

- **Project Name**: llm_export
- **Description**: No description available
- **Primary Language**: Unknown
- **License**: Not specified
- **Default Branch**: master
- **Homepage**: None
- **GVP Project**: No

## Statistics

- **Stars**: 0
- **Forks**: 0
- **Created**: 2026-03-16
- **Last Updated**: 2026-03-17

## Categories & Tags

**Categories**: Uncategorized

**Tags**: None

## README

# LLM 推理测试项目

基于 Qwen 模型的本地推理测试项目，支持多种模型。

## 项目结构

```
qwen3_0.6b_test/
├── README.md                    # 项目说明
├── .gitignore                  # Git 忽略配置
├── requirements.txt             # Python 依赖
├── config/
│   └── config.yaml             # 配置文件
├── utils/
│   └── __init__.py             # 通用工具模块
├── scripts/
│   ├── __init__.py
│   └── download_model.py       # 模型下载脚本
├── packages/                   # 本地模型包 (qwen_asr)
├── qwen3_0.6b/                # Qwen3-0.6B 语言模型
│   ├── __init__.py
│   ├── inference.py            # 推理测试脚本
│   └── export_onnx.py         # ONNX 导出脚本
├── qwen3_asr_0.6b/            # Qwen3-ASR-0.6B 语音识别模型
│   ├── __init__.py
│   ├── inference.py            # 语音识别脚本
│   └── export_onnx.py         # ONNX 导出脚本
├── models/                    # 模型存放目录
│   ├── Qwen3-0.6B/           # Qwen3-0.6B 模型 (~1.4GB)
│   ├── Qwen3-ASR-0.6B/       # Qwen3-ASR-0.6B 模型 (~1.8GB)
│   └── onnx/                  # 导出的 ONNX/权重文件
│       ├── qwen3_0.6b/       # Qwen3-0.6B 导出
│       └── qwen3_asr_0.6b/   # Qwen3-ASR-0.6B 导出
└── .vscode/
    └── launch.json            # VSCode 调试配置
```

## 环境准备

### 1. 安装 Python 依赖

```bash
pip install -r requirements.txt
```

需要 Python 3.10+。

### 2. 下载模型

```bash
# 下载 Qwen3-0.6B
python scripts/download_model.py --model qwen3_0.6b

# 下载 Qwen3-ASR-0.6B
python scripts/download_model.py --model qwen3_asr_0.6b
```

## 使用方法

### VSCode 调试

按 `F5` 或点击"运行和调试"选择配置:

| 配置名称 | 说明 |
|---------|------|
| `[工具] 下载 Qwen3-0.6B` | 下载语言模型 |
| `[工具] 下载 Qwen3-ASR-0.6B` | 下载语音识别模型 |
| `[Qwen3-0.6B] 1. 推理测试` | 运行默认测试 |
| `[Qwen3-0.6B] 2. 推理测试 (自定义prompt)` | 自定义输入 |
| `[Qwen3-0.6B] 3. 导出 ONNX` | 导出 embedding + lm_head |
| `[Qwen3-ASR-0.6B] 1. 推理测试` | 加载模型测试 |
| `[Qwen3-ASR-0.6B] 2. 语音识别` | 语音转文本 (需音频) |
| `[Qwen3-ASR-0.6B] 3. 导出 ONNX` | 导出模型组件 |

### 命令行运行

```bash
# Qwen3-0.6B 推理
python qwen3_0.6b/inference.py
python qwen3_0.6b/inference.py --prompt "你好，请介绍一下自己"

# Qwen3-0.6B ONNX 导出
PYTHONIOENCODING=utf-8 python qwen3_0.6b/export_onnx.py

# Qwen3-ASR 模型加载测试
python qwen3_asr_0.6b/inference.py --test

# Qwen3-ASR 语音识别 (需要音频文件)
python qwen3_asr_0.6b/inference.py --audio_path test.wav

# Qwen3-ASR 导出 (embedding + lm_head + 权重)
PYTHONIOENCODING=utf-8 python qwen3_asr_0.6b/export_onnx.py
```

## 导出结果

### Qwen3-0.6B
- `embedding.onnx` (~600MB)
- `lm_head.onnx` (~600MB)

### Qwen3-ASR-0.6B
- `qwen3_asr_0.6b_weights.safetensors` (~3.5GB)
- `embed_tokens.onnx` (~300MB)
- `lm_head.onnx` (~300MB)

## 配置文件说明

编辑 `config/config.yaml`:

```yaml
models:
  qwen3_0.6b:
    model_id: "Qwen/Qwen3-0.6B"
    model_path: "./models/Qwen3-0.6B"

  qwen3_asr_0.6b:
    model_id: "Qwen/Qwen3-ASR-0.6B"
    model_path: "./models/Qwen3-ASR-0.6B"

device:
  device: "cuda"  # 或 "cpu"
  use_fp16: true

inference:
  max_new_tokens: 512
  temperature: 0.7
  top_p: 0.9
```

## 添加新模型

1. 在 `config/config.yaml` 中添加模型配置
2. 创建新目录如 `xxx_model/`
3. 添加 `inference.py` 和 `export_onnx.py`
4. 在 `launch.json` 中添加对应配置