# gpubenchmark-py

**Repository Path**: xtf-123/gpubenchmark-py

## Basic Information

- **Project Name**: gpubenchmark-py
- **Description**: No description available
- **Primary Language**: Python
- **License**: Apache-2.0
- **Default Branch**: master
- **Homepage**: None
- **GVP Project**: No

## Statistics

- **Stars**: 0
- **Forks**: 1
- **Created**: 2025-08-12
- **Last Updated**: 2025-08-12

## Categories & Tags

**Categories**: Uncategorized

**Tags**: None

## README

# 项目名称（gpubenchmark-py）
## git常用命令
```shell
git config --global credential.helper store

gitee.com 账号信息: murongqingqqq/zhaxxx17


git lfs pull     ## 将LFS管理的文件也拉取到本地。 注：默认git pull 不拉取LFS管理的大文件。

```

## 版本号（Version）
- v1.0.0: 初始发布
- v1.1.0: 新功能和改进
- v2.0.0: 重大更新

## 简介（简介）
`gpubenchmark-py` 是一个功能强大的工具，旨在实现快速准备物理主机的大模型训练环境。它支持nvidia GPU驱动、OFED 驱动、docker，为大模型训练、推理提供简便的解决方案。

### 主要功能和亮点
- 1. 安装基础环境
- 2. 安装GPU/OFED驱动
- 3. 安装CUDA及NCCL测试相关软件

## 安装与使用（Installation and Usage）

### 1. 安装基础环境
需要安装以下依赖项：
```bash
python3
```

#### 安装步骤
进入程序安装目录
   ```shell
   cd install/base/
   ```
1. 命令进行安装基础软件：
   ```bash
   python install01_bash.py 
   ```
2. 安装docker
   ```shell
   python install02_docker.py 
   ```

### 2. 检测并安装GPU相关驱动

#### 安装步骤

进入程序安装目录
   ```shell
   cd install/gpu/
   ```
1. 检测CPU运行模式
   ```shell
   python init01_cpu_performance.py
   ```

2. 禁用ACS
   ```shell
   python init02_disable_ACS.py
   ```

3. iommu 和 nouveau
   ```shell
   pyhton init03_iommu_and_nouveau.py
   ```
4. 安装 GPU 驱动
   ```shell
   python install01_GPU_Driver.py
   ```
   ```shell
   GPU驱动下载地址：https://www.nvidia.cn/drivers/results/
   ```

5. [H20] 安装 OFED 驱动
   ```shell
   python install02_OFED.py
   ```

6. [H20] 安装 Fabric manager
   ```shell
   python install03_Fabric_manager.py
   ```
7. 安装 Container Tookit 
   ```shell
   python install04_Container_Tookit.py
   ```

8. 安装 Cuda
   ```shell
   python install05_Cuda.py
   ```
   ```shell
   CUDA驱动下载地址：
   ```











### 运行脚本/任务

=======
# 完美模型推理性能分析工具

## 版本号（Version）
- v1.0.0: 初始发布
- v1.1.0: 添加基本模型推理速度统计功能
- v2.0.0: 优化性能并支持大模型推理分析

## 简介（简介）

`perfect_model_analyzer` 是一个专注于评估和分析大型语言模型（LLM）性能的工具。它通过多线程和异步技术，能够高效地处理大规模模型推理请求，并提供详细的性能指标分析。

### 主要功能和亮点
1. **异步 HTTP 请求处理**：利用 asyncio 和 semaphore 线程池，支持同时处理多个模型推理请求。
2. **实时性能统计**：通过 tqdm 库显示处理进度条，实时反馈任务状态。
3. **全面性能评估**：
   - 完成 tokens 计算
   - 响应时间记录与分析
   - 大规模模型兼容性支持
4. **用户友好界面**：简洁的命令行接口，支持批量处理和参数化配置。

## 安装与使用（Installation and Usage）

### 前erequisites
```bash
pip install -r requirements.txt
```

#### 安装步骤
1. 打开终端/命令行界面。
2. 输入以下命令进行安装：
   ```bash
   pip install .[dev]
   ```
   其中 `[dev]` 为可选参数，表示安装开发版本。

#### 使用示例
基本用法如下：
```python
# 示例代码
import perfect_model_analyzer as analyzer

result = analyzer.analyze_model("your_model_path", max_concurrent=8, total_requests=100)
completion_tokens, response_times = result
```

### 性能指标与负载测试
- `completion_tokens`: 包含模型每次推理的平均完成 tokens 数量。
- `response_times`: 记录每个推理任务的响应时间，支持后续分析模型延迟。

## 贡献指南（Contribution Guide）

### 如何贡献
1. 您可以在此开源项目上添加新功能或报告问题。
2. 请遵守/[描述项目的贡献政策]/。

### 提交要求
- 支持文件格式：/[描述支持的文件类型/格式]/
- 描述您的贡献：
   ```markdown
   您的贡献将被纳入下一个版本，具体会由[贡献者姓名]进行审核。
   ```

## 版权信息（License）

本项目遵循 MIT 协议。请阅读详细内容以了解使用条款和 redistributive 条件。

### 项目联系信息

- **作者**：John Doe
  - 邮箱地址：john.doe@example.com
  - GitHub链接：[GitHub仓库链接]

## 最后说明

`perfect_model_analyzer` 是一个快速、稳定且功能强大的工具，专为模型推理性能分析而设计。我们鼓励社区贡献和反馈，共同推动项目的完善与发展。