# rest_api_bench

**Repository Path**: tisandman/rest_api_bench

## Basic Information

- **Project Name**: rest_api_bench
- **Description**: 测试OVMS REST API性能
- **Primary Language**: Unknown
- **License**: Apache-2.0
- **Default Branch**: master
- **Homepage**: None
- **GVP Project**: No

## Statistics

- **Stars**: 0
- **Forks**: 0
- **Created**: 2026-03-10
- **Last Updated**: 2026-03-23

## Categories & Tags

**Categories**: Uncategorized

**Tags**: None

## README

# rest_api_bench

#### 介绍
主要用于测试OVMS/ollama/llama.cpp的OpenAI API推理性能

#### 使用说明

1.  快速启动OVMS服务. 请参阅 [快速启动OVMS服务教程说明](./ovms_launcher/README.md) 获取更多信息。

2.  llm_bench.py为benchmark脚本, python环境可以下载打包好的env_llm_bench.7z包

3.  llm_bench.py会自动获取REST API服务的模型列表，自动匹配

4.  测试prompt从多个数据集提取切片

    *  英文编程数据集 humaneval

    *  英文文章数据集 cnn-daily

    *  中文新闻数据集 [OpenDataLab](https://opendatalab.org.cn/OpenDataLab/OpenNewsArchive)

    *  中文小说数据集 [TigerResearch](https://hf-mirror.com/datasets/TigerResearch/pretrain_zh)

    *  英文编程数据集 [SWE-bench](https://huggingface.co/datasets/princeton-nlp/SWE-bench_Verified)
    
    *  自测中文1k~10k数据集: 1k~10k 中文prompt zw10k

5. llama.cpp的启动命令 (默认使用11434端口)

    ```
    llama-server.exe -m ..\Qwen3-4B-Q4_K_M.gguf -c 32768 -fa on --no-mmap -ngl 99 -np 2 --port 11434
    ```

6.  已打包好的GenAI, OVMS, llm_bench的python环境

    *  2026.0 (2026.3.1下载)
    
        - https://pan.baidu.com/s/1xi6Q3lKoLdpqENYWgaaVGg?pwd=wq65 提取码: wq65 
        - llm_bench的python环境 - env_llm_bench.7z
        - OpenVINO.GenAI 2026.0 - openvino_genai_windows_2026.0.0.0_x86_64.zip
        - OVMS 2026.0 - ovms_windows_python_on (2026.0.0.4d3933c5).zip

#### benchmark工具使用方法

1.  运行 python llm_bench.py -help
    ```
    usage: llm_bench.py [-h] -f {OVMS,LLAMA,OLLAMA} [-l LOOP] -ds DATASETS [DATASETS ...] [-g]

    Run benchmark with specified framework

    options:
    -h, --help            show this help message and exit
    -f {OVMS,LLAMA,OLLAMA}, --framework {OVMS,LLAMA,OLLAMA}
                            Framework to use, must be one of: OVMS, LLAMA, OLLAMA
    -ds DATASETS [DATASETS ...], --datasets DATASETS [DATASETS ...]
                            Datasets to use, must be one or more of: humaneval, cnn-daily, openDataLab, TigerResearch,
                            SWE-bench, zw10k
    -m MODEL, --model MODEL
                            Specify model name directly, skipping model list retrieval from server
    ```

    *  -f 指定测试framework 可选择 OVMS, LLAMA, OLLAMA

    *  -ds 选择测试的数据集名称，humaneval, cnn-daily, openDataLab, TigerResearch, SWE-bench, zw10k 可多选 

        例如

        ```
        # 测试humaneval和cnn-daily数据集
        -ds humaneval cnn-daily
        ```

    *  -m 指定测试模型的名称 (因为ollama默认会获取到安装的所有模型的名称)
    
    *  完整命令示例

        ```
        python llm_bench.py -f LLAMA -ds openDataLab,TigerResearch
        python llm_bench.py -f OVMS -ds openDataLab,TigerResearch
        python llm_bench.py -f OLLAMA -ds CustomDB -m glm4

        ```

    *  测试结束后会在当前目录下生成包含TPS, TTFT, PP, TG性能数据的csv文件，以及包含详细输入输出信息log的子目录

        ![](./res/bench_output.png)

        文件summary_2026-0318-1449_Qwen3-4B-Q4_K_M.gguf-zw10k.csv 文件命名格式为 summary+'测试时间'+'模型名称'+'数据集名称'.csv
        
        目录LLAMA_2026-0318-1449 目录命名格式为 '框架名'+'测试时间'

        **输出csv格式**

        ![](./res/csv_layout.png)

    

#### 参与贡献

1.  Fork 本仓库
2.  新建 Feat_xxx 分支
3.  提交代码
4.  新建 Pull Request


#### 特技

1.  使用 Readme\_XXX.md 来支持不同的语言，例如 Readme\_en.md, Readme\_zh.md
2.  Gitee 官方博客 [blog.gitee.com](https://blog.gitee.com)
3.  你可以 [https://gitee.com/explore](https://gitee.com/explore) 这个地址来了解 Gitee 上的优秀开源项目
4.  [GVP](https://gitee.com/gvp) 全称是 Gitee 最有价值开源项目，是综合评定出的优秀开源项目
5.  Gitee 官方提供的使用手册 [https://gitee.com/help](https://gitee.com/help)
6.  Gitee 封面人物是一档用来展示 Gitee 会员风采的栏目 [https://gitee.com/gitee-stars/](https://gitee.com/gitee-stars/)