# llama-cpp-python-test

**Repository Path**: bzsometest/llama-cpp-python-test

## Basic Information

- **Project Name**: llama-cpp-python-test
- **Description**: No description available
- **Primary Language**: Unknown
- **License**: Not specified
- **Default Branch**: master
- **Homepage**: None
- **GVP Project**: No

## Statistics

- **Stars**: 0
- **Forks**: 0
- **Created**: 2025-12-13
- **Last Updated**: 2025-12-13

## Categories & Tags

**Categories**: Uncategorized

**Tags**: None

## README

# local-llvm

使用python本地部署llvm，启动后提供OpenAI API，支持核显


使用python3.11代码本地部署大模型，支持纯CPU。
启动后提供OpenAI API，支持通获取模型列表等接口。
使用已有的工具，不要自己写接口，不要执行命令。
使用的模型是Qwen3-0.6B.Q4_K_M.gguf
使用gpt4all，给出pyproject.toml配置，poetry管理依赖

llama.cpp

llama-cpp-python 和 llama-openai-api


## 注意
代码默认不支持流式输出，chatbox会没有返回，需要关闭chatbox的流式输出
llama-cpp-python需要升级到0.3+，否则不支持qwen3