# deploy-llm2

**Repository Path**: ai-star/deploy-llm2

## Basic Information

- **Project Name**: deploy-llm2
- **Description**: 私有化部署llm的大模型，完成大模型底座
- **Primary Language**: Unknown
- **License**: Not specified
- **Default Branch**: master
- **Homepage**: None
- **GVP Project**: No

## Statistics

- **Stars**: 1
- **Forks**: 0
- **Created**: 2024-05-11
- **Last Updated**: 2024-05-30

## Categories & Tags

**Categories**: Uncategorized

**Tags**: None

## README

# deploy-llm2

#### ollama 介绍
- Ollama 是一个强大的框架，设计用于在 Docker 容器中部署 LLM
- Ollama 的主要功能是在 Docker 容器内部署和管理 LLM 的促进者，它使该过程变得非常简单
- 它帮助用户快速在本地运行大模型，通过简单的安装指令，可以让用户执行一条命令就在本地运行开源大型语言模型
- Ollama 将模型权重、配置和数据捆绑到一个包中，定义成 Modelfile。它优化了设置和配置细节，包括 GPU 使用情况
例如 Llama 2

#### 软件架构
软件架构说明

#### ollama项目信息
1. 项目名称：Ollama
2. 官方网站：https://ollama.ai/
3. GitHub 链接：https://github.com/ollama/ollama.git
4. Star 数：22K+

#### ollama项目特点

1.  开源：很显然这是首要特点，开源推动者项目的持续发展
2.  开箱即用：一条命令的方式，简化了大量的工作，降低了门槛
3.  可扩展：可以和很多工具进行集成使用，有更多的玩法
4.  轻量化：不需要太多的资源，Mac就能跑
5.  支持的平台包括：Mac和Linux，并提供了docker 镜像

#### 安装ollama教程
- ollama极大的简化了安装的过程，并提供了多种选择
- 支持的平台包括：Mac和Linux，并提供了docker 镜像

1.  mac的安装
- 下载地址：https://ollama.ai/download,
- 安装方式：下载完成后，直接安装即可

2.  Linux安装
```angular2html
一键安装：
curl https://ollama.ai/install.sh | sh
```
3.  mac上实践
- 下载
- 运行命令:ollama run llama3
![img.png](img.png)
```angular2html
之后会自动去pull Llama2的模型，并运行，确实非常的便捷。另外还支持将Ollama作为服务提供到网络环境中
在 macOS 中: OLLAMA_HOST=0.0.0.0:11434 ollama serve
```
- 测试
```angular2html
curl -X POST http://localhost:11434/api/generate -d '{
  "model": "llama3",
  "prompt":"Why is the sky blue?"
 }'
```
- ollama支持其他模型,如下图
![img_1.png](img_1.png)
```angular2html
注意1:一下文档中的运行资源说明：3B模型需要8G内存，7B模型需要16G内存，13B模型需要32G内存。
注意2:除了简单的启动模型外，Ollama 可以通过编写 Modelfile 来导入更多的自定义模型，具体的使用方法和配置请自行查阅文档
注意3:Ollama具备灵活的扩展性，它支持和很多工具集成，除了命令行的使用方式，可以通过配合UI界面，简单快速的打造一个类ChatGPT应用
```

#### 参与贡献

1.  Fork 本仓库
2.  新建 Feat_xxx 分支
3.  提交代码
4.  新建 Pull Request


#### 特技

1.  使用 Readme\_XXX.md 来支持不同的语言，例如 Readme\_en.md, Readme\_zh.md
2.  Gitee 官方博客 [blog.gitee.com](https://blog.gitee.com)
3.  你可以 [https://gitee.com/explore](https://gitee.com/explore) 这个地址来了解 Gitee 上的优秀开源项目
4.  [GVP](https://gitee.com/gvp) 全称是 Gitee 最有价值开源项目，是综合评定出的优秀开源项目
5.  Gitee 官方提供的使用手册 [https://gitee.com/help](https://gitee.com/help)
6.  Gitee 封面人物是一档用来展示 Gitee 会员风采的栏目 [https://gitee.com/gitee-stars/](https://gitee.com/gitee-stars/)