# data_platform

**Repository Path**: ezi_admin/data_platform

## Basic Information

- **Project Name**: data_platform
- **Description**: No description available
- **Primary Language**: Unknown
- **License**: Not specified
- **Default Branch**: master
- **Homepage**: None
- **GVP Project**: No

## Statistics

- **Stars**: 0
- **Forks**: 0
- **Created**: 2025-04-15
- **Last Updated**: 2025-04-15

## Categories & Tags

**Categories**: Uncategorized

**Tags**: None

## README

# data_platform
data platform


## 数据平台目前的搭建进度

总体来说目前先在一台宿主机上做数据平台搭建试验

1. 在宿主机上安装unraid系统
2. 在unraid系统上虚拟4个虚拟机,作为搭建kubernetes集群的节点
3. 在unraid上搭建一个数据节点虚拟机, 作为数据持久性存储服务器,目前使用了FreeNAS系统并开放了nfs服务
4. 在unraid上搭建一个docker registry服务,用于存储需要代理才能下载的镜像
5. 开始搭建kubernetes集群
    - 每个节点安装ssh服务, 安装docker服务
    - 在集群中所有节点上设置ssh秘钥访问, 在node1上设置docker without sudo
    - 使用代理拉取所有需要代理才可下载的k8s镜像,并push到私有registry上, 详见: `kube-image-name.txt`
    - 添加国内镜像地址
    - 拉取kubespray的repo代码: `git pull https://github.com/kubernetes-sigs/kubespray.git`
    - 在每个节点上设置私有docker registry的ip端口号, 并重启docker服务
    - 开始构建kubernetes集群(这里可以参考`mycluster`):
        ```bash
        # 这里的几个ip换成集群节点的ip
        declare -a IPS=(192.168.3.152 192.168.3.153 192.168.3.154 192.168.3.155)
        CONFIG_FILE=inventory/mycluster/hosts.yaml python3 contrib/inventory_builder/inventory.py ${IPS[@]}
        # 构建k8s集群
        ansible-playbook -i inventory/mycluster/hosts.yaml  --become --become-user=root cluster.yml --ask-become-pass
        ```
6. 集群搭建成功后, 安装helm: `sudo snap install helm --classic`
7. 添加helm repo: `helm repo add stable https://kubernetes-charts.storage.googleapis.com`
8. 添加数据持久性存储的provisioner(可根据具体的nfs服务器地址修改values.yaml): `helm install my_chart/nfs-client-provisioner --generate-name`
9. 部署所需要的服务:
    ```bash
    helm install my_chart/mysql --generate-name
    helm install my_chart/elasticsearch --generate-name
    helm install my_chart/logstash --generate-name
    helm install my_chart/kibana --generate-name
    helm install my_chart/filebeat --generate-name
    helm install my_chart/prometheus --generate-name
    ```