# gmall-realtime

**Repository Path**: null_837_4473/gmall-realtime

## Basic Information

- **Project Name**: gmall-realtime
- **Description**: 实时数仓练习项目
- **Primary Language**: Unknown
- **License**: Not specified
- **Default Branch**: master
- **Homepage**: None
- **GVP Project**: No

## Statistics

- **Stars**: 0
- **Forks**: 1
- **Created**: 2025-12-20
- **Last Updated**: 2025-12-20

## Categories & Tags

**Categories**: Uncategorized

**Tags**: None

## README

# Gmall 实时数据分析平台

## 项目简介

本项目是一个基于 Flink 构建的实时数据分析平台，主要用于处理和分析电商领域的交易、流量和用户行为数据。平台支持从数据采集、处理、聚合到最终可视化展示的全流程实时分析。

## 功能模块

### 数据采集层 (realtime-dwd)
- 支持从 Kafka 采集原始数据
- 提供交易数据处理模块（订单、购物车、评论等）
- 提供流量日志数据处理模块（页面浏览、错误日志、启动日志等）

### 数据处理层 (realtime-dws)
- 提供多维度的数据聚合分析
- 支持交易维度（省份、SKU、购物车等）的统计
- 支持流量维度（渠道、来源、页面等）的统计
- 支持用户登录行为的统计分析

### 数据服务层 (gmall2024-publisher)
- 提供 RESTful API 接口服务
- 支持交易数据统计查询（GMV、省份销售额等）
- 支持流量数据统计查询（渠道 UV 等）

## 技术栈

- Apache Flink：用于实时数据处理和流式计算
- Apache Kafka：作为数据传输中间件
- HBase：用于存储维度数据
- Redis：用于缓存维度数据
- MySQL：存储基础数据和配置信息
- Doris：用于实时数据分析和查询
- MyBatis：数据库访问层框架
- Spring Boot：构建微服务应用

## 主要功能

### 交易分析
- 实时统计 GMV（商品交易总额）
- 按省份统计订单金额
- 商品销售分析（品牌、分类等维度）

### 流量分析
- 渠道 UV 统计
- 页面访问分析（首页、商品详情页等）
- 设备、地区、新老用户等维度的访问统计

### 用户行为分析
- 用户登录统计
- 购物车添加统计

## 使用说明

### 数据采集服务
1. 启动 Kafka
2. 启动各数据采集服务（如 DwdBaseLog、DwdTradeOrderDetail 等）

### 数据处理服务
1. 启动 Flink 集群
2. 提交数据处理任务（如 DwsTradeProvinceOrderWindow、DwsTrafficVcChArIsNewPageViewWindow 等）

### 数据服务
1. 启动 MySQL 和 Doris
2. 执行初始化脚本创建必要的表结构
3. 启动 gmall2024-publisher 服务

### 查询接口
使用 HTTP 请求访问以下接口：
- `/gmv`：获取 GMV 数据
- `/province`：获取省份订单金额数据
- `/ch`：获取渠道 UV 数据

## 目录结构

```
.
├── realtime-common        # 公共模块，包含工具类和基础类
├── realtime-dim           # 维度数据处理模块
├── realtime-dwd           # 明细数据处理模块
├── realtime-dws           # 数据仓库服务模块
└── gmall2024-publisher    # 数据服务接口模块
```

## 依赖配置

请确保已安装以下依赖服务：
- Apache Kafka
- Apache Flink
- Apache HBase
- Redis
- MySQL
- Apache Doris

## 开发团队

该项目由海龙团队维护开发。

## 许可证

本项目采用 Apache-2.0 许可证。