# sali-data-handler

**Repository Path**: salierime/sali-data-handler

## Basic Information

- **Project Name**: sali-data-handler
- **Description**: No description available
- **Primary Language**: Unknown
- **License**: Not specified
- **Default Branch**: master
- **Homepage**: None
- **GVP Project**: No

## Statistics

- **Stars**: 0
- **Forks**: 0
- **Created**: 2025-03-01
- **Last Updated**: 2025-03-17

## Categories & Tags

**Categories**: Uncategorized

**Tags**: 数据处理

## README

# 程序简介
    1. 本程序实时监听处理磁盘指定文件夹中的数据文件。基于数据内容的协议类型，采用不同的处理流程进行数据加工，预期支持最后输出至kafka或oss等。
    2. 数据文件内容：
        2.1. 每行数据都是json结构： {"data":{"username":"sali"},"topic":"ios_app"}
        2.2. 预期支持逐行json数据中记录有非结构化文件（音视图文）的位置索引。支持针对指定数据文件，先将数据内容处理完，然后再将索引的非结构化文件上传至oss。以提升整体吞吐量。
        2.3. 暂定数据文件名具有唯一性。

# 运行环境
    jdk1.8

# 技术栈
    1. 纯java程序，不用spring框架
    2. Disruptor、BlockingQueue
    3. 责任链设计模式
    4. 多线程

# 数据流
![sali-data-handler.png](sali-data-handler.png)