# light-stream

**Repository Path**: xxmm/light-stream

## Basic Information

- **Project Name**: light-stream
- **Description**: 可集成运行的简单 stream 框架，部分兼容 flink api，可直接本地运行，也可以提交到服务端运行，服务端可指定服务地址。
- **Primary Language**: Java
- **License**: GPL-3.0
- **Default Branch**: master
- **Homepage**: None
- **GVP Project**: No

## Statistics

- **Stars**: 0
- **Forks**: 0
- **Created**: 2021-08-27
- **Last Updated**: 2022-02-28

## Categories & Tags

**Categories**: Uncategorized

**Tags**: None

## README

#### 简介
Apache Flink 适合大数据量，分布式处理数据。
在任务数量相对固定，任务相对单一的场景非常适合。
但在某些生产环境中，尤其是物联网环境下，小规模数据、多任务、动态变更增加任务等等场景下，Flink 显得有些力不从心，要处理这样的场景，Flink 的资源要求会非常大，而且由于 Flink 的底层设计问题，在频繁修改启停任务的场景下会造成 Flink TaskManager 中 Matespace 内存泄漏，最终导致 Flink 进程死掉。

基于此种业务场景的需求，产生了需要一个低资源消耗，同时能够处理大量任务的流式处理框架。
目前版本采用线程池进行处理。可以提交到服务端进行处理，但单个任务不能跨机器运行，也就是不适合大数据量分布式处理这样的场景。

#### 模块说明
##### 1. core light-stream 的核心，可单独运行
core 可直接运行 DataStream, 也可以 提交到 StreamServer 运行

##### 2. app light-stream 与 springboot 集成的实例
  
#### 开源协议说明
本项目准许 MIT 开源协议