# etl

**Repository Path**: jacob/etl

## Basic Information

- **Project Name**: etl
- **Description**: NXIN 是一套面向数据集成、ETL 开发、任务调度、运行监控和数据治理的智能数据集成产品。把传统 Kettle的数据处理能力搬到 Web 端，围绕企业实际落地场景补齐工程管理、数据源管理、权限协作、脚本发布、批流任务运维、日志追踪、数据血缘、数据溯源和 AI 辅助设计等能力。适合需要把分散数据源快速接入、清洗、加工并稳定运行起来的团队,可以更清楚地理解数据从哪里来、经过了哪些处理、最终流向哪里。
- **Primary Language**: Unknown
- **License**: Apache-2.0
- **Default Branch**: master
- **Homepage**: None
- **GVP Project**: No

## Statistics

- **Stars**: 0
- **Forks**: 26
- **Created**: 2026-07-18
- **Last Updated**: 2026-07-18

## Categories & Tags

**Categories**: Uncategorized

**Tags**: None

## README

# NXIN Community

NXIN Community 是 NXIN 智能数据集成平台的免费社区版，定位为可独立运行的 ETL 基础内核。它保留在线设计、脚本部署、任务调度、数据源管理、FTP 管理、字典管理和配置中心等基础能力，适合个人、小团队或轻量数据集成场景。

如果你需要企业级治理、AI 辅助设计、血缘溯源、完整权限协作和运维管控，建议使用 NXIN Commercial 商业版。

可直接查看 [联系作者](#联系作者) 获取购买和部署咨询方式。

## 在线演示

- 演示地址：[https://console.nxin.online](https://console.nxin.online)
- 用户名：`admin@nxin.online`
- 密码：`123456`

演示环境用于产品体验和功能预览，请勿修改账号密码或删除公共演示数据。

## 用户手册

- [NXIN 用户使用与部署手册](outputs/NXIN用户使用与部署手册.pdf)

## 商业版能力预览

NXIN Commercial 在社区版 ETL 内核之上提供面向企业交付的增强能力。社区版 README 先展示商业能力，是为了让使用者一眼看到完整产品形态，后续可按需升级。

<img src="功能截图/home.png" alt="NXIN 首页总览" width="900">

### AI 辅助设计

支持全局流程对话和节点级对话，辅助生成流程、补全配置、解释画布逻辑和排查配置问题。

<img src="功能截图/全局AI对话1.png" alt="全局 AI 对话" width="900">

<img src="功能截图/节点AI对话.png" alt="节点 AI 对话" width="900">

### 数据血缘与数据溯源

通过血缘图谱理解上下游依赖，通过执行批次溯源定位数据来源、处理链路和异常影响范围。

<img src="功能截图/ETL管理-数据血缘.png" alt="数据血缘" width="900">

<img src="功能截图/ETL管理-数据溯源.png" alt="数据溯源" width="900">

<img src="功能截图/ETL管理-数据溯源-溯源批次.png" alt="溯源批次" width="900">

### 元数据、权限和用户管理

商业版提供元数据资产沉淀、权限申请审核、资源授权、完整用户管理和提示词管理。

<img src="功能截图/基础管理-元数据管理.png" alt="元数据管理" width="900">

<img src="功能截图/权限管理-权限申请.png" alt="权限申请" width="900">

<img src="功能截图/权限管理-权限审核.png" alt="权限审核" width="900">

<img src="功能截图/权限管理-权限管理.png" alt="权限管理" width="900">

<img src="功能截图/系统管理-用户管理.png" alt="用户管理" width="900">

<img src="功能截图/系统管理-提示词管理.png" alt="提示词管理" width="900">

## 社区版能力

社区版保留数据集成和 ETL 运行所需的基础能力，不包含 AI、血缘、溯源、元数据、提示词、权限申请和完整用户管理。

### 登录与基础管理

社区版保留单超级用户登录、字典管理、配置中心、数据源管理和 FTP 管理。

<img src="功能截图/login.png" alt="登录页" width="700">

<img src="功能截图/基础管理-数据源管理.png" alt="数据源管理" width="900">

<img src="功能截图/基础管理-数据源管理-编辑数据源.png" alt="编辑数据源" width="900">

<img src="功能截图/基础管理-ftp管理.png" alt="FTP 管理" width="900">

<img src="功能截图/系统管理-字典管理.png" alt="字典管理" width="900">

<img src="功能截图/系统管理-配置中心.png" alt="配置中心" width="900">

### 在线 ETL 设计

支持按目录管理脚本，在线创建转换和任务，通过 Web 画布完成 ETL 设计。

<img src="功能截图/ETL管理-在线设计-目录管理.png" alt="在线设计目录管理" width="900">

<img src="功能截图/ETL管理-在线设计-新建转换.png" alt="新建转换" width="900">

<img src="功能截图/ETL管理-在线设计-转换设计3.png" alt="转换设计" width="900">

<img src="功能截图/ETL管理-在线设计-转换设计3-4.png" alt="转换节点配置" width="900">

<img src="功能截图/ETL管理-在线设计-任务设计1.png" alt="任务设计" width="900">

### 脚本部署与任务管理

脚本完成设计后可发布部署，并通过批处理任务、流处理任务、历史记录和日志进行运维。

<img src="功能截图/ETL管理-脚本部署.png" alt="脚本部署" width="900">

<img src="功能截图/ETL管理-脚本部署-部署依赖.png" alt="部署依赖" width="900">

<img src="功能截图/任务管理-批处理任务管理.png" alt="批处理任务管理" width="900">

<img src="功能截图/任务管理-批处理任务管理-修改调度.png" alt="修改调度" width="900">

<img src="功能截图/任务管理-批处理任务管理-历史记录-日志.png" alt="任务执行日志" width="900">

<img src="功能截图/任务管理-流处理任务管理.png" alt="流处理任务管理" width="900">

## 使用限制

- 只保留一个超级用户账号，社区版程序不提供新增用户能力。
- worker 最多注册 2 台。
- worker 总槽位最多 10 个，可自行在 2 台 worker 内分配。
- 不包含 AI、血缘、溯源、元数据、提示词、权限申请和完整用户管理。

## 当前模块

```text
interface       公共接口、请求响应、消息模型
kettle-export   Kettle/Pentaho 依赖聚合
web-server      社区版后端主应用
worker          社区版任务执行 Worker
ui              社区版前端主应用
```

## 数据库脚本

社区版初始化 SQL：

```text
docs/db/nxin-community.sql
```

导入时请创建业务数据库，例如 `nxin_community`，schema 使用 PostgreSQL 默认的 `public`。

## 构建

后端：

```bash
mvn clean compile -DskipTests
mvn clean install -Dmaven.test.skip=true
```

前端使用 `ui/vue-vben-admin` 的原有构建方式。商业前端不应直接放入本目录。

## 联系作者

如需了解商业版能力、购买商业版本、部署实施或二次开发服务，请扫码联系作者。

<img src="pic/身份二维码.jpg" alt="联系作者二维码" width="220">

## 许可证

本项目许可证见 [LICENSE](LICENSE)。