# spark-learn

**Repository Path**: dahuajia/spark-learn

## Basic Information

- **Project Name**: spark-learn
- **Description**: No description available
- **Primary Language**: Java
- **License**: MulanPSL-2.0
- **Default Branch**: master
- **Homepage**: None
- **GVP Project**: No

## Statistics

- **Stars**: 0
- **Forks**: 0
- **Created**: 2024-05-26
- **Last Updated**: 2024-12-05

## Categories & Tags

**Categories**: Uncategorized

**Tags**: Spark, 学习笔记

## README

# spark-learn
> 尚硅谷2024 Spark学习代码，在代码课件的基础上补充了一些注释。

### 代码模块及文件夹介绍
#### spark模块目录
com.atguigu.bigdata  
├─ spark  
│   ├─ rdd  
│   │   ├─ dep RDD依赖关系、血缘，宽依赖和窄依赖，任务划分等  
│   │   ├─ instance JavaRDD的配置与创建  
│   │   └─ operate rdd的操作API介绍，类似java的stream api，也包括转换函数和行动函数  
│   ├─ req 对data文件下的txt文件进行操作的示例，如：TOP10热门品类  
│   └─ test 一些普通的java测试方法  
├─ sparksql SparkSQL编程，数据类型转换，数据的加载与保护，SQL的基本语法，与Hive交互等   
└─ sparkstreaming 流式数据批处理，对接Socket数据源等

#### kafka模块目录
com.atguigu.kafka  
├─ consumer kafka客户端的Java实现  
└─ producer kafka服务器的Java实现，包括异步，自定义分区等

#### flume模块目录
com.atguigu.gmall.flume  
└─ interceptor 自定义FLume拦截器来对日志进行操作（将日志消息体中的时间戳保存到事件头中）。

### 课件
https://www.yuque.com/guomingde/pl7zdu/lfsmdxw4f5vn77f6