# pythonScript

**Repository Path**: d00112141/python-script

## Basic Information

- **Project Name**: pythonScript
- **Description**: No description available
- **Primary Language**: Unknown
- **License**: Not specified
- **Default Branch**: master
- **Homepage**: None
- **GVP Project**: No

## Statistics

- **Stars**: 0
- **Forks**: 0
- **Created**: 2025-12-10
- **Last Updated**: 2025-12-10

## Categories & Tags

**Categories**: Uncategorized

**Tags**: None

## README

# Excel表格导入MySQL数据库工具

这是一个将Excel表格中的法律文件数据导入到MySQL数据库的Python脚本。

## 功能特点

- ✅ 支持Excel文件（.xlsx, .xls）导入
- ✅ 自动创建数据库表结构
- ✅ 智能数据清洗和验证
- ✅ 日期格式标准化（YYYY-MM-DD）
- ✅ 字符串长度限制和标点符号处理
- ✅ 错误处理和日志记录
- ✅ 支持中文字符集（utf8mb4）

## 数据库配置

- **数据库类型**: MySQL
- **连接地址**: jdbc:mysql://localhost:5455/rag_flow
- **用户名**: root
- **密码**: infini_rag_flow
- **表名**: law_files

## 表结构

| 字段名 | 类型 | 长度 | 说明 |
|--------|------|------|------|
| id | INT | - | 自增主键 |
| 名称 | VARCHAR | 400 | 法律文件名称 |
| 网址 | VARCHAR | 400 | 相关网址链接 |
| 原名称 | VARCHAR | 400 | 文件原始名称 |
| 类型 | VARCHAR | 400 | 文件类型分类 |
| 编号 | VARCHAR | 400 | 文件编号 |
| 介绍 | TEXT | 1000 | 详细介绍信息 |
| 通过日期 | DATE | - | 通过日期 (YYYY-MM-DD) |
| 生效日期 | DATE | - | 生效日期 (YYYY-MM-DD) |
| 失效日期 | DATE | - | 失效日期 (YYYY-MM-DD) |

## 安装依赖

```bash
pip install -r requirements.txt
```

或手动安装：

```bash
pip install pandas mysql-connector-python openpyxl xlrd
```

## 使用方法

### 1. 准备Excel文件

确保Excel文件包含以下列名（顺序可以不同）：
- 名称
- 网址
- 原名称
- 类型
- 编号
- 介绍
- 通过日期
- 生效日期
- 失效日期

### 2. 运行导入脚本

```bash
python excel_to_mysql_importer.py your_excel_file.xlsx
```

### 3. 示例

```bash
python excel_to_mysql_importer.py law_files.xlsx
```

## 数据处理规则

### 字符串处理
- 移除头部和尾部的标点符号
- 名称、网址、原名称、类型、编号字段限制为400字符
- 介绍字段限制为1000字符
- 空值处理为空字符串

### 日期处理
- 支持格式：YYYY-MM-DD
- 无效日期会被设为NULL
- 空日期值会被设为NULL

### 错误处理
- 自动跳过格式错误的记录
- 记录详细的错误日志
- 数据库事务保护，失败时回滚

## Excel文件格式要求

### 表头格式
| 名称 | 网址 | 原名称 | 类型 | 编号 | 介绍 | 通过日期 | 生效日期 | 失效日期 |
|------|------|--------|------|------|------|----------|----------|----------|

### 数据示例
```
中华人民共和国民法典, http://www.npc.gov.cn/npc/c30834/202006/..., 民法典, 法律, 主席令第45号, 《中华人民共和国民法典》... , 2020-05-28, 2021-01-01,
中华人民共和国公司法, http://www.npc.gov.cn/npc/c30834/202312/..., 公司法, 法律, 主席令第15号, 《中华人民共和国公司法》..., 2023-12-29, 2024-07-01,
```

## 注意事项

1. **数据库连接**: 确保MySQL服务正在运行，并且连接参数正确
2. **Excel格式**: 确保Excel文件的第一行包含正确的表头
3. **日期格式**: 日期必须是YYYY-MM-DD格式，否则会被设为NULL
4. **字符编码**: 脚本支持UTF-8中文字符集
5. **表创建**: 脚本会自动删除已存在的law_files表并重新创建

## 故障排除

### 常见错误

1. **数据库连接失败**
   - 检查MySQL服务是否启动
   - 验证连接参数是否正确
   - 确认防火墙设置

2. **Excel文件读取失败**
   - 检查文件路径是否正确
   - 确认文件格式是否支持
   - 检查文件权限

3. **日期解析失败**
   - 确认日期格式为YYYY-MM-DD
   - 检查是否包含无效日期

4. **中文字符乱码**
   - 确认数据库字符集为utf8mb4
   - 检查Excel文件编码

## 开发信息

- **Python版本**: 3.7+
- **主要依赖**: pandas, mysql-connector-python, openpyxl
- **编码**: UTF-8
- **作者**: Claude Code Assistant

## 许可证

MIT License