# collect_db

**Repository Path**: northersong/collect_db

## Basic Information

- **Project Name**: collect_db
- **Description**: 从不同数据库中读取数据，然后插入到一个数据库中。应用于服务器后台收集各个项目中所保存的人员数据
- **Primary Language**: Python
- **License**: Not specified
- **Default Branch**: master
- **Homepage**: None
- **GVP Project**: No

## Statistics

- **Stars**: 1
- **Forks**: 0
- **Created**: 2016-05-03
- **Last Updated**: 2022-07-04

## Categories & Tags

**Categories**: Uncategorized

**Tags**: None

## README

#collect_db
数据汇总

> mail：song571377@qq.com

#简介
从不同数据库中读取数据，然后插入到一个数据库中。应用于服务器后台收集各个项目中所保存的人员数据.

目的：做过很多报名系统，其人员信息保存在不同的数据库不同的服务器上，甚至字段不同，而且其系统正在使用，为了收集人员信息，写了个python脚本每天执行查询前一天的数据插入到写库中。


#说明
>配置

配置使用json格式。
```
	1，write.json：写库信息
	2，read.json ：读库信息
	
	[
	{
	"host":"10.0.1.101","user":"root","passwd":"root","db":"ke36",
	"sql":"SELECT `name`,phone,email,create_time as createtime FROM kr WHERE TO_DAYS(NOW()) - TO_DAYS(create_time) <= 1","description":"36kr"
	},
	{
	"host":"10.0.1.101","user":"root","passwd":"root","db":"ke36",
	"sql":"SELECT nick_name as name,phon as phone,createtime FROM user WHERE TO_DAYS(NOW()) - TO_DAYS(createtime) <= 1","description":"test"
	}
	]
	注意sql是查询sql，其where条件是昨天的数据。如有其他条件，自行在后面补充。
	注意sql 查询出的列名要与写库中的列名对应，不可以出现写库中没有的字段！程序会根据查出的列名插入到写库中对应的列。
	注意写库中表必须包含字段soures。description 为数据来源描述，内容为 host:****,db:****,description:******，对应写库字段sources
	注意写库主键Id 必须自增或者自行插入
运行：
	python main.py
	python version：Python 2.7.6
	不支持python3.0+
```