# recruit

**Repository Path**: EightDian/recruit

## Basic Information

- **Project Name**: recruit
- **Description**: No description available
- **Primary Language**: Unknown
- **License**: Apache-2.0
- **Default Branch**: master
- **Homepage**: None
- **GVP Project**: No

## Statistics

- **Stars**: 0
- **Forks**: 0
- **Created**: 2019-03-24
- **Last Updated**: 2020-12-19

## Categories & Tags

**Categories**: Uncategorized

**Tags**: None

## README

# recruit
招聘爬虫+数据分析
1.爬虫：
    采用Scrapy 分布式爬虫技术，使用mongodb作为数据存储，爬取的网站Demo为51job，数据我目前爬了有几千条
2.数据处理：
     采用pandas对爬取的数据进行清晰和处理
2.数据分析：
    采用flask后端获取mongodb数据，前端使用bootstrap3.echarts以及D3的词云图

###注意：1. pymongo安装版本 <=3.0 建议 pip install pymongo==2.8###
        2. 如果scrapy安装不上，在这上面查找https://www.lfd.uci.edu/~gohlke/pythonlibs/ 先安装对应版本 twisted ，再安装scrapy就没问题。
        3.mongodb启动，进入安装mongodb的文件夹的bin目录下面，输入 mongod --dbpath= data文件夹路径
#####

###
关于项目启动
1. 爬虫：
    
   1.cd 目录
   2. pip install pymongo==2.8
   3. scrapy crawl zlzp
2. 数据可视化
   1. 激活虚拟环境 cd venv/Scripts
                  activate
   2. python zlzpView.py
###
       
###
该项目适合新手学习和交流，如果有任何问题请联系我Email: lizhipengqilu@gmail.com
同时希望大家提出宝贵意见，欢迎学习交流，如果你喜欢该项目，请收藏或者fork一下，你的主动将是我前行的动力
###
项目预览
###
![Image text](https://github.com/Frank-qlu/recruit/blob/master/%E6%8B%9B%E8%81%98%E7%88%AC%E8%99%AB/images/1.png)
![Image text](https://github.com/Frank-qlu/recruit/blob/master/%E6%8B%9B%E8%81%98%E7%88%AC%E8%99%AB/images/2.png)
![Image text](https://github.com/Frank-qlu/recruit/blob/master/%E6%8B%9B%E8%81%98%E7%88%AC%E8%99%AB/images/wordcount.png)
![Image text](https://github.com/Frank-qlu/recruit/blob/master/%E6%8B%9B%E8%81%98%E7%88%AC%E8%99%AB/images/educate.png)
![Image text](https://github.com/Frank-qlu/recruit/blob/master/%E6%8B%9B%E8%81%98%E7%88%AC%E8%99%AB/images/experience.png)
![Image text](https://github.com/Frank-qlu/recruit/blob/master/%E6%8B%9B%E8%81%98%E7%88%AC%E8%99%AB/images/search.png)