# freespider

**Repository Path**: autospider/freespider

## Basic Information

- **Project Name**: freespider
- **Description**: freespider
- **Primary Language**: Python
- **License**: MIT
- **Default Branch**: main
- **Homepage**: None
- **GVP Project**: No

## Statistics

- **Stars**: 0
- **Forks**: 0
- **Created**: 2022-05-25
- **Last Updated**: 2022-06-01

## Categories & Tags

**Categories**: Uncategorized

**Tags**: None

## README

# freespider
## 概述

Freespider是一款新一代网页采集工具，它功能强大，操作简单，是专门为有数据需求的技术人员或者无编程基础的产品、运营、销售、金融、新闻、电商和数据分析从业者，以及政府机关和学术研究等用户量身打造的一款产品。

通过使用Freespider，用户能够快速、准确、稳定地获取海量网页数据，从而彻底解决了人工收集数据所面临的各种难题，降低了获取信息的成本，提高了工作效率。

### 环境

- Python 3.8+
- Linux, Windows, macOS


### 文件结构
- [demo.json](https://github.com/autospider/freespider/blob/main/demo.json) 采集配置演示文件，可通过 [spiderHelper](https://github.com/autospider/spiderHelper) 生成;
- [main.py](https://github.com/autospider/freespider/blob/main/main.py) 采集模块;
- [proxy.py](https://github.com/autospider/freespider/blob/main/proxy.py) 代理模块;
- [store.py](https://github.com/autospider/freespider/blob/main/store.py) 存储模块;
- [extract.py](http://extract.py) 内容提取模块。
### 运行方式

  `python -u main.py demo.json`
### 采集配置工具
  [spiderHelper](https://github.com/autospider/spiderHelper)

### 许可协议
  该项目在 MIT 许可下获得许可 - 请参阅[LICENSE](https://github.com/autospider/freespider/blob/main/LICENSE) 文件了解详细信息

### 贡献
欢迎投稿！
### 交流反馈
暂无