# MegaSpider

**Repository Path**: autospider/MegaSpider

## Basic Information

- **Project Name**: MegaSpider
- **Description**: 分布式可视化网络数据采集系统
- **Primary Language**: Python
- **License**: MIT
- **Default Branch**: main
- **Homepage**: https://gitee.com/autospider/MegaSpider
- **GVP Project**: No

## Statistics

- **Stars**: 0
- **Forks**: 0
- **Created**: 2022-07-01
- **Last Updated**: 2022-07-05

## Categories & Tags

**Categories**: Uncategorized

**Tags**: None

## README

# MegaSpider
## 概述

MegaSpider是一款新一代网页采集工具，它功能强大，操作简单，是专门为有数据需求的技术人员或者无编程基础的产品、运营、销售、金融、新闻、电商和数据分析从业者，以及政府机关和学术研究等用户量身打造的一款产品。

通过使用MegaSpider，用户能够快速、准确、稳定地获取海量网页数据，从而彻底解决了人工收集数据所面临的各种难题，降低了获取信息的成本，提高了工作效率。

## 环境

- Python 3.8+、Node LTS
- Linux, Windows, macOS


## 安装

- 前端部署

    - 在终端中执行 `cd admin`
    - 在终端中执行 `npm install`
    - 在终端中执行 `npm run build:prod`
    - [www](https://github.com/autospider/MegaSpider/blob/main/www)目录下生成打包文件

- 后端部署
    - 在终端中执行 `pip install -r requirements.txt`
    - 在终端中执行 `python3 main.py`
    - 浏览器打开 [http://localhost:8765](http://localhost:8765)
  
## 数据库支持
  - MySQL
  - PostgreSQL
  - SqlServer
  - Oracle
    - [oracle客户端下载](https://www.oracle.com/cn/database/technology/instant-client.html)
  - MongoDB
  
## 许可协议
  该项目在 MIT 许可下获得许可 - 请参阅[LICENSE](https://github.com/autospider/MegaSpider/blob/main/LICENSE) 文件了解详细信息。