# fofa_spider-1.0.5

**Repository Path**: bytesFighting/fofa_spider-1.0.5

## Basic Information

- **Project Name**: fofa_spider-1.0.5
- **Description**: 非付费会员，fofa数据无限抓取版
- **Primary Language**: Python
- **License**: MIT
- **Default Branch**: main
- **Homepage**: None
- **GVP Project**: No

## Statistics

- **Stars**: 0
- **Forks**: 0
- **Created**: 2021-04-22
- **Last Updated**: 2025-03-09

## Categories & Tags

**Categories**: Uncategorized

**Tags**: None

## README

# fofa_spider-1.0.5
非付费会员，fofa数据无限抓取版


针对fofa再次升级反爬，更新代码。采用W3C标准重新编码关键词，适配成功fofa数据爬取。

enjoy your spider......

and remember my coffee

使用方法不变，见下面说明


#####################################

####fofa再反爬

################################################################
# fofa_spider-1.0.3

### 终于升级到无限抓取版了。

### 理论上可以无限抓取fofa数据。

但仅仅是理论上，因为fofa设置了普通会员只能查看5页数据。这时，当你查询的关键词数据量比较大的时候，5页定然不能显示出当天数据的全部。
而本spider采取的抓取凭据为时间，fofa的时间关键词只能使用到日期，日期以下的小时甚至分钟不能使用为关键词。

所以，这时候就出现了当天数据抓取不完，直接跳到前一天抓取数据的情况。

### 但是

如果你的关键词够细，当天数据量较少，那么数据就可以一网打尽了。
spider会自动抓取最后一条数据的时间戳，并且将此时间的前一天加为新一轮抓取的关键词，继续抓取数据。

### 自动去重功能。

因为连续抓取会以时间为keywords，多次、连续设置关键词，而且为了尽量少遗漏数据，最后一轮的时间戳为减一天再加入下一轮关键词。所以数据是会重复。碰上数据较多的时候，重复量还是很大的，所以输出数据加入去重功能。

当然，这也是为什么你会看到抓取时打出来的数据和最后保存的数据总量不一样的原因。

使用方法和前一个版本一样，没变

1.将cookie中的fofa_token复制到config.py中对应的位置

2.python3 fofa_spider.py

demo

配制fofa_token
![](demo/demo1.png)

程序运行
![](demo/demo2.png)
![](demo/demo3.png)

----------------------------------------

# fofa_spider-1.0.2

fofa改版，原来的爬虫不能用了。
所以新写一版
名为升级，其实已经换代了。

1.基于python3的fofa爬取

3.配置config.py中的cookie信息，用burp截个包，一看便明白了。

4.运行python3 fofa_spider.py

5.抓取结果保存在目录下fofa_result.txt


### 原理


目前非会员仍然只能抓取5页。
更多的抓取页面还没有时间写。

demo

![](demo/demo2.png)
![](demo/demo3.png)