实战多种网站、电商数据爬虫。包含：淘宝商品、微信公众号、大众点评、招聘网站、闲鱼、阿里任务、scrapy博客园、微博、百度贴吧、豆瓣电影、包图网、全景网、豆瓣音乐、某省药监局、搜狐新闻、机器学习文本采集、fofa资产采集、汽车之家、国家统计局、百度关键词收录数、蜘蛛泛目录、今日头条、豆瓣影评️️️。微信爬虫展示项目:
Aneiang.Pa.News 是一个现代化的热点/热搜聚合平台，旨在为用户提供一站式的热点资讯浏览体验。通过智能抓取多个主流平台的热点内容，结合优雅的界面设计，让用户能够快速了解全网热点。
一个基于 .NET 开箱即用的爬虫库，使用复杂度极低，提供更灵活的爬虫。预设了对多个主流平台热榜的爬取支持，包括微博、知乎、B 站、百度、抖音、虎扑、头条、腾讯、掘金、澎湃、凤凰网、豆瓣、CSDN、博客园等。项目完全开源，后续将持续增加更多平台和数据类型的支持。
一个分布式爬虫框架。一行代码开发一个分布式爬虫，拥有"多线程、异步、IP动态代理、分布式、JS渲染"等特性；
一个天然的低代码、动态表单、动态数据源底层工具，运行时动态注册切换数据源，自动生成SQL(DDL/DML/DQL)，读写元数据，对比数据库结构差异。No-Entity，适配100+关系/非关系数据库。 常用于动态场景的底层支持,如:数据中台、低代码、可视化、工作流、自定义表单、异构数据库迁移同步、物联网车联网数据处理、数据清洗、运行时自定义报表/查询条件/数据结构、爬虫数据解析等
pinduoduo店铺订单采集 彩妆网商品采集 团油油站油价采集 douyin 抖音店铺数据采集 往约app数据采集 快手视频批量上传 抖音视频批量上传 异步采集写真/头像 登录农业银行 钉钉商机 西煤交易定时按键 设备协会人员资质 liweimin@taiyuan
DeerFlow 是一个社区驱动的深度研究框架，将语言模型与网络搜索、爬虫和 Python 执行等工具结合使用
(此项目将迁移至 GitHub，并计划迎来一次基于 AI 技术的重大升级。届时，它将从一个 Demo 演进为一个功能完备的网站应用，底层技术架构也可能不再依赖传统的爬虫方案。) Java爬虫实现，SpringBoot + HttpClient+Jsoup 爬虫Demo，满屏注释，适合入门
广东第二师范学院校园助手系统是基于 Spring Boot 4 + Vue 3 构建的现代化 Monorepo，通过网络爬虫与 RESTful API 驱动 Android/iOS/小程序多端生态。全面适配 Docker 一键编排与 GraalVM 原生编译。
webmagic 是一个无须配置、便于二次开发的爬虫框架，它提供简单灵活的API，只需少量代码即可实现一个爬虫。
蓝天采集器是一款开源免费的爬虫系统，仅需点选编辑规则即可采集数据，可运行在本地、虚拟主机或云服务器中，几乎能采集所有类型的网页，无缝对接各类CMS建站程序，免登录实时发布数据，全自动无需人工干预！是网页大数据采集软件中完全跨平台的云端爬虫系统
轻量，快速，稳定，可编排的组件式规则引擎。 拥有全新设计的DSL规则表达式。 组件复用，同步/异步编排，动态编排，支持超多语言脚本，复杂嵌套规则，热部署，平滑刷新规则等等功能，让你加快开发效率！
LiteFlow可视化编辑器后端项目
Liteflow可视化编辑器前端项目
轻量，快速，稳定，可编排的组件式规则引擎。 拥有全新设计的DSL规则表达式。 组件复用，同步/异步编排，动态编排，支持超多语言脚本，复杂嵌套规则，热部署，平滑刷新规则等等功能，让你加快开发效率！
本项目是基于JVS逻辑引擎构建的规则引擎，主要用于风控决策、规则过滤、行为评分等场景，本项目采用spring cloud+vue构建，支持在线的变量加工、界面拖拽、在线测试等多种功能。包含完整的前后端。
基于python的网页自动化工具。既能控制浏览器，也能收发数据包。可兼顾浏览器自动化的便利性和requests的高效率。功能强大，内置无数人性化设计和便捷功能。语法简洁而优雅，代码量少。
