webmagic的是一个无须配置、便于二次开发的爬虫框架，它提供简单灵活的API，只需少量代码即可实现一个爬虫。webmagic是作者参考Python的scrapy用Java的实现，它是Java在垂直领域爬虫使用人数最多的一个框架。 - 本人在webmagic的基础之上基于MongoDB继续做了下通用化的封装，目标是尽量做到一条数据库记录配置就可以全量和更新爬取某个网站的类目的所有数据。 - 本人Java编码水平有限，一些地方考虑不全面，希望码友能一起来开发 - 希望一起学习进步，技术是用来分享的(QQ群：561956863) - 设计思想博客地址：http://blog.csdn.net/XiangShiKongQi/article/details/77674233
