distribute_crawler – 小说下载分布式爬虫。 使用scrapy,Redis, MongoDB,graphite实现的一个分布式网络爬虫,底层存储MongoDB集群,分布式使用Redis实现,爬虫状态显示使用graphite实现,主要针对一个小说站点。
SinaSpider – 新浪微博爬虫。 主要爬取新浪微博用户的个人信息、微博信息、粉丝和关注。代码获取新浪微博Cookie进行登录,可通过多账号登录来防止新浪的反扒。主要使用 scrapy 爬虫框架。
bilibili-user – Bilibili用户爬虫。 总数据数:20119918,抓取字段:用户id,昵称,性别,头像,等级,经验值,粉丝数,生日,地址,注册时间,签名,等级与经验值等。抓取之后生成B站用户数据报告。
DouBanSpider – 豆瓣读书爬虫。 可以爬下豆瓣读书标签下的所有图书,按评分排名依次存储,存储到Excel中,可方便大家筛选搜罗,比如筛选评价人数>1000的高分书籍;可依据不同的主题存储到Excel不同的Sheet ,采用User Agent伪装为浏览器进行爬取,并加入随机延时来更好的模仿浏览器行为,避免爬虫被封。
WechatSogou – 微信公众号爬虫。 基于搜狗微信搜索的微信公众号爬虫接口,可以扩展成基于搜狗搜索的爬虫,返回结果是列表,每一项均是公众号具体信息字典。
复旦女神教师陈果的幸福哲学课 陈果,复旦大学哲学博士,首位登上央视《开讲啦》的高校青年教师,执教复旦最受欢迎的思修课,被复旦学子成为“复旦女神教师”。本节目首次公开了陈果老师三十节线下课程,教你用哲学的思维,重新审视个人与自我、他人、世界的关系,抛弃旧观念的束缚,探索生命课题的答案。是时候了,和我们的生活好好谈谈。 15分钟/期节目,给你的生活解腻排毒 被朋友圈的鸡汤灌腻了吗?来杯果汁吧!因为我们需要健康、丰富、科学、系统的心灵营养。回到对的地方,用对的方式,重新激活人生,给你的生活解解腻,排排毒。 30次课程,加载新活法 陈果老师30堂线下人生课首次音频公开。2018,是时候换种思路,换种活法,不要被社会那套旧想法、旧观念蒙住双眼。 15次听众解答,1对1解答你的人生困惑 果果老师将不定期在听众评论中选取听众留言并进行解答,为你提供个性化的人生课,助你解疑答惑。果果老师帮你“话疗”人生。 30天哲学知识强化,重塑你的自由灵魂 从哲学的方式,重新认识我和世界、他人、自己的关系,重识自我,勇敢活出新自己,为自己松绑,滋养藏在深处的那颗心。