本课程讲解如何编写定向爬虫。首先讲解爬虫的基本原理,并使用Python的Requests模块和正则表达式编写简单的爬虫。接下来使用Scrapy开源爬虫框架与Redis数据库提高爬取效率。最后讲解动态加载网页内容的爬取和应对一些反扒虫机制的方法。
学习目标:
具备主流网站的数据抓取的能力
本课程讲解如何编写定向爬虫。首先讲解爬虫的基本原理,并使用Python的Requests模块和正则表达式编写简单的爬虫。接下来使用Scrapy开源爬虫框架与Redis数据库提高爬取效率。最后讲解动态加载网页内容的爬取和应对一些反扒虫机制的方法。 学习目标: 具备主流网站的数据抓取的能力
|