定向爬虫:Scrapy 初探

成为vip会员,免费看所有精品课程
  • 目录

    目录 收起>

    本课程讲解开源爬虫框架 Scrapy, 本框架使用多线程与事件驱动使得爬取效率提高一个数量级。

    1.Scrapy 介绍与安装 00:05:25

    本课时介绍 Scrapy 并讲解如何配置 Scrapy 的运行环境。

    2.Scrapy 爬取网页 00:06:30

    本课时介绍使用 Scrapy 生成 Project 并爬取简单的网页。

    3.Scrapy 文件结构 00:04:37

    本课时讲解 Scrapy 生成的 Project 中各个文件的作用。

    4.实战——豆瓣爬虫 00:15:00

    本课时介绍使用 Scrapy 爬取豆瓣电影 Top250 并生成 csv 文件。
  • 提问

    提交问题
  • 下载

  • 线路

    视频太卡?试试切换线路 √ 线路1 √ 线路2
  • 收藏

    收藏课程
  • 分享

连播

连续播放

关灯

关灯模式
视频加载太慢?

我们有两条线路可以选择,试试切换线路吧

定向爬虫:Scrapy 初探

4课时,32分钟2015-06-08
kingname
kingname

极客学院签约布道师

课程背景:
鉴于 Requests 制作的爬虫规模太小,难以应对大量数据的爬取。本课程将讲解开源爬虫框架 Scrapy,它的多线程并发与事件驱动能将爬取效率提高几个数量级。

核心内容:
1.Scrapy 环境搭建
2.Scrapy 使用
3.Scrapy 中的 XPath

软件环境:Pycharm

是否提供资料:

课程等级:中级

适合人群:
有 Python 基础、对数据挖掘感兴趣的人群
  • 技术问答

相关课程

  • 用 Python 进行 CGI 编程

    本课程介绍在不使用框架的情况下如何进行 Web 编程。向学员介绍 Python 中内置的 Web 服务器,同时进行 Python Web 开发的实战。让学员对 CGI 编程有所了解。

    3课时 23分钟
    初级
    12387人学习
  • 定向爬虫:简单的模拟登录

    本课程讲解爬虫实现简单的模拟登录,从而将可爬取网站的数量成倍提高,大大丰富我们可以获取的数据。

    5课时 39分钟
    中级
    20606人学习
  • Python 模块

    本门课程主要会讲 Python 中模块的使用以及如何创建自己的模块等操作,并配以示例加以理解。

    6课时 66分钟
    中级
    26381人学习
  • Tornado开发-异步实现

    本课程主要介绍Tornado中的异步操作。通过使用Tornado的异步生成器和装饰器等,实现简单的异步操作。

    3课时 21分钟
    中级
    6851人学习