定向爬虫:简单的模拟登录

成为vip会员,免费看所有精品课程
  • 目录

    目录 收起>

    本课程讲解爬虫实现简单的模拟登录,从而将可爬取网站的数量成倍提高,大大丰富我们可以获取的数据。

    1.抓包利器 Fiddler 00:04:31

    本课时介绍 Fiddler 及其使用方法,实现抓取 Http 数据包。

    2.Cookies 与保持登录 00:04:10

    本课时介绍 Cookies 与新浪微博通过 Cookies 实现保持登录的机制。

    3.Cookies 模拟登录 00:07:32

    本课时介绍使用 Fiddler 获取新浪微博 Cookies,然后使用 Requests 提交 Cookies 从而实现模拟登录。

    4.模拟登录新浪微博 00:09:45

    本课时介绍使用 Post 提交数据的方法实现模拟登录,并定向到某个账户。

    5.实战——追女神助手v0.1 00:13:19

    本课时介绍通过定向爬虫实时监控女神微博信息,一旦发现有新微博就通过微信提醒。 提示:在使用 Python 发邮件的时候,如果发送失败,请尝试打开邮箱的 SMTP 服务。对于新浪邮箱:在网页端登录邮箱以后,点击右上角“设置”,然后选择“客户端 /pop/imap/smtp”,并开启 “POP3/SMTP服务”,其他邮箱类似。
  • 提问

    提交问题
  • 下载

  • 线路

    视频太卡?试试切换线路 √ 线路1 √ 线路2
  • 收藏

    收藏课程
  • 分享

连播

连续播放

关灯

关灯模式
视频加载太慢?

我们有两条线路可以选择,试试切换线路吧

定向爬虫:简单的模拟登录

5课时,39分钟2015-05-29
kingname
kingname

极客学院签约布道师

课程背景:
模拟登录是定向爬虫制作中一个必须克服的问题,只有这样才能爬取到更多的内容。


核心内容:
1.Fiddler 的介绍和使用
2.Fiddler 抓取分析数据包
3.已知 Cookies 登录新浪微博
3.Requests 模拟登录

软件环境:Pycharm


是否提供资料:


课程等级:中级


适合人群:
有 Python 基础,对数据挖掘感兴趣的人群。

  • 技术问答
  • 1

    抓包利器 Fiddler

    04:31

    本课时介绍 Fiddler 及其使用方法,实现抓取 Http 数据包。

  • 2

    Cookies 与保持登录

    04:10

    本课时介绍 Cookies 与新浪微博通过 Cookies 实现保持登录的机制。

  • 3

    Cookies 模拟登录

    07:32

    本课时介绍使用 Fiddler 获取新浪微博 Cookies,然后使用 Requests 提交 Cookies 从而实现模拟登录。

  • 4

    模拟登录新浪微博

    09:45

    本课时介绍使用 Post 提交数据的方法实现模拟登录,并定向到某个账户。

  • 5

    实战——追女神助手v0.1

    13:19

    本课时介绍通过定向爬虫实时监控女神微博信息,一旦发现有新微博就通过微信提醒。 提示:在使用 Python 发邮件的时候,如果发送失败,请尝试打开邮箱的 SMTP 服务。对于新浪邮箱:在网页端登录邮箱以后,点击右上角“设置”,然后选择“客户端 /pop/imap/smtp”,并开启 “POP3/SMTP服务”,其他邮箱类似。

相关课程

  • Python 函数

    本课程主要讲 Python 当中的函数的基本知识,如形参、全局变量与局部变量、函数的使用与返回值等,并配以示例加以理解。

    5课时 69分钟
    中级
    23927人学习
  • Web 开发介绍

    本课程介绍 Web 开发的基础知识,主要包括 Web 开发中的术语,MVC 的结构,通用网关接口等,以及一个 Web 程序的结构。让学员们对 Web 应用程序开发有一个大致的框架性了解,为之后的细节学习奠定基础。

    3课时 25分钟
    初级
    14195人学习
  • Flask 开发基础与入门

    本课程是 Flask 应用开发的基础课程,主要向学员介绍 Flask 应用的基本结构,并详细介绍 Flask 的路由和模板。最终,通过本课程的学习,学员可以开发简单的 Flask 应用。

    4课时 36分钟
    初级
    17186人学习
  • Tornado 开发基础

    本课程主要讲解 Tornado 开发的基础知识。首先介绍 Tornado 的历史背景,然后从视图、模板和数据库操作等方面讲解如何快速开发一个 Tornado 应用。

    4课时 25分钟
    中级
    8657人学习