定向爬虫:MongoDB 与 Scrapy

成为vip会员,免费看所有精品课程
  • 目录

    目录 收起>

    本课程介绍非关系型数据库 MongoDB 在爬虫中的应用。基于 Key-Value 的非关系数据库与Python 的搭配可以大大提高数据库的读写效率。

    1.MongoDB 介绍与安装 00:09:22

    本课时介绍 MongoDB 并讲解其安装和配置方法。

    2.Python 与 MongoDB 00:06:45

    本课时介绍 Python 对 MongoDB 的基本操作方法。

    3.Scrapy 应用 MongoDB 00:04:58

    本课时介绍在 Scrapy 中应用 MongoDB 的方法,并将操作流程封装在 pipelines.py 文件中。

    4.实战——小说爬虫 00:09:16

    本课时介绍编写一个小说爬虫,用于爬取小说话题名称和话题链接。
  • 提问

    提交问题
  • 下载

  • 线路

    视频太卡?试试切换线路 √ 线路1 √ 线路2
  • 收藏

    收藏课程
  • 分享

连播

连续播放

关灯

关灯模式
视频加载太慢?

我们有两条线路可以选择,试试切换线路吧

定向爬虫:MongoDB 与 Scrapy

4课时,30分钟2015-06-24
kingname
kingname

极客学院签约布道师

课程背景:
在大多数情况下,爬虫以非常高的速度爬取非常多的数据,这就对数据库提出了非常高的要求。对于大数据量、高并发、弱事务的互联网应用,MongoDB 比其他类似于 MySQL 等关系型数据库要高效得多。

核心内容:
1.MongoDB 的安装
2.Python 操作 MongoDB
3.MongoDB 与 Scrapy的结合

软件环境:Pycharm

是否提供资料:

课程等级:中级

适合人群:
有 Python 基础的人群
  • 技术问答

相关课程

  • Python 数据结构初识

    本门课程主要讲解 Python 中数据结构等知识,包括栈、队列等,并配以示例加以理解。

    3课时 59分钟
    中级
    23699人学习
  • Flask 与数据库

    本课程是 Flask 应用开发的基础课程,主要介绍如何在 Flask 应用中使用数据库。课程中会分别详细学习 MySQL 和 MongoDB 在 Flask 中的使用方法,并且学习过程由浅入深,基本的数据操作以及高级框架都会进行学习。

    3课时 32分钟
    初级
    8334人学习
  • Python 操作数据库—— MySQL 篇

    本课首先会为大家介绍各种类型的数据库,包括 SQL 数据库,NoSQL 数据库,键值对数据库,时间序列数据库,分布式数据库等等。并且讲解最广为人知的 MySQL 数据库的基本使用,以及三个 Python 连接 MySQL 数据库的客户端:mysql-connector,MySQLdb,torndb。

    3课时 35分钟
    中级
    16774人学习
  • HTTPs 以及 Flask-OAuthlib 插件使用

    本课程讲解如何使用 HTTPs 加密传输的内容,利用 Flask-OAuthlib 插件搭建 OAuth2 Server,以及使用装饰器风格的方式保护资源服务器,并进一步重构之前课程的程序。

    4课时 37分钟
    中级
    7212人学习