NodeJS爬虫系统

成为vip会员,免费看所有精品课程
  • 目录

    目录 收起>

    本课程介绍NodeJS爬虫系统。

    1.NODEJS爬虫系统课程概要 00:01:13

    本课时介绍一下 NODEJS 爬宠系统课程概要。

    2.爬虫系统以及Robots协议 00:05:26

    本课时介绍爬虫系统以及 Robots 协议,爬虫,是一种自动获取网页内容的程序。是搜索引擎的重要组成部分,robots.txt 是一个协议,不是一个命令。robots.txt 是爬虫要查看的第一个文件。robots.txt 文件告诉爬虫在服务器上什么文件是可以被查看的。

    3.配置爬虫系统和开发环境 00:04:36

    本课时介绍配置爬虫系统和开发环境,因为我们是基于 Nodejs 进行开发,所以我们需要从npm 上对 Express、Request、Cheerio 安装并使用。

    4.爬虫实战 00:12:33

    本课时学习 NODEJS 爬虫系统的代码实战,我们利用 Express 搭建 Server、利用 Request 发起网络请求、利用 Cheerio 可以像 JQuery 一样操作 Request 取到的网络 HTML 数据。
  • 提问

    提交问题
  • 下载

  • 线路

    视频太卡?试试切换线路 √ 线路1 √ 线路2
  • 收藏

    收藏课程
  • 分享

连播

连续播放

关灯

关灯模式
视频加载太慢?

我们有两条线路可以选择,试试切换线路吧

NodeJS爬虫系统

4课时,24分钟
Ijason_zj
Ijason_zj

极客学院金牌布道师

课程背景:
爬虫,是一种自动获取网页内容的程序。是搜索引擎的重要组成部分,因此搜索引擎优化很大程度上就是针对爬虫而做出的优化。
robots.txt 是一个文本文件,robots.txt 是一个协议,不是一个命令。robots.txt 是爬虫要查看的第一个文件。robots.txt 文件告诉爬虫在服务器上什么文件是可以被查看的,搜索机器人就会按照该文件中的内容来确定访问的范围。NodeJS 底层引擎是 JS,JS 天生为操作 DOM 而生,所以用 NodeJS 开发爬虫非常简单。


核心内容:
1.爬虫以及 Robots 协议介绍
2.配置爬虫系统开发环境
3.爬虫实战


软件环境:Mac SublimeText


是否提供资料:


课程等级:中级


适合人群:
有一定NodeJS基础的的同学。

  • 技术问答
  • 1

    NODEJS爬虫系统课程概要

    01:13

    本课时介绍一下 NODEJS 爬宠系统课程概要。

  • 2

    爬虫系统以及Robots协议

    05:26

    本课时介绍爬虫系统以及 Robots 协议,爬虫,是一种自动获取网页内容的程序。是搜索引擎的重要组成部分,robots.txt 是一个协议,不是一个命令。robots.txt 是爬虫要查看的第一个文件。robots.txt 文件告诉爬虫在服务器上什么文件是可以被查看的。

  • 3

    配置爬虫系统和开发环境

    04:36

    本课时介绍配置爬虫系统和开发环境,因为我们是基于 Nodejs 进行开发,所以我们需要从npm 上对 Express、Request、Cheerio 安装并使用。

  • 4

    爬虫实战

    12:33

    本课时学习 NODEJS 爬虫系统的代码实战,我们利用 Express 搭建 Server、利用 Request 发起网络请求、利用 Cheerio 可以像 JQuery 一样操作 Request 取到的网络 HTML 数据。

相关课程

  • Ruby 的面向对象的概念

    Ruby 是一门面向对象的语言,在 Ruby 中你所操作的每样东西都是对象,操作结果本身也是对象。本课程主要讲解 Ruby 面向过程编程、面向对象编程、Ruby 的类知识点,并配以示例加以理解。

    3课时 36分钟
    初级
    3877人学习
  • 走进 JavaWeb 的世界

    本课程给大家介绍 JavaWeb 工程师的职业体系。Java 语言是当前最流行的开发语言之一,同时 JavaWeb 开发也是当前人才需求量最大的技术方向之一。Java 是一种纯粹面向对象的程序设计语言,它继承了 C++ 语言面向对象技术的核心,同时舍弃了 C++ 语言中复杂和一些容易出错的特性,并在内存管理方面得到了增强。Java 在 Web 开发方面展现了强大的生命力。

    1课时 5分钟
    初级
    29440人学习
  • 创建 DB2 数据库

    本课程主要介绍如何创建数据库。针对初学者,首先介绍了创建数据库的一些基本概念,然后介绍如何在 Linux/Unix 系统上使用命令行的方式创建数据库,并详细介绍创建数据库的语法,同时也介绍了如何在 Windows 上使用图形化的向导创建数据库,最后介绍了创建数据库后,数据库的目录结构。

    4课时 27分钟
    初级
    4080人学习
  • Oracle 数据操作与事务

    本课程讲解 Oracle 数据库的数据操作与事务,内容主要包括基本的 DML 操作、事务的概念和特性,以及事务的提交和回滚操作。

    3课时 31分钟
    中级
    6552人学习