node简易爬虫

内容导读

互联网集市收集整理的这篇技术教程文章主要介绍了node简易爬虫，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含1310字，纯文字阅读大概需要2分钟。

内容图文

1. http模块，网络请求

cheerio库， 将html格式的字符串转成类dom结构，之后可以分析结构，通过jq的语法选中其中的元素。

 

/*
1. 请求网站数据
2. 将数据保存本地文件
*/
let picArr = []
const http=require('https')
const fs=require('fs')
const cheerio=require('cheerio')
//let url='https://www.qunar.com/'
let url='https://oasgames.com/pc/zh/home.html'
//let url ='http://www.ziroom.com/'
let json='http://nodejs.org/dist/index.json'

http.get(url,(res)=>{
    // 安全判断
    const { statusCode } = res;  //状态码
    const contentType = res.headers['content-type']; //文件类型

    //console.log(statusCode,contentType)

    let err =null;
    if(statusCode!==200){
        err=new Error('请求状态错误')
    }else if(!/^text\/html/.test(contentType)){
        //格式类型是网页
        err=new Error('请求类型错误')
    }


    if(err){
        console.log(err)
        res.resume(); // 重置缓存
        return false
    }


    //数据处理
    let rawData=''
    res.on('data',(chunk)=>{
        console.log('----')
        rawData+=chunk.toString('utf8')
        // console.log(chunk.toString('utf8'))
    })

    // 数据流传输完毕
    res.on('end',()=>{
         fs.writeFileSync('./bibi.html',rawData)
        //通过cheerio 分析
        let $=cheerio.load(rawData)// 将请求的网页数据进行转化

        $('video').each((index,el)=>{
            picArr.push({
                'type':'video',
                "src": $(el).attr('src')
            })
        })
        $('img').each((index,el)=>{
            picArr.push({
                'type':'img',
                "src": $(el).attr('src')
            })
        })
        console.log('picArr',picArr)
        fs.writeFileSync('./pic.js',picArr)

    })

}).on('error',(err)=>{
    console.log('请求错误')
})

 

  

内容总结

以上是互联网集市为您收集整理的node简易爬虫全部内容，希望文章能够帮你解决node简易爬虫所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。

内容备注

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。

内容手机端

---