爬虫 - 技术教程文章
python爬虫 索引越界【图】
使用BeautifulSoup进行定位提取的时候，因为数据是一个列表，所以会使用到索引，但是经常会提示索引越界，这其实就是在我们匹配的时候，太过大意，如上：注意td和tr，tr说的是行，td是精确到元素的，所以后面的find_all很重要，td换成tr在执行后面的时候，匹配到的数据一定不一样现在的索引是按照td标签的倒数第二个元素，如果换成tr那就是倒数第二行了原文：http://www.cnblogs.com/feifang/p/7118028.html
Python 简单爬虫抓取糗事百科【代码】
# coding:utf-8import timeimport randomimport urllib2from bs4 import BeautifulSoup#引入 beautifulsoup模块#p = 1#定义 页url = ‘http://www.qiushibaike.com/text/page/‘#定义headermy_headers = [ ‘Mozilla/5.0 (Windows NT 6.1; WOW64; rv:39.0) Gecko/20100101 Firefox/39.0‘, ‘Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.1; WOW64; Trident/6.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET ...
python爬虫实例（urllib&BeautifulSoup）【代码】
python 2.7.6urllib:发送报文并得到responseBeautifulSoup：解析报文的body（html）#encoding=UTF-8 from bs4 import BeautifulSoup from urllib import urlopen import urlliblist_no_results=[]#没查到的银行卡的list list_yes_results=[]#已查到的银行卡的list#解析报文，以字典存储 def parseData(htmls,code): dic={} s=BeautifulSoup(htmls) if code==‘00‘: list=s.find_all(‘td‘,‘STYLE2‘,align=...
9、总 开启对与爬虫的学习【图】
python 爬虫爬虫：对网络数据提取的一种艺术手法一个正常的爬虫流程是什么样子？1、将代码伪装成一个用户正常操作使用的浏览器 2、利用伪装代码向服务器发送请求，并成功接受返回结果 3、分析返回结果，提取数据 4、重复2-3，直到达成目的那么该如何伪装代码？如何判断伪装代码是否成功？在大量重复提交测试中，伪装的代码是否能成功？遇到了重定向，返回结果是否为自己所需要的？静态页面与动态页面所需要的伪装方式是否相同？......
利用Requests库写爬虫【代码】
基本Get请求：#-*- coding:utf-8 -*- import requests url = ‘http://www.baidu.com‘ r = requests.get(url) print r.text带参数Get请求：#-*- coding:utf-8 -*- import requests url = ‘http://www.baidu.com‘ payload = {‘key1‘: ‘value1‘, ‘key2‘: ‘value2‘} r = requests.get(url, params=payload) print r.textPOST请求模拟登陆及一些返回对象的方法：#-*- coding:utf-8 -*- import requests url1 = ‘http://www...
爬虫多线程模板，xpath，etree【代码】
class QuiShi: def __init__(self): self.temp_url = "http://www.lovehhy.net/Joke/Detail/QSBK/{0}" self.headers = {"User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.97 Safari/537.36"} #1.Queue url队列 self.url_query = Queue() # html网页队列 self.html_query = Queue() # content内容队列 ...
利用python3爬虫爬取漫画岛-非人哉漫画【代码】【图】
最近学了一点点python爬虫的知识，面向百度编程爬了一本小说之后感觉有点不满足，于是突发奇想尝试爬一本漫画下来看看。 一、效果展示首先是我们想要爬取的漫画网页： http://www.manhuadao.cn/ 网页截图： 其次是爬取下来的效果： 每一回的文件夹里面是这样的： (因为网站图片的问题...所以就成了这个鬼样子) 二、分析原理 1、准备：需要vscode或者其他能够编译运行python的...
java基于jsoup小说爬虫【图】
心血来潮想看小说，却被广告弄得头大，然后自己写了个小说爬虫，可以下载成txt看，也可以直接在线看，代码持续更新中。。。。。。码云:https://gitee.com/sen_yang/SanMuYuanBook 因为没用数据库，数据都是现爬现看的，所以环境比较容易装 原文：https://www.cnblogs.com/yangsen-java/p/13397909.html
第四篇 爬虫去重策略,以及编码问题【代码】【图】
unicode和utf-8编码 PS：数据在内存里，使用unicode编码会方便很多，因为这样占用的bit是统一的，而utf8对于不同的语言占用的bit不同的，但存储文件使用utf8编码会减少很多空间，所以需要灵活转换。 下面是py2中的例子，python存储在内存里的数据是自动转化成unicode编码的，通过sys库的getdefaultencoding方法可以查看python2解释器的默认编码是：ascii码，变量s是英文，直接编码成utf8没问题，但变量su是中文，直接编码成utf8会报...
Python爬虫b站视频弹幕并生成词云图分析【代码】【图】
爬虫：requests，beautifulsoup词云：wordcloud，jieba代码加注释： 1# -*- coding: utf-8 -*- 2import xlrd#读取excel 3import xlwt#写入excel 4import requests5import linecache6import wordcloud7import jieba8import matplotlib.pyplot as plt9from bs4 import BeautifulSoup 1011if__name__=="__main__": 12 yun=""1314 n=0#ID编号15 target=‘https://api.bilibili.com/x/v1/dm/list.so?oid=132084205‘#b站oid...
股票数据爬虫【代码】【图】
老虎社区 ‘https://www.laohu8.com/stock/‘百度股票不行了 import requests import re from bs4 import BeautifulSoup import collections import traceback def getHtmlText(url):try:kv = {‘user-agent‘:‘Mozilla/5.0‘}r = requests.get(url,headers = kv)# print(r.status_code) r.raise_for_status()#print(r.apparent_encoding) GB2312 #r.encoding = r.apparent_encoding() GB2312 无法获取信息r.encoding =...
Scrapy爬虫小demo总结
一、 Scrapy入坑。a) Scrapy的安装。这个没什么可讲的，网上一大把。 注意的问题，可能我下载的是32位的python，出现了pywin32没法用的情况，这个直接pip install pypiwin32 就好。b) 安装验证。scrapy genspider baidu www.baidu.com 建立一个爬百度的爬虫。 scrapy crawl baidu 成功爬取数据。c) Scrapy项目创建：首先进入要创建项目的目录：cd xxx然后进行创建：scrapy startproject demo1(项目名字是...
C# 使用AngleSharp 爬虫图片【代码】【图】
AngleSharp 简介AngleSharp是基于.NET（C#）开发的专门解析HTML源码的DLL组件。根据HTML的DOM结构操作HTML，整个DOM已传输到逻辑类结构中。这种结构可以更好的操作DOM元素。AngleSharp还带来了一些非常有用的扩展方法，它们跟jQuery和JavaScript中的用法类似。 使用命名空间AngleSharp可以访问Html，Css，Attr或Text等方法。 这些方法向给定的IHtmlCollection一样在给定的IEnumerable <IElement>上运行。 目的很简单：轻松修改给定...
《爬虫》爬取可用的免费IP【代码】
import telnetlib import urllib.request from bs4 import BeautifulSoupfor d in range(1, 3): # 采集1到2页scrapeUrl = ‘http://www.xicidaili.com/nn/%d/‘ % dreq = urllib.request.Request(scrapeUrl)req.add_header(‘User-Agent‘, ‘Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)‘)response = urllib.request.urlopen(req)html = response.read()bsObj = BeautifulSoup(html, "html.parser")for i in range(100):spe...
反爬虫中技术点的定义
kafka 是一个分布式的，容错的，高效的消息通到。主要用于做实时的数据流、构建实时应用等。 设计目标：为处理实时数据提供一个统一、高吞吐量、低延迟的平台。 kafka是一个分布式消息队列：生产者、消费者的功能。 启动：先保证zk集群启动 再启动kafka [root@hadoop01 kafka_2.11-1.1.1]# nohup ./bin/kafka-server-start.sh ./config/server.properties > /var/log/kafka.log 2>&1 & [root@hadoop02 kafka...
PHP 网页爬虫【代码】
只能爬一个页面 <?php function get_urls($url){ $url_array=array(); $the_first_content=file_get_contents($url); $the_second_content=file_get_contents($url); $pattern1 = "/http:\/\/[a-zA-Z0-9\.\?\/\-\=\&\:\+\-\_\‘\"]+/"; $pattern2="/http:\/\/[a-zA-Z0-9\.]+/"; preg_match_all($pattern2, $the_second_content, $matches2); preg_match_all($pattern1, $the_first_content, $matches1); $new_array1=arra...
基于webmagic的爬虫小应用【代码】
以前没有写过爬虫程序，最近两天就研究了一下java的爬虫框架webmagic。然后写了一个demo 写爬虫的基本思想:1.抓取目标连接2.根据页面中标签，抓捕你需要的内容3.保存结果集 以下是实现demo：package ming;import java.util.List;import us.codecraft.webmagic.Page; import us.codecraft.webmagic.Site; import us.codecraft.webmagic.Spider; import us.codecraft.webmagic.processor.PageProcessor;publicclass TianyaPageProces...
Python网页爬虫（一）【代码】
很多时候我们想要获得网站的数据，但是网站并没有提供相应的API调用，这时候应该怎么办呢？还有的时候我们需要模拟人的一些行为，例如点击网页上的按钮等，又有什么好的解决方法吗？这些正是python和网页爬虫的应用场景。python是一种动态解释性语言，简单的语法和强大的库支持使得python在数据收集、数据分析、网页分析、科学计算等多个领域被广泛使用。 本文主要总结一下如何用python自己写一个简单的爬虫，以及可能出现的问...
Python爬虫笔记【一】模拟用户访问之webdriver用户登入——第三次（8）【代码】
经过post方法之后，因为有动态的value值所以再此回到用webdriver的解决上，但是在下载图片上会打开新打开一个链接，导致与网页图片不同即验证码同步问题，没办法只能想了一个笨法子，网页截图，唉！因为只是验证码问题所以只上获取验证码的代码了，其他的在第六节都有把下载的代码换一下就行。from PIL import Image from selenium import webdriver import time from selenium.webdriver.common.keys import Keys# 截全屏def get_...
java爬虫 案例【代码】
package com.zjazn;import com.sun.org.apache.bcel.internal.generic.RETURN; import com.sun.xml.internal.ws.api.server.InstanceResolver; import org.apache.http.HttpEntity; import org.apache.http.client.methods.CloseableHttpResponse; import org.apache.http.client.methods.HttpGet; import org.apache.http.impl.client.CloseableHttpClient; import org.apache.http.impl.client.HttpClientBuilder; import org.ap...
PHP判断是不是爬虫的方法
PHP判断是不是爬虫的方法这个一般用于防止爬虫 和 seo优化(因为爬虫都是按照第一次打开显示的页面 有些ajax 等需要点击才能显示的就爬不到啦)<pre><?php// 判断是否搜索引擎机器人访问function isRobot() { $agent= strtolower(isset($_SERVER[‘HTTP_USER_AGENT‘])? $_SERVER[‘HTTP_USER_AGENT‘] : ‘‘); if(!empty($agent)){ $spiderSite= array( "TencentTraveler", "Baiduspider+", ...
爬虫所需要的文档和自动化文本driver下载地址,以及制作词云的文档等
Scrapy1.7.3文档webdriver文档webdriver下载地址Chrom各版本下载地址词云1.5文档selenium中文文档其他好的文档可以在这里查询有不定时更新 原文：https://www.cnblogs.com/superSmall/p/11543352.html
使用Python写的第一个网络爬虫程序
今天尝试使用python写一个网络爬虫代码，主要是想访问某个网站，从中选取感兴趣的信息，并将信息按照一定的格式保存早Excel中。此代码中主要使用到了python的以下几个功能，由于对python不熟悉，把代码也粘贴在下面。1， 使用url打开网站网页import urllib2data = urllib2.urlopen(string_full_link).read().decode('utf8')print data 2，使用正则表达式匹配 import re#一般的英文匹配 reg = """a href=\S* target='_blank' title=...
python网络爬虫——requests模块（第二章）【代码】【图】
网络爬虫之requests模块今日概要基于requests的get请求基于requests模块的post请求基于requests模块ajax的get请求基于requests模块ajax的post请求综合项目练习：爬取国家药品监督管理总局中基于中华人民共和国化妆品生产许可证相关数据知识点回顾常见的请求头常见的相应头https协议的加密方式 基于如下5点展开requests模块的学习什么是requests模块requests模块是python中原生的基于网络请求的模块，其主要作用是用来模拟浏览器发起...
常见的反爬虫和应对方法
0x01 常见的反爬虫这几天在爬一个网站，网站做了很多反爬虫工作，爬起来有些艰难，花了一些时间才绕过反爬虫。在这里把我写爬虫以来遇到的各种反爬虫策略和应对的方法总结一下。从功能上来讲，爬虫一般分为数据采集，处理，储存三个部分。这里我们只讨论数据采集部分。一般网站从三个方面反爬虫：用户请求的Headers，用户行为，网站目录和数据加载方式。前两种比较容易遇到，大多数网站都从这些角度来反爬虫。第三种一些应用ajax的...
python爬虫之正则表达式【代码】
字符串是我们在编程的时候很常用的一种数据类型，检查会在字符串里面查找一些内容，对于比较简单的查找，字符串里面就有一些内置的方法可以处理，对于比较复杂的字符串查找，或者是有一些内容经常变化的字符串里面查找，那么字符串内置的查找方法已经不好使了，满足不了我们的要求，这个时候就得用正则表达式了，正则表达式就是用来匹配一些比较复杂的字符串。 在python中，如果使用正则表达式的话，需要导入re模块，re模块是...
shell爬虫【代码】
#!/bin/bash curl_str=‘curl -x "http://http-pro.abuyun.com:9010" --proxy-basic --proxy-user H78H42TCN191075P:3D1EA6E4F458AB69‘ curl_str=‘curl -L --socks5 socks-cla.abuyun.com:8030 --proxy-user S822RB9T27K96TPC:5E68523C79E62C41‘ ### encode url encode_url(){local supplier_name_encode="$(echo "$1" | tr -d ‘\n‘ | xxd -plain | sed ‘s/\(..\)/%\1/g‘)"echo"https://xin.baidu.com/s?q=${supplier_name_...
爬虫：Scrapy17 - Common Practices【代码】
在脚本中运行 Scrapy除了常用的 scrapy crawl 来启动 Scrapy，也可以使用 API 在脚本中启动 Scrapy。需要注意的是，Scrapy 是在 Twisted 异步网络库上构建的，因此其必须在 Twisted reactor 里运行。另外，在 spider 运行结束后，必须自行关闭 Twisted reactor。这可以通过 CrawlerRunner.crawl 所返回的对象中添加回调函数来实现。示例：from twisted.internet import reactor from scrapy.crawler import CrawlerRunner from scr...
Python2爬虫获取的数据存储到MySQL中时报错"Incorrect string value: '\\xE6\\x96\\xB0\\xE9\\x97\\xBB' for column 'new' at row 1"的解决办法
由于一直使用python3进行编码，在使用Python2时，将爬虫数据连接数据库进行存储时，出现如上的报错，经查资料 是数据库编码问题。如下转自：http://www.cnblogs.com/liuzhixin/p/6274821.html 的博客，在此感谢博主的慷慨分享之情。 错误原因：我们可以看到错误提示中的字符0xF0 0x9F 0x98 0x84 ，这对应UTF-8编码格式中的4字节编码（UTF-8编码规范）。正常的汉字一般不会超过3个字节，为什么为出现4个字节呢？实际上是它对应的是...
Python简单爬虫第六蛋！（完结撒花）【代码】【图】
第六讲： 今天我们来实战一个项目，我本人比较喜欢看小说，有一部小时叫《圣墟》不知道大家有没有听说过，个人觉得还是不错的，现在联网的时候，都可以随时随地用手机打开浏览器搜索查看，但是有时候也会遇到没有网络的情况，这个就很扎心了，有什么办法呢？所以这个项目基于这么一个现实背景来分析实现一下，把我们前几次讲到一些技术方法都运用一遍。 （有人可能会说直接下载一个txt格式的小说文本文件不就好了，虽然是挺方...