通过前面的文章已经学习了基本的爬虫知识，通过这个例子进行一下练习，毕竟前面文章的知识点只是一个一个单独的散知识点，需要通过实际的例子进行融合分析网站其实爬虫最重要的是前面的分析网站，只有对要爬取的数据页面分析清楚，才能更方便后面爬取数据目标站和目标数据目标地址：http://www.hshfy.sh.cn/shfy/gweb/ktgg_search.jsp目标数据：目标地址页面的中间的案开庭公告数据对数据页面分析从打开页面后可以看到默认的数据是...
1.spider_main# coding:utf8 from baike_spider import url_manager, html_downloader, html_parser, html_outputerclass SpiderMain(object): def __init__(self):self.urls = url_manager.UrlManager()self.downloader = html_downloader.HtmlDownLoader()self.parser = html_parser.HtmlParser()self.outputer = html_outputer.HtmlOutPuter() def craw(self, root_url):count = 1self.urls.add_new_url(root_url)whil...
Python爬虫人工智能大数据全栈视频史上最全合辑教程分享！毫无疑问Python是这两年最火的编程语言，不仅容易上手，且在多个行业都可应用。尤其今年人工智能及大数据的发展，Python将会展现更多的实用性！如果你是小白想改变自己的职业方向，抓紧时间上车…精心整理的资料和课程都在下面!Python全栈作为小白，想要快速入门，并且励志做python全栈工程师的话，这个视频课程非常适合入手：获取统一设置在文末，欢迎查阅！大数据、云计算...
说明：和上一个下载百度贴吧图片差不多，修改了正则，加入了页码控制#!/usr/bin/env python#! -*- coding: utf-8 -*-#图片地址样例:src="http://ww2.sinaimg.cn/large/005Yan1vjw1erf95qkbfog307e08uu0y.gif" import urllib,urllib2 import re #返回网页源代码defgetHtml(url, page):tempUrl = url + str(page)print tempUrlhtml = urllib2.urlopen(tempUrl)srcCode = html.read()return srcCodedefgetImg(url, start_page, end_pa...
因为我的博客是根据我每个阶段自己做的事情而写的，所以前言可能有点跑题，但它更有利于让我回忆这个阶段自己的所作所为。这篇文章主要介绍Selenium爬虫获取当前窗口句柄、切换窗口句柄以及调用Chrome浏览器几个知识点，其中获取当前句柄的方法是非常重要的一个知识点，只有真正遇到的时候才能体会到它的强大。 最近课程比较多，写博客的内容也比较杂，包括网站搭建、HTML设计、计算机图形学、Python数据挖掘、Flash动画等。...
一点碎碎念话说周围还在用人人网的人真是越来越少了，有一天闲来无事打开人人，发现最新的状态还是2013年12月的，好多好友也已经不怎么联系了，真是物是人非啊。翻了翻自己的状态，都是大学本科时发的，感觉挺有纪念意义的，就想着有空写个爬虫把自己的状态抓下来做个备份，万一哪天人人挂了，还能给自己的大学生活留个念想……成果断断续续花费了几晚上的时间（真的是太慢了，orz……），写出了代码，并成功抓取了自己的所有人人状...
# Python 爬虫项目1 ● Python 网页请求 requests POST GET 网页状态码1# -*- coding: UTF-8 -*-2from bs4 import BeautifulSoup 3import requests 45 url = "http://www.baidu.com"6 unknow = requests.get(url) 7print(type(unknow)) 8print(unknow) 通过标签匹配内容 1# -*- coding: UTF-8 -*- 2from bs4 import BeautifulSoup3import requests4 5 url = "http://zz.ga...
Python 爬虫修养-处理动态网页本文转自：i春秋社区0x01 前言在进行爬虫开发的过程中，我们会遇到很多的棘手的问题，当然对于普通的问题比如 UA 等修改的问题，我们并不在讨论范围，既然要将修养，自然不能说这些完全没有意思的小问题。0x02 Selenium + PhantomJS这个东西算是老生长谈的问题吧，基本我在问身边的朋友们的时候，他们都能讲出这条解决方案：Selenium + PhantomJS（Firefox Chrome之类的）但是真正的有实践过的人，是不...
1.什么是爬虫爬虫，即网络爬虫，大家可以理解为在网络上爬行的一直蜘蛛，互联网就比作一张大网，而爬虫便是在这张网上爬来爬去的蜘蛛咯，如果它遇到资源，那么它就会抓取下来。想抓取什么？这个由你来控制它咯。比如它在抓取一个网页，在这个网中他发现了一条道路，其实就是指向网页的超链接，那么它就可以爬到另一张网上来获取数据。这样，整个连在一起的大网对这之蜘蛛来说触手可及，分分钟爬下来不是事儿。2.浏览网页的过程在用...
想一想，还是写个完整的代码，总结一下前面学的吧。import requests import re# 获取网页源码 url = ‘http://www.ivsky.com/tupian/xiaohuangren_t21343/‘ data = requests.get(url).text#正则表达式三部曲 #<img src="http://img.ivsky.com/img/tupian/t/201411/01/xiaohuangren-009.jpg" width="135" height="135" alt="卑鄙的我小黄人图片"> regex = r‘<img src="(.*?.jpg)"‘#匹配网址 pa = re.compile(regex)#转为pattern对...
哈哈哈，模拟登录成功啦啦啦啦啦~~~~~重要的事本来要说三遍，不过还是算了==先上效果图：众所周知，很多网站都设置了登录之后才能获取查看页面的权利，因此模拟登录成了爬取信息的第一步，这一步成功了，嘿嘿，just do it!好，废话不多说，直接说重点：首先，你应该要了解网站登录的流程以及你需要post的信息，以豆瓣为例：source:movie redir:https://movie.douban.com/mine?status=collect form_email:username form_password:pa...
爬虫爬取图片参考：http://www.jianshu.com/p/19c846daccb3静谧的爬虫教程：https://cuiqingcai.com/990.html爬取段子参考：http://www.jianshu.com/p/0e7d1c80b8c3 原文：http://www.cnblogs.com/sxhui/p/6013426.html
一、SSL证书问题 上一篇文章，我们创建了一个小爬虫，下载了上海链家房产的几个网页。实际上我们在使用urllib联网的过程中，会遇到证书访问受限的问题。 处理HTTPS请求SSL证书验证，如果SSL证书验证不通过，会警告用户证书不受信任（即没有通过AC认证）。 上图左边我们可以看到SSL验证失败，所以以后遇到这些网站我们需要单独处理SSL证书，让程序主动忽略SSL证书验证错误，即可正常访问。例如我们访问12306。 ...
现在，我们已经进入到大数据时代，在对数据进行处理分析时，首要的是需要有数据，而作为数据的一个重要来源则来自于网络爬虫，鉴于Python语言的简洁高效，以及对爬虫技术的大力支持，我们选择利用Python作为主要编程语言。Python版本为2.7. 本文主要内容转自：http://cuiqingcai.com/category/technique/python，博主介绍的非常详细，所以在此打算直接拷贝过来了，也希望更多的人可以借此学习进步。 首先解释一下什么是爬虫。...
1# -*- coding: UTF-8 -*- 2import re3import urllib24 5from collections import deque6 7# 保存文件的后缀 8 SUFFIX=‘.html‘ 9# 提取文章标题的正则表达式10 REX_TITLE=r‘<title>(.*?)</title>‘11# 提取所需链接的正则表达式12 REX_URL=r‘/jdbc/(.+?).html‘13# 种子url，从这个url开始爬取14 BASE_URL=‘http://www.yiibai.com/jdbc/‘151617# 将获取到的文本保存为html文件18def saveHtml(file_name,file_content): 19# ...