数据存储： json： XML： json是轻量级的数据交互格式 HTML： 给用户看的，展示数据的 数据交互格式： 简单理解就是一个字点或者list 书写格式：不能写注释 key：Value（必须都是双引号） 末尾不能写逗号 整个文件有且仅有一个{ }或[ ]模块操作： 字符串： loads()： 代码：# coding=gbk import json# 1.字符串和dic list转换 # 字符串(json) --> dict list data = [{"name":"张三", "age":20}, {"name":"李四", "age":18}] list_d...
数据分析： 正则表达式： Test1（正则表达式 - 字符串拆分）： 代码：import re# 拆分字符串 one = asdfsdfas # 标准是以s为拆分 pattern = re.compile(s) result = pattern.split(one) print(result)返回：[a, df, dfa, ]Test2（正则表达式 - 匹配中文）： 代码1： # 匹配中文 two = <h2 tid="tid-YkerKe" id="hid-Htc8Nb">Test4（正则表达式 - 纯数字的正则）：</h2># python中匹配中间 [a-z] unicode的范围 pattern = re.compil...
立即学习:https://edu.csdn.net/course/play/24756/284627?utm_source=blogtoedu 1.查看当前线程的信息： the_thread=threading.current_thread() print(the_thread) print(the_thread.name) #查看名字 #给线程改名字： 在多线程函数下， th1=threading.Thread(target=线程函数名，name=" ") 2.threading.enumerate()函数当查看前的线程： 多线程函数下： print(threading.enumerate())
解析库的使用 使用正则表达式，比较烦琐，而且万一有地方写错了，可能导致匹配失败。 对于网页的节点来说，有 id 、 class 或其他属性。 而且节点之间还有层次关系，在网页中可以通过 XPath 或 css 选择器来定位一个或多个节点 。 利用 XPath 或 css选择器来提取某个节点，然后再调用相应方法获取它的正文内容或者属性。 在 Python 中，有 lxml 、Beautiful Soup 、 pyquery 等解析库实现这个操作。 使用 XPath XPath ， 全称 XML ...
立即学习:https://edu.csdn.net/course/play/24756/280667?utm_source=blogtoedu 2.发送post请求：个人用户页面：login文件（post请求）里查找url，用户名和密码： import requests url= headers={User-Agent: } data={redirect:url, username:用户名, password:密码} resp=requests.post(url,headers=headers,data=data) print(resp.text)
基本库的使用 最基础的 HTTP 库有 urllib 、 httplib2 、 requests 、 treq 等 。 使用urlib urlib 包含四个模块 口 request ： 它是最基本的 HTTP 请求模块，可以用来模拟发送请求 。 就像在浏览器里输入网址，然后回车一样，只需要给库方法传入 URL 以及额外的参数，就可以模拟实现这个过程了 。 口 error ： 异常处理模块，如果出现请求错误 ， 我们可以捕获这些异常，然后进行重试或其他操作以保证程序不会意外终止 。 口 pars...
Python 网络爬虫学习笔记（一） HTTP基本原理 URI和URL URI：统一资源标识符（Uniform Resource Identifier） URL：统一资源定位符（Uniform Resource Locator） URL是URI的子集 例：https：//github.com/favicon.ico 是GitHub的网站图标链接，它是一个URL，也是一个URI。（访问协议：https、访问路径（/即根目录）和资源名称favicon.ico） URN：统一资源名称(Uniform Resource Name )（例如一本书的ISBN） 超文本 超文本，hypert...
我写的例子： 应该这样引用： 比较常用的是html解析器 我写的例子： from bs4 import BeautifulSoup soup=BeautifulSoup(demo,“html.parser”) print(soup.prettify()) This is a python demo pageThe demo python introduces several python courses. Python is a wonderful general-purpose programming language. You can learn Python from novice to professional by tracking the following courses: Basic Python...
1. Spider 下载中间件(Middleware) Spider 中间件(Middleware) 下载器中间件是介入到 Scrapy 的 spider 处理机制的钩子框架，您可以添加代码来处理发送给 Spiders 的 response 及 spider 产生的 item 和 request 2. 激活一个下载DOWNLOADER_MIDDLEWARES 要激活一个下载器中间件组件，将其添加到 DOWNLOADER_MIDDLEWARES设置中，该设置是一个字典，其键是中间件类路径，它们的值是中间件命令 DOWNLOADER_MIDDLEWARES = { 'myproje...
1. Scrapy-Request和Response（请求和响应） Scrapy的Request和Response对象用于爬网网站。 通常，Request对象在爬虫程序中生成并传递到系统，直到它们到达下载程序，后者执行请求并返回一个Response对象，该对象返回到发出请求的爬虫程序。 sequenceDiagram 爬虫->>Request: 创建 Request->>Response:获取下载数据 Response->>爬虫:数据2. Request对象 class scrapy.http.Request(url[, callback, method='GET', headers, body, c...
1. Splash介绍Splash是一个JavaScript渲染服务，是一个带有HTTP API的轻量级浏览器，同时它对接了Python中的Twisted和QT库。利用它，我们同样可以实现动态渲染页面的抓取2. 安装 2.1 安装docker 2.2 拉取镜像 docker pull scrapinghub/splash2.3 用docker运行scrapinghub/splash docker run -p 8050:8050 scrapinghub/splash2.4 查看效果我们在8050端口上运行了Splash服务，打开http://192.168.99.100:8050/即可看到其Web页面3 Spl...
1. pyquery 1.1 介绍--Jquery解析库官网https://pythonhosted.org/pyquery/1.2 安装pip install pyquery1.3 使用方式 1.3.1 初始化方式字符串from pyquery import PyQuery as pqdoc = pq(str)print(doc(tagname))urlfrom pyquery import PyQuery as pqdoc = pq(url='http://www.baidu.com')print(doc('title'))文件from pyquery import PyQuery as pqdoc = pq(filename='demo.html')print(doc(tagname))1.3.2 选择节点获取当前节点...
1. 伪装自己 有些网站不会同意程序直接用上面的方式进行访问，如果识别有问题，那么站点根本不会响应，所以为了完全模拟浏览器的工作1.1 设置请求头 其中User-Agent代表用的哪个请求的浏览器 代码如下： from urllib.request import urlopen from urllib.request import Requesturl = 'http://www.server.com/login' user_agent = 'Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)' headers = { 'User-Agent' : user_agent } re...
#要求URL对应的股票数据显性的填充在HTML代码中import requests from bs4 import BeautifulSoup import traceback import redef getHTMLText(url, code="utf-8"):try:r = requests.get(url)r.raise_for_status()r.encoding = codereturn r.textexcept:return ""def getStockList(lst, stockURL):html = getHTMLText(stockURL, "GB2312")soup = BeautifulSoup(html, html.parser)a = soup.find_all(a)for i in a:try:href = i.attrs...
我们所抓取的网页源代码一般都是 HTML 格式的文件，只要研究明白 HTML 中 的标签（ Tag ）结构，就很容易进行解析并取得所需数据 。HTML 网页结构 HTML 网 页是由许多标签（ Tag ）构成，标签需用 。字符括起来 。 大部分标签 成对出现，与开始标签对应的结束标签前多 一个“／ ” 字符，例如 ＜ html＞＜斤itml＞。 少 数标签非成对出现 ，如 ＜i mg src=’’image. g”〉 。 HTML 网页主要结构如下 ： 比较简单的标签如“...