数据存储: json: XML: json是轻量级的数据交互格式 HTML: 给用户看的,展示数据的 数据交互格式: 简单理解就是一个字点或者list 书写格式:不能写注释 key:Value(必须都是双引号) 末尾不能写逗号 整个文件有且仅有一个{ }或[ ]模块操作: 字符串: loads(): 代码:# coding=gbk import json# 1.字符串和dic list转换 # 字符串(json) --> dict list data = [{"name":"张三", "age":20}, {"name":"李四", "age":18}] list_d...
数据分析: 正则表达式: Test1(正则表达式 - 字符串拆分): 代码:import re# 拆分字符串 one = asdfsdfas # 标准是以s为拆分 pattern = re.compile(s) result = pattern.split(one) print(result)返回:[a, df, dfa, ]Test2(正则表达式 - 匹配中文): 代码1: # 匹配中文 two = <h2 tid="tid-YkerKe" id="hid-Htc8Nb">Test4(正则表达式 - 纯数字的正则):</h2># python中匹配中间 [a-z] unicode的范围 pattern = re.compil...
立即学习:https://edu.csdn.net/course/play/24756/284627?utm_source=blogtoedu 1.查看当前线程的信息: the_thread=threading.current_thread() print(the_thread) print(the_thread.name) #查看名字 #给线程改名字: 在多线程函数下, th1=threading.Thread(target=线程函数名,name=" ") 2.threading.enumerate()函数当查看前的线程: 多线程函数下: print(threading.enumerate())
解析库的使用 使用正则表达式,比较烦琐,而且万一有地方写错了,可能导致匹配失败。 对于网页的节点来说,有 id 、 class 或其他属性。 而且节点之间还有层次关系,在网页中可以通过 XPath 或 css 选择器来定位一个或多个节点 。 利用 XPath 或 css选择器来提取某个节点,然后再调用相应方法获取它的正文内容或者属性。 在 Python 中,有 lxml 、Beautiful Soup 、 pyquery 等解析库实现这个操作。 使用 XPath XPath , 全称 XML ...
立即学习:https://edu.csdn.net/course/play/24756/280667?utm_source=blogtoedu 2.发送post请求:个人用户页面:login文件(post请求)里查找url,用户名和密码: import requests url= headers={User-Agent: } data={redirect:url, username:用户名, password:密码} resp=requests.post(url,headers=headers,data=data) print(resp.text)
基本库的使用 最基础的 HTTP 库有 urllib 、 httplib2 、 requests 、 treq 等 。 使用urlib urlib 包含四个模块 口 request : 它是最基本的 HTTP 请求模块,可以用来模拟发送请求 。 就像在浏览器里输入网址,然后回车一样,只需要给库方法传入 URL 以及额外的参数,就可以模拟实现这个过程了 。 口 error : 异常处理模块,如果出现请求错误 , 我们可以捕获这些异常,然后进行重试或其他操作以保证程序不会意外终止 。 口 pars...
Python 网络爬虫学习笔记(一) HTTP基本原理 URI和URL URI:统一资源标识符(Uniform Resource Identifier) URL:统一资源定位符(Uniform Resource Locator) URL是URI的子集 例:https://github.com/favicon.ico 是GitHub的网站图标链接,它是一个URL,也是一个URI。(访问协议:https、访问路径(/即根目录)和资源名称favicon.ico) URN:统一资源名称(Uniform Resource Name )(例如一本书的ISBN) 超文本 超文本,hypert...
我写的例子: 应该这样引用: 比较常用的是html解析器 我写的例子: from bs4 import BeautifulSoup soup=BeautifulSoup(demo,“html.parser”) print(soup.prettify()) This is a python demo pageThe demo python introduces several python courses. Python is a wonderful general-purpose programming language. You can learn Python from novice to professional by tracking the following courses: Basic Python...
1. Spider 下载中间件(Middleware) Spider 中间件(Middleware) 下载器中间件是介入到 Scrapy 的 spider 处理机制的钩子框架,您可以添加代码来处理发送给 Spiders 的 response 及 spider 产生的 item 和 request 2. 激活一个下载DOWNLOADER_MIDDLEWARES 要激活一个下载器中间件组件,将其添加到 DOWNLOADER_MIDDLEWARES设置中,该设置是一个字典,其键是中间件类路径,它们的值是中间件命令 DOWNLOADER_MIDDLEWARES = { 'myproje...
1. Scrapy-Request和Response(请求和响应) Scrapy的Request和Response对象用于爬网网站。 通常,Request对象在爬虫程序中生成并传递到系统,直到它们到达下载程序,后者执行请求并返回一个Response对象,该对象返回到发出请求的爬虫程序。 sequenceDiagram 爬虫->>Request: 创建 Request->>Response:获取下载数据 Response->>爬虫:数据2. Request对象 class scrapy.http.Request(url[, callback, method='GET', headers, body, c...
1. Splash介绍Splash是一个JavaScript渲染服务,是一个带有HTTP API的轻量级浏览器,同时它对接了Python中的Twisted和QT库。利用它,我们同样可以实现动态渲染页面的抓取2. 安装 2.1 安装docker 2.2 拉取镜像 docker pull scrapinghub/splash2.3 用docker运行scrapinghub/splash docker run -p 8050:8050 scrapinghub/splash2.4 查看效果我们在8050端口上运行了Splash服务,打开http://192.168.99.100:8050/即可看到其Web页面3 Spl...
1. pyquery 1.1 介绍--Jquery解析库官网https://pythonhosted.org/pyquery/1.2 安装pip install pyquery1.3 使用方式 1.3.1 初始化方式字符串from pyquery import PyQuery as pqdoc = pq(str)print(doc(tagname))urlfrom pyquery import PyQuery as pqdoc = pq(url='http://www.baidu.com')print(doc('title'))文件from pyquery import PyQuery as pqdoc = pq(filename='demo.html')print(doc(tagname))1.3.2 选择节点获取当前节点...
1. 伪装自己 有些网站不会同意程序直接用上面的方式进行访问,如果识别有问题,那么站点根本不会响应,所以为了完全模拟浏览器的工作1.1 设置请求头 其中User-Agent代表用的哪个请求的浏览器 代码如下: from urllib.request import urlopen from urllib.request import Requesturl = 'http://www.server.com/login' user_agent = 'Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)' headers = { 'User-Agent' : user_agent } re...
#要求URL对应的股票数据显性的填充在HTML代码中import requests from bs4 import BeautifulSoup import traceback import redef getHTMLText(url, code="utf-8"):try:r = requests.get(url)r.raise_for_status()r.encoding = codereturn r.textexcept:return ""def getStockList(lst, stockURL):html = getHTMLText(stockURL, "GB2312")soup = BeautifulSoup(html, html.parser)a = soup.find_all(a)for i in a:try:href = i.attrs...
我们所抓取的网页源代码一般都是 HTML 格式的文件,只要研究明白 HTML 中 的标签( Tag )结构,就很容易进行解析并取得所需数据 。HTML 网页结构 HTML 网 页是由许多标签( Tag )构成,标签需用 。字符括起来 。 大部分标签 成对出现,与开始标签对应的结束标签前多 一个“/ ” 字符,例如 < html><斤itml>。 少 数标签非成对出现 ,如 <i mg src=’’image. g”〉 。 HTML 网页主要结构如下 : 比较简单的标签如“...