学习任何一门开发语言都离不开框架，一个框架就好比是一个毛坯房，只需要我们装修就可以入住。如果没有框架我们就只能一砖一瓦的去盖楼房了。框架的种类很多，具体选择要根据实际的业务情况。下面就简单的介绍一下Python七款开源框架的优劣。 Django Django 应该是最出名的Python框架，GAE甚至Erlang都有框架受它影响。Django是走大而全的方向，它最出名的是其全自动化的管理后台：只需要使用起ORM，做简单的对象定义，它就能...
主动学习python框架libact配置教程 配置教程 libact是一个Python包，旨在让用户更容易地进行主动学习。该包不仅实现了几种流行的主动学习策略，而且还提供了一种“active learning by learning”算法，该算法可以帮助用户动态地自动选择最佳主动学习策略。此外，该包还提供了一个统一的接口，用于实现更多的主动学习策略。 接下来进入正题：如何安装libactgit clone https://github.com/ntucllab/libact.git，将源代码克隆到本地cd...
想学习web框架，又想熟悉python，问题来了，有没有极简的数据来支撑快速开发，特来研究 不能去研究几十个，没时间，研究主流的即可 Django、Tornado、Flask、Twisted。 所谓网络框架是指这样的一组Python包，它能够使开发者专注于网站应用业务逻辑的开发，而无须处理网络应用底层的协议、线程、进程等方面。这样能大大提高开发者的工作效率，同时提高网络应用程序的质量。 在目前Python语言的几十个开发框架中，几乎所有的全栈网络...
python单元测试之unittest框架 一、什么是单元测试 单元测试是用来对一个模块、一个函数或者一个类来进行正确性检验的测试工作。 比如对于函数abs()，我们可以编写的测试用例为： （1）输入正数，比如1、1.2、0.99，期待返回值与输入相同 （2）输入复数，比如-1、-1.2、-0.99，期待返回值与输入相反 （3）输入0，期待返回0 （4）输入非数值类型，比如None、[]、{}、期待抛出TypeError 把上面这些测试用例放到一个测试模块里，就是一...
user agent是指用户代理，简称 UA。 作用：使服务器能够识别客户使用的操作系统及版本、CPU 类型、浏览器及版本、浏览器渲染引擎、浏览器语言、浏览器插件等。 网站常常通过判断 UA 来给不同的操作系统、不同的浏览器发送不同的页面。但当我们使用爬虫程序时，当我们对一个页面频繁请求时，同一个User-Agent很容易被网站服务器发现我们是一个爬虫机器人，从而被列入黑名单。所以我们需要频繁的更换请求头。 1.在中间件文件（middle...
Request+json爬取bilibili所有的番剧:from urllib.request import Request, urlopen from fake_useragent import UserAgent import json import pymysql# 获取连接对象 conn = pymysql.connect(host="localhost", user="root", password="root", database="pcdate", charset="utf8") # 获取游标 c = conn.cursor()base_url = "https://api.bilibili.com/pgc/season/index/result?season_version=-1&area=-1&is_finish=-1©right...
目录Web应用WSGI接口web框架 Web应用 web应用程序的本质： 就是通过浏览器访问互联网上指定的网页文件展示到浏览器上。 web应用程序的流程：浏览器：将要请求的内容按照HTTP协议发送至服务端 服务端：根据请求内容找到指定的HTML页面 浏览器：解析请求到的HTML展示出来 详细来看：WSGI接口 wsgi的定义： wsgi（python web server gateway interface）即python web服务器网关接口 wsgi的作用： 将web服务器和web框架分开，混合匹配服...
1 谈谈你对http协议的认识。 2 谈谈你对websocket协议的认识。 3 什么是magic string ？ 4 列举Http请求中常见的请求方式？ 5 列举Http请求中的状态码？ 6 列举Http请求中常见的请求头？ 7 django、flask、tornado框架的比较？ 8 什么是wsgi？ 9 简述MVC和MTV 10 谈谈你对restfull 规范的认识？ 11 接口的幂等性是什么意思？ 12 什么是RPC？ 13 Http和Https的区别？ 14 Flask框架的优势？ 15 Flask框架依赖组件？ 16 Flask蓝图的作...
目录 整体知识框架 环境准备 (windows) appium安装和使用 deviceName 可通过adb devices 得到 appPackage 和appActivity 的获取：连接手机 dos 输入 Pycharm引入插件Appium-Python-Client----关联Appium 和Python ? HTMLTestReportCN----生成测试报告 修改后的测试用例代码 : 测试用例二：FirstTest 测试用例二：SecondTest 主测试用例：使用unittest封装多个测试用例 yaml数据配置----数据分离 日志收集 logging构成 PageObj...
传统方式安装Scrapy(慎用) 练习了基本的操作之后，当然就要找框架来进行爬虫实验啊。于是就在网上找Windows 64安装Scrapy的方法，查到的都是非常繁琐的安装方式，由于Scrapy有很多个依赖，所以在安装Scrapy之前你就要先安装他的所有的依赖啊，下面列举出部分依赖库： lxml模块 cryptography模块 pywin32模块 Twisted模块 pyOpenSSL模块等等，大家想想啊，Python怎么会那么顺利的让我们安装完这里模块呢？答案是一定的。有些人会说，...
网络爬虫是什么？ 网络爬虫就是：请求网站并提取数据的自动化程序 网络爬虫能做什么？ 网络爬虫被广泛用于互联网搜索引擎或其他类似网站，可以自动采集所有其能够访问到的页面内容，以获取或更新这些网站的内容和检索方式。 网络爬虫还被用于爬取各个网站的数据，进行分析、预测近几年来，大量的企业和个人开始使用网络爬虫采集互联网的公开数据，进行数据分析，进一步达到商业目的。 利用网络爬虫能从网上爬取什么数据？ 可以好不...
人生苦短，我用 Python前文传送门： 小白学 Python 爬虫（1）：开篇 小白学 Python 爬虫（2）：前置准备（一）基本类库的安装 小白学 Python 爬虫（3）：前置准备（二）Linux基础入门 小白学 Python 爬虫（4）：前置准备（三）Docker基础入门 小白学 Python 爬虫（5）：前置准备（四）数据库基础 小白学 Python 爬虫（6）：前置准备（五）爬虫框架的安装 小白学 Python 爬虫（7）：HTTP 基础 小白学 Python 爬虫（8）：网页基础 小...
人生苦短，我用 Python前文传送门： 小白学 Python 爬虫（1）：开篇 小白学 Python 爬虫（2）：前置准备（一）基本类库的安装 小白学 Python 爬虫（3）：前置准备（二）Linux基础入门 小白学 Python 爬虫（4）：前置准备（三）Docker基础入门 小白学 Python 爬虫（5）：前置准备（四）数据库基础 小白学 Python 爬虫（6）：前置准备（五）爬虫框架的安装 小白学 Python 爬虫（7）：HTTP 基础 小白学 Python 爬虫（8）：网页基础 小...
支持参数化 能够支持简单的单元测试和复杂的功能测试，还可以用来做selenium/appnium等自动化测试、接口自动化测试（pytest+requests） pytest具有很多第三方插件，并且可以自定义扩展，比较好用的如pytest-selenium（集成selenium）、pytest-html（完美html测试报告生成）、pytest-rerunfailures（失败case重复执行）、pytest-xdist（多CPU分发）等 测试用例的skip和xfail处理 可以很好的和jenkins集成 report框架----allure 也支...
人生苦短，我用 Python前文传送门： 小白学 Python 爬虫（1）：开篇 小白学 Python 爬虫（2）：前置准备（一）基本类库的安装 小白学 Python 爬虫（3）：前置准备（二）Linux基础入门 小白学 Python 爬虫（4）：前置准备（三）Docker基础入门 小白学 Python 爬虫（5）：前置准备（四）数据库基础 小白学 Python 爬虫（6）：前置准备（五）爬虫框架的安装 小白学 Python 爬虫（7）：HTTP 基础 小白学 Python 爬虫（8）：网页基础 小...