我们在做爬虫的过程中经常会遇到这样的情况，最初爬虫正常运行，正常抓取数据，一切看起来都是那么的美好，然而一杯茶的功夫可能就会出现错误，比如 403 Forbidden，这时候打开网页一看，可能会看到“您的 IP 访问频率太高”这样的提示。出现这样的现象的原因是网站采取了一些反爬虫的措施，比如服务器会检测某个 IP 在单位时间内的请求次数，如果超过了这个阈值，那么会直接拒绝服务，返回一些错误信息，这种情况可以称之为封 IP，...
深入浅出通信原理Python代码版深入浅出通信原理是陈爱军的心血之作，于通信人家园连载，此处仅作python代码笔记训练所用 陈老师的连载从多项式乘法讲起，一步一步引出卷积、傅立叶级数展开、旋转向量、三维频谱、IQ调制、数字调制等一系列通信原理知识连载1：从多项式乘法说起 \[ (x+1)(x^2+2x+5)=x^3+3x^2+7x+5 \] import sympy x = sympy.Symbol('x') sympy.expand((x+1)*(x*x+2*x+5))这种计算方法总结起来就是： 反褶：一般多项...
初步理解一下：对于一组输入，根据这个输入，输出有多种可能性，需要计算每一种输出的可能性，以可能性最大的那个输出作为这个输入对应的输出。 那么，如何来解决这个问题呢？ 贝叶斯给出了另一个思路。根据历史记录来进行判断。 思路是这样的： 1、根据贝叶斯公式：P（输出|输入）=P（输入|输出）*P（输出）/P（输入） 2、P（输入）=历史数据中，某个输入占所有样本的比例； 3、P（输出）=历史数据中，某个输出占所有样本的比例；...
代码如下所示：import time from threading import Threaddef sleeper(i):print "thread %d sleeps for 5 seconds" % itime.sleep(5)print "thread %d woke up" % ifor i in range(10):t = Thread(target=sleeper, args=(i,))t.start()现在这段代码返回以下内容：thread 0 sleeps for 5 seconds thread 1 sleeps for 5 seconds thread 2 sleeps for 5 seconds thread 3 sleeps for 5 seconds thread 4 sleeps for 5 seconds thread...
主要内容： 一、 爬虫原理 二 、Requests请求库 一、 爬虫原理 1.什么是互联网？ 指的是由一堆网络设备，把一台台的计算机互联网到一起称之为互联网。2.互联网建立的目的？ 互联网建立的目的是为了数据的传递以及数据的共享。3.什么是数据？ 例如淘宝、京东商品信息等... 东方财富、雪球网的一些证券投资信息... 链家、自如等房源信息.... 12306的票务信息...4.上网的全过程: ...
#1、发起请求使用http库向目标站点发起请求，即发送一个RequestRequest包含：请求头、请求体等#2、获取响应内容如果服务器能正常响应，则会得到一个ResponseResponse包含：html，json，图片，视频等#3、解析内容解析html数据：正则表达式，第三方解析库如Beautifulsoup，pyquery等解析json数据：json模块解析二进制数据:以b的方式写入文件#4、保存数据数据库文件 请求与响应 #http协议：http://www.cnblogs.com/linhaifeng/artic...
关于Scrapy工作流程回顾 Scrapy单机架构上图的架构其实就是一种单机架构，只在本机维护一个爬取队列，Scheduler进行调度，而要实现多态服务器共同爬取数据关键就是共享爬取队列。分布式架构我将上图进行再次更改这里重要的就是我的队列通过什么维护？这里一般我们通过Redis为维护，Redis，非关系型数据库，Key-Value形式存储，结构灵活。并且redis是内存中的数据结构存储系统，处理速度快，提供队列集合等多种存储结构，方便队列维...
这一篇文章主要是为了对scrapy框架的工作流程以及各个组件功能的介绍 Scrapy目前已经可以很好的在python3上运行Scrapy使用了Twisted作为框架，Twisted有些特殊的地方是它是事件驱动的，并且比较适合异步的代码。对于会阻塞线程的操作包含访问文件、数据库或者Web、产生新的进程并需要处理新进程的输出(如运行shell命令)、执行系统层次操作的代码(如等待系统队列),Twisted提供了允许执行上面的操作但不会阻塞代码执行的方法。 Scrap...
在python前期学习中或者在学flask中，if_name_ = ="main"经常出现在我们的眼帘中，我们经常会问，这个是个什么玩意儿，它是干什么的？ 我们知道，if 语句是判断语句，当==条件为true时，才会 执行if语句。否者它不执行。 so ，这没什么用，它到底是干什么的，让我们分开来讲： __name__是一个变量。前后加了双下划线是因为是因为这是系统定义的名字。普通变量不要使用此方式命名变量。 Python有很多模块，而这些模块是可以独立运行...
Date: 2019-06-04 Author: SunPython多线程原理与实战 目的： （1）了解python线程执行原理 （2）掌握多线程编程与线程同步 （3）了解线程池的使用 1 线程基本概念 1.1 线程是什么？ 线程是指进程内的一个执行单元,也是进程内的可调度实体. 与进程的区别: (1) 地址空间:进程内的一个执行单元;进程至少有一个线程;它们共享进程的地址空间;而进程有自己独立的地址空间; (2) 资源拥有:进程是资源分配和拥有的单位,同一个进程内的线程共...
“入门”是良好的动机，但是可能作用缓慢。如果你手里或者脑子里有一个项目，那么实践起来你会被目标驱动，而不会像学习模块一样慢慢学习。 另外如果说知识体系里的每一个知识点是图里的点，依赖关系是边的话，那么这个图一定不是一个有向无环图。因为学习A的经验可以帮助你学习B。因此，你不需要学习怎么样“入门”，因为这样的“入门”点根本不存在！你需要学习的是怎么样做一个比较大的东西，在这个过程中，你会很快地学会需要学...
一、测试模型 下面这部分来自于某书籍资料，拿过来，按需参考一下：测试模型（1）线性测试1、概念：通过录制或编写对应应用程序的操作步骤产生的线性脚本。单纯的来模拟用户完整的操作场景。（操作，重复操作，数据）都混合在一起。2、优点：每个脚本相对独立，且不产生其他依赖和调用。任何一个测试用例脚本拿出来都可以单独执行。3、缺点：开发成本高，用例之间存在重复的操作。比如重复的用户登录和退出。维护成本高，由于重复的...
文章目录算法来源算法原理终止节点和陷阱节点终止节点陷阱节点解决思路算法不足算法实现算法来源 早期搜索引擎采用分类目录的方法，通过人工进行网页分类，并整理出高质量的网页。 后来，随着网页的增多，人工分类已经不现实，此时期搜索引擎采用文本检索的方法，即计算用户检索的关键词与网页内容的相关度，返回所有结果，但关键词并不能反映网页的质量，搜索效果不好。 斯坦福大学的两位研究生佩奇 (Larry Page）和布林 (Sergey ...
抽象类与接口类 接口类 继承有两种用途： 一：继承基类的方法，并且做出自己的改变或者扩展（代码重用） 二：声明某个子类兼容于某基类，定义一个接口类Interface，接口类中定义了一些接口名（就是函数名）且并未实现接口的功能，子类继承接口类，并且实现接口中的功能 开发中容易出现的问题class Alipay:支付宝支付def pay(self,money):print(支付宝支付了%s元%money)class Applepay:apple pay支付def pay(self,money):print(ap...
在推荐系统众多方法中，基于用户的协同过滤推荐算法是最早诞生的，原理也较为简单。该算法1992年提出并用于邮件过滤系统，两年后1994年被 GroupLens 用于新闻过滤。一直到2000年，该算法都是推荐系统领域最著名的算法。 本文简单介绍基于用户的协同过滤算法思想以及原理，最后基于该算法实现园友的推荐，即根据你关注的人，为你推荐博客园中其他你有可能感兴趣的人。基本思想 俗话说“物以类聚、人以群分”，拿看电影这个例子来...