最近在项目中遇到这一需求： 我需要一个函数工作，比如远程连接一个端口，远程读取文件等，但是我给的时间有限，比如，4秒钟如果你还没有读取完成或者连接成功，我就不等了，很可能对方已经宕机或者拒绝了。这样可以批量做一些事情而不需要一直等，浪费时间。 结合我的需求，我想到这种办法： 1、在主进程执行，调用一个进程执行函数，然后主进程sleep，等时间到了，就kill 执行函数的进程。 测试一个例子：import time import th...
一般来说，使用线程有两种模式, 一种是创建线程要执行的函数, 把这个函数传递进Thread对象里，让它来执行. 另一种是直接从Thread继承，创建一个新的class，把线程执行的代码放到这个新的class里。 实现多线程网页爬虫，采用了多线程和锁机制，实现了广度优先算法的网页爬虫。 先给大家简单介绍下我的实现思路： 对于一个网络爬虫，如果要按广度遍历的方式下载，它是这样的：1.从给定的入口网址把第一个网页下载下来2.从第一个网页中...
本文实例讲述了python开发之基于thread线程搜索本地文件的方法。分享给大家供大家参考，具体如下： 先来看看运行效果图：利用多个线程处理搜索的问题，我们可以发现他很快.... 下面是代码部分：# A parallelized "find(1)" using the thread module. # This demonstrates the use of a work queue and worker threads. # It really does do more stats/sec when using multiple threads, # although the improvement is only about...
本文实例讲述了python开发之thread线程基础。分享给大家供大家参考，具体如下： 说到线程，我们要知道啥是串行，啥是并行程序 举个例子： 串行程序，就是一个一个的执行程序#python threading import time 每一秒中，输出：this is a demo! def serial():串行输出time.sleep(1)print(this is a demo!) def main():for i in range(5):serial() if __name__ == __main__:main()运行结果如下：>>> this is a demo! this is a demo! ...
目前python 提供了几种多线程实现方式 thread，threading，multithreading ,其中thread模块比较底层，而threading模块是对thread做了一些包装，可以更加方便的被使用。 面向对象技术简介类(Class): 用来描述具有相同的属性和方法的对象的集合。它定义了该集合中每个对象所共有的属性和方法。对象是类的实例。类变量：类变量在整个实例化的对象中是公用的。类变量定义在类中且在函数体之外。类变量通常不作为实例变量使用。数据成员...
接着第一篇继续学习。 一、数据分类 正确数据：id、性别、活动时间三者都有 放在这个文件里file1 = ruisi\\correct%s-%s.txt % (startNum, endNum) 数据格式为293001 男 2015-5-1 19:17 没有时间：有id、有性别，无活动时间放这个文件里file2 = ruisi\\errTime%s-%s.txt % (startNum, endNum) 数据格式为2566 女 notime 用户不存在：该id没有对应的用户放这个文件里file3 = ruisi\\notexist%s-%s.txt % (startNum, endNum) 数据格式...
Queue模块保持线程同步 利用Queue对象先进先出的特性，将每个生产者的数据一次存入队列，而每个消费者将依次从队列中取出数据import threading # 导入threading模块 import Queue # 导入Queue模块 class Producer(threading.Thread):# 定义生产者类def __init__(self,threadname):threading.Thread.__init__(self,name = threadname)def run(self):global queue # 声明queue为全局变量queue.put(self.getName()) # 调用p...
最近我在用梯度下降算法绘制神经网络的数据时，遇到了一些算法性能的问题。梯度下降算法的代码如下（伪代码）：def gradient_descent():# the gradient descent codeplotly.write(X, Y)一般来说，当网络请求 plot.ly 绘图时会阻塞等待返回，于是也会影响到其他的梯度下降函数的执行速度。 一种解决办法是每调用一次 plotly.write 函数就开启一个新的线程，但是这种方法感觉不是很好。 我不想用一个像 cerely（一种分布式任务队列）...
目的:是学习python 多线程的工作原理，及通过抓取400张图片这种IO密集型应用来查看多线程效率对比import requests import urlparse import os import time import threading import Queuepath = /home/lidongwei/scrapy/owan_img_urls.txt #path = /home/lidongwei/scrapy/cc.txt fetch_img_save_path = /home/lidongwei/scrapy/owan_imgs/# 读取保存再文件里面400个urls with open(path) as f :urls = f.readlines()urls = urls[:...
安装Tornado 省事点可以直接用grequests库，下面用的是tornado的异步client。 异步用到了tornado，根据官方文档的例子修改得到一个简单的异步爬虫类。可以参考下最新的文档学习下。 pip install tornado 异步爬虫#!/usr/bin/env python # -*- coding:utf-8 -*-import time from datetime import timedelta from tornado import httpclient, gen, ioloop, queues import tracebackclass AsySpider(object):"""A simple class of as...
python是支持多线程的，主要是通过thread和threading这两个模块来实现的。thread模块是比较底层的模块，threading模块是对thread做了一些包装的，可以更加方便的使用。 虽然python的多线程受GIL限制，并不是真正的多线程，但是对于I/O密集型计算还是能明显提高效率，比如说爬虫。 下面用一个实例来验证多线程的效率。代码只涉及页面获取，并没有解析出来。# -*-coding:utf-8 -*- import urllib2, time import threadingclass MyThr...
本文实例讲述了python socket多线程通讯方法。分享给大家供大家参考，具体如下：#!/usr/bin/evn python """ 这是一个Socket+多进程的例子（聊天服务端） """ import socket import threading # 处理中文数据用的 encoding = "GBK" def HKServer(client, addr):"""与客户端时实通讯函数加入encoding是为了处理输入中文数据client 客户socketaddr 客户address"""# 通知已有的每个客户，有新的成员加入for c in clients: c.send(byte...
有一个疑问：python的多线程性能问题，本来以为是GIL的竞争导致的多线程下特别慢。但是在单cpu上的多线程性能下降并不明显，但是同样的代码到了多核上之后，性能下降特别明显。那么在多核下的多线程性能明显下降的原因是cpu的频繁切换导致的么？ 主要问题应该是：【多CPU之间的频繁切换会有消耗么？】【备注】：已经明白了为什么需要GIL以及GIL导致的同一时间只能执行一个线程。想问的问题是python在多cpu之间的执行细节。回复内容...
python中由于全局锁(GIL)的存在导致多线程并不能利用多核，看了一些资料说，java好像对多线程的处理是可以利用多核的硬件资源的(因为java直接调用的操作系统的多线程接口处理的)。不同的语言对多线程的处理是否能做到利用硬件，主要取决于编译器或者解释器对线程的包装吗？还有python中多进程是怎样一个概念，不是说一个程序只有一个进程，进程里面可以有多个线程，那么python是怎么在一个程序中用多个进程的？回复内容： Python中...
用scapy发送icmp包。开了200个线程，每个线程发送一个包后结束。测试了下只有300包/sec的速度，是python的多线程效率不高的问题吗？---------------------------------------后来发现不是多线程的问题，是scapy本来发包就慢的问题。单线程scapy每秒几个包，多线程最多每秒60.用C写的话每秒3w..回复内容： Python由于有全锁局的存在（同一时间只能有一个线程执行），并不能利用多核优势。所以，如果你的多线程进程是CPU密集型的，那...