首页 / PYTHON / Python网路编程下篇
Python网路编程下篇
内容导读
互联网集市收集整理的这篇技术教程文章主要介绍了Python网路编程下篇，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含10324字，纯文字阅读大概需要15分钟。
内容图文
socket编程
中篇对socket的搭建服务端与客户端的连接进行了代码实现化,以及socket内置方法的认识及运用。
粘包现象的出现
在中篇中，对于tcp和udp制作了一个远程执行命令的程序（1：执行错误命令 2：执行ls 3：执行ifconfig）
在tcp下:在运行时会发生粘包
在udp下:在运行时永远不会发生粘包
什么是粘包
在上篇中,对于socket的收发消息的原理进行了一些阐释
所谓粘包,主要还是因为接受方不知道消息之间的界限,不知道一次提取多少字节的数据所造成的。
此外，发送方引起的粘包是由TCP协议本身造成的，TCP为提高传输效率，发送方往往要收集到足够多的数据后才发送一个TCP段。若连续几次需要send的数据都很少，通常TCP会根据优化算法把这些数据合成一个TCP段后一次发送出去，这样接收方就收到了粘包数据。
- TCP（transport control protocol，传输控制协议）是面向连接的，面向流的，提供高可靠性服务。收发两端（客户端和服务器端）都要有一一成对的socket，因此，发送端为了将多个发往接收端的包，更有效的发到对方，使用了优化方法（Nagle算法），将多次间隔较小且数据量小的数据，合并成一个大的数据块，然后进行封包。这样，接收端，就难于分辨出来了，必须提供科学的拆包机制。 即面向流的通信是无消息保护边界的。
- UDP（user datagram protocol，用户数据报协议）是无连接的，面向消息的，提供高效率服务。不会使用块的合并优化算法，, 由于UDP支持的是一对多的模式，所以接收端的skbuff(套接字缓冲区）采用了链式结构来记录每一个到达的UDP包，在每个UDP包中就有了消息头（消息来源地址，端口等信息），这样，对于接收端来说，就容易进行区分处理了。 即面向消息的通信是有消息保护边界的。
- tcp是基于数据流的，于是收发的消息不能为空，这就需要在客户端和服务端都添加空消息的处理机制，防止程序卡住，而udp是基于数据报的，即便是你输入的是空内容（直接回车），那也不是空消息，udp协议会帮你封装上消息头，实验略
粘包有俩种现象
一、发送数据时间间隔很短，数据了很小，会合到一起，产生粘包
from socket import *
ip_port=('127.0.0.1',8082)
back_log=5
buffer_size=1024
tcp_server=socket(AF_INET,SOCK_STREAM)
tcp_server.bind(ip_port)
tcp_server.listen(back_log)
conn,addr=tcp_server.accept()
data1=conn.recv(buffer_size) #指定buffer_size ,得到的结果就是通过Nagle算法，随机接收次数。
print('第1次数据',data1)
data2=conn.recv(buffer_size)
print('第2次数据',data2)
data3=conn.recv(buffer_size)
print('第3次数据',data3)
服务端
from socket import *
import time
ip_port=('127.0.0.1',8082)
back_log=5
buffer_size=1024
tcp_client=socket(AF_INET,SOCK_STREAM)
tcp_client.connect(ip_port)
tcp_client.send('hello'.encode('utf-8'))
tcp_client.send('world'.encode('utf-8'))
tcp_client.send('egon'.encode('utf-8'))
客户端
第1次数据 b'helloworldegon' 第2次数据 b'' 第3次数据 b''服务端与客户端连接的结果
二、客户端发送了一段数据，服务端只收了一小部分，服务端下次再收的时候还是从缓冲区拿上次遗留的数据，产生粘包
from socket import *
ip_port=('127.0.0.1',8080)
back_log=5
buffer_size=1024
tcp_server=socket(AF_INET,SOCK_STREAM)
tcp_server.bind(ip_port)
tcp_server.listen(back_log)
conn,addr=tcp_server.accept()
data1=conn.recv(1)
print('第1次数据',data1)
# data2=conn.recv(5)
# print('第2次数据',data2)
#
# data3=conn.recv(1)
# print('第3次数据',data3)
服务端
from socket import *
import time
ip_port=('127.0.0.1',8080)
back_log=5
buffer_size=1024 #接收的数据只有1024
tcp_client=socket(AF_INET,SOCK_STREAM)
tcp_client.connect(ip_port)
tcp_client.send('helloworldegon'.encode('utf-8'))
time.sleep(1000)
客户端
第1次数据 b'h' 第2次数据 b'ellow' #发送的数据过大，接收的数据设置的较小，就会出现导致粘包 第3次数据 b'o'服务端与客户端连接的结果
补充知识：
1、tcp是可靠传输
tcp在数据传输时，发送端先把数据发送到自己的缓存中，然后协议控制将缓存中的数据发往对端，对端返回一个ack=1，发送端则清理缓存中的数据，对端返回ack=0，则重新发送数据，所以tcp是可靠的。
2、udp是不可靠传输
udp发送数据，对端是不会返回确认信息的，因此不可靠。
基于中篇的实现远程命令的例子,作出解决粘包的方法
#low版解决粘包版本服务端
from socket import *
import subprocess
ip_port=('127.0.0.1',8080)
back_log=5
buffer_size=1024
tcp_server=socket(AF_INET,SOCK_STREAM)
tcp_server.bind(ip_port)
tcp_server.listen(back_log)
while True:
conn,addr=tcp_server.accept()
print('新的客户端链接',addr)
while True:
#收消息
try:
cmd=conn.recv(buffer_size)
if not cmd:break
print('收到客户端的命令',cmd)
#执行命令，得到命令的运行结果cmd_res
res=subprocess.Popen(cmd.decode('utf-8'),shell=True,
stderr=subprocess.PIPE,
stdout=subprocess.PIPE,
stdin=subprocess.PIPE)
err=res.stderr.read()
if err:
cmd_res=err
else:
cmd_res=res.stdout.read()
#发送消息
if not cmd_res:
cmd_res='执行成功'.encode('gbk')
length=len(cmd_res) #计算长度
conn.send(str(length).encode('utf-8')) #把长度发给客户端
client_ready=conn.recv(buffer_size) #卡着一个recv
if client_ready == b'ready': #如果收到客户端的ready消息，就说明准备好了。
conn.send(cmd_res) #就可以send给客户端发送消息啦！
except Exception as e:
print(e)
break
low版解决粘包版本服务端
#low版解决粘包版客户端
from socket import *
ip_port=('127.0.0.1',8080)
back_log=5
buffer_size=1024
tcp_client=socket(AF_INET,SOCK_STREAM)
tcp_client.connect(ip_port)
while True:
cmd=input('>>: ').strip()
if not cmd:continue
if cmd == 'quit':break
tcp_client.send(cmd.encode('utf-8'))
#解决粘包
length=tcp_client.recv(buffer_size) #接收发送过来的长度（1024*8=8192，2**8192=可以接收的长度）
tcp_client.send(b'ready') #客户端再send给服务端，告诉服务端我准备好啦！
length=int(length.decode('utf-8')) #先解码，转成字符串的长度
#解决思路：就是提前发一个头过去，告诉客户端需要接收的长度（分两步：1、发送发度 2、再次发送数据）
recv_size=0 #接收的尺寸
recv_msg=b'' #最后要拼接起来
while recv_size < length: #要收多大？，要先判断接收的尺寸<length
recv_msg += tcp_client.recv(buffer_size) #接收到的数据，拼接buffer_size，
recv_size=len(recv_msg) #1024 #衡量自己接收了多少数据,有没有收完（统计recv_msg的长度）
print('命令的执行结果是 ',recv_msg.decode('gbk'))
tcp_client.close()
low版解决粘包版客户端
经过以上代码处理,再次进行 ipconfig dir这些命令则可以恢复正常,不会出现粘包问题
总结：
（为何low): 程序的运行速度远快于网络传输速度，所以在发送一段字节前，先用send去发送该字节流长度，这种方式会放大网络延迟带来的性能损耗。
接下来,有一种新的方式处理粘包的问题
import socket,time,subprocess,pickle,struct
ip_port=('127.0.0.1',8080)
s=socket.socket(socket.AF_INET,socket.SOCK_STREAM)
s.setsockopt(socket.SOL_SOCKET, socket.SO_REUSEADDR, 1)
s.bind(ip_port)
s.listen(5)
while True:
conn,addr=s.accept()
print('客户端',addr)
while True:
msg=conn.recv(1024)
if not msg:break
res=subprocess.Popen(msg.decode('utf-8'),shell=True,
stdin=subprocess.PIPE,
stderr=subprocess.PIPE,
stdout=subprocess.PIPE)
err=res.stderr.read()
if err:
ret=err
else:
ret=res.stdout.read()
l=struct.pack('i',len(ret))
conn.sendall(l+ret)
# conn.send(str(len(ret)).encode('utf-8'))
conn.close()
服务端
import socket,time,struct
s=socket.socket(socket.AF_INET,socket.SOCK_STREAM)
res=s.connect_ex(('127.0.0.1',8080))
while True:
msg=input('>>: ').strip()
if len(msg) == 0:continue
if msg == 'quit':break
s.send(msg.encode('utf-8'))
l=s.recv(4)
x=struct.unpack('i',l)[0]
print(type(x),x)
# print(struct.unpack('I',l))
r_s=0
data=b''
while r_s < x:
r_d = s.recv(1024)
data += r_d
r_s += len(r_d)
print(data.decode('gbk'))
客户端
在解决了TCP的粘包问题,那么又该怎么解决TCP的并发问题
SocketServer是基于socket写成的一个更强大的模块。
SocketServer简化了网络服务器的编写。它有4个类：TCPServer，UDPServer，UnixStreamServer，UnixDatagramServer。这4个类是同步进行处理的，另外通过ForkingMixIn和ThreadingMixIn类来支持异步。
在python3中该模块是socketserver
在python2中该模块是Socketserver
服务器
服务器要使用处理程序，必须将其出入到服务器对象，定义了5个基本的服务器类型(就是“类”)。BaseServer，TCPServer，UnixStreamServer，UDPServer，UnixDatagramServer。注意：BaseServer不直接对外服务。
服务器：
要使用处理程序，必须将其传入到服务器的对象，定义了四个基本的服务器类。
（1）TCPServer(address,handler) 支持使用IPv4的TCP协议的服务器，address是一个（host,port）元组。Handler是BaseRequestHandler或StreamRequestHandler类的子类的实例。
（2）UDPServer(address,handler) 支持使用IPv4的UDP协议的服务器，address和handler与TCPServer中类似。
（3）UnixStreamServer(address,handler) 使用UNIX域套接字实现面向数据流协议的服务器，继承自TCPServer。
（4）UnixDatagramServer(address,handler) 使用UNIX域套接字实现数据报协议的服务器，继承自UDPServer。
这四个类的实例都有以下方法。
1、s.socket 用于传入请求的套接字对象。
2、s.sever_address 监听服务器的地址。如元组（"127.0.0.1",80）
3、s.RequestHandlerClass 传递给服务器构造函数并由用户提供的请求处理程序类。
4、s.serve_forever() 处理无限的请求 #无限处理client连接请求
5、s.shutdown() 停止serve_forever()循环
SocketServer模块中主要的有以下几个类：
1、BaseServer 包含服务器的核心功能与混合类（mix-in）的钩子功能。这个类主要用于派生，不要直接生成这个类的类对象，可以考虑使用TCPServer和UDPServer类。
2、TCPServer 基本的网络同步TCP服务器
3、UDPServer 基本的网络同步UDP服务器
4、ForkingTCPServer 是ForkingMixIn与TCPServer的组合
5、ForkingUDPServer 是ForkingMixIn与UDPServer的组合
6、ThreadingUDPServer 是ThreadingMixIn和UDPserver的组合
7、ThreadingTCPServer 是ThreadingMixIn和TCPserver的组合
8、BaseRequestHandler 必须创建一个请求处理类，它是BaseRequestHandler的子类并重载其handle()方法。
9、StreamRequestHandler 实现TCP请求处理类的
10、DatagramRequestHandler 实现UDP请求处理类的
11、ThreadingMixIn 实现了核心的线程化功能，用于与服务器类进行混合(mix-in)，以提供一些异步特性。不要直接生成这个类的对象。
12、ForkingMixIn 实现了核心的进程化功能，用于与服务器类进行混合(mix-in)，以提供一些异步特性。不要直接生成这个类的对象。
创建服务端的步骤：
1：首先必须创建一个请求处理类
2：它是BaseRequestHandler的子类
3：该请求处理类是BaseRequestHandler的子类并重新写其handle()方法
4：必须要有一个handle()方法,规则定义死的
实例化 请求处理类传入服务器地址和请求处理程序类
最后实例化调用serve_forever() #无限处理client请求
记住一个原则：对tcp来说：self.request=conn
在这里作一个简单的小例子
# TCP下实现的并发
import socketserver
class Myserver(socketserver.BaseRequestHandler): # 必须要继承这个类
def handle(self): # 必须要有这个方法
print(self.request) # 相当于conn
print(self.client_address) # 连接过来的客户端地址
while True:
try:
data = self.request.recv(1024)
if not data:break
print("收到来自%s的消息是: %s" %(self.client_address,data.decode("utf-8")))
nr = input(">>>")
self.request.sendall(nr.encode("utf-8"))
except Exception:
break
if __name__ == '__main__':
# ip_port = input("请输入ip和端口")
obj = socketserver.ThreadingTCPServer(("127.0.0.1",6060),Myserver)
obj.serve_forever()
服务端
import socket
ip_port = ("127.0.0.1",6060)
buffer_size = 1024
s = socket.socket(socket.AF_INET,socket.SOCK_STREAM)
s.connect(ip_port)
while True:
nr = input(">>>").strip() #
if not nr:continue
s.sendall(bytes(nr, encoding="utf-8"))
res = s.recv(buffer_size)
print("来自远方的消息",str(res, encoding="utf-8"))
客户端
源码剖析。。。未完待续……
内容总结
以上是互联网集市为您收集整理的Python网路编程下篇全部内容，希望文章能够帮你解决Python网路编程下篇所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。
内容备注
版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。
内容手机端
扫描二维码推送至手机访问。