首页 / LINUX / 从Linux源码看Socket(TCP)Client端的Connect

从Linux源码看Socket(TCP)Client端的Connect

内容导读

互联网集市收集整理的这篇技术教程文章主要介绍了从Linux源码看Socket(TCP)Client端的Connect，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含10740字，纯文字阅读大概需要16分钟。

内容图文

从Linux源码看Socket(TCP)Client端的Connect

前言

笔者一直觉得如果能知道从应用到框架再到操作系统的每一处代码，是一件Exciting的事情。今天笔者就来从Linux源码的角度看下Client端的Socket在进行Connect的时候到底做了哪些事情。由于篇幅原因，关于Server端的Accept源码讲解留给下一篇博客。 (基于Linux 3.10内核)

一个最简单的Connect例子

int clientSocket;
if((clientSocket = socket(AF_INET, SOCK_STREAM, 0)) < 0) {
	//  创建socket失败失败
 	return -1;
}
......
if(connect(clientSocket, (struct sockaddr *)&serverAddr, sizeof(serverAddr)) < 0) {
	// connect 失败
	return -1;
}
.......

首先我们通过socket系统调用创建了一个socket，其中指定了SOCK_STREAM,而且最后一个参数为0，也就是建立了一个通常所有的TCP Socket。在这里，我们直接给出TCP Socket所对应的ops也就是操作函数。从Linux源码看Socket(TCP)Client端的Connect - 文章图片
如果你想知道上图中的结构是怎么来的，可以看下笔者以前的博客:

https://my.oschina.net/alchemystar/blog/1791017

值得注意的是，由于socket系统调用操作做了如下两个代码的判断

sock_map_fd
	|->get_unused_fd_flags
			|->alloc_fd
				|->expand_files （ulimit)
	|->sock_alloc_file	
		|->alloc_file
			|->get_empty_filp (/proc/sys/fs/max_files)

第一个判断,ulmit超限:

int expand_files(struct files_struct *files, int nr
{
	......
	if (nr >= current->signal->rlim[RLIMIT_NOFILE].rlim_cur)
		return -EMFILE;
	......
}

这边的判断即是ulimit的限制！在这里返回-EMFILE对应的描述就是 "Too many open files" 从Linux源码看Socket(TCP)Client端的Connect - 文章图片

第二个判断max_files超限

struct file *get_empty_filp(void)
{
 ......
	/*
	 * 由此可见，特权用户可以无视文件数最大大小的限制！
	 */
	if (get_nr_files() >= files_stat.max_files && !capable(CAP_SYS_ADMIN)) {
		/*
		 * percpu_counters are inaccurate.  Do an expensive check before
		 * we go and fail.
		 */
		if (percpu_counter_sum_positive(&nr_files) >= files_stat.max_files)
			goto over;
	}
	
 ......
}

所以在文件描述符超过所有进程能打开的最大文件数量限制(/proc/sys/fs/file-max)的时候会返回-ENFILE,对应的描述就是"Too many open files in system",但是特权用户确可以无视这一限制,如下图所示: 从Linux源码看Socket(TCP)Client端的Connect - 文章图片

connect系统调用

我们再来看一下connect系统调用:

int connect(int sockfd,const struct sockaddr *serv_addr,socklen_t addrlen)

这个系统调用有三个参数，那么依据规则，它肯定在内核中的源码长下面这个样子

SYSCALL_DEFINE3(connect, ......

笔者全文搜索了下，就找到了具体的实现:

socket.c
SYSCALL_DEFINE3(connect, int, fd, struct sockaddr __user *, uservaddr,
		int, addrlen)
{
   ......
	err = sock->ops->connect(sock, (struct sockaddr *)&address, addrlen,
				 sock->file->f_flags);
	......
}

前面图给出了在TCP下的sock->ops == inet_stream_ops，然后再陷入到更进一步的调用栈中，即下面的:

SYSCALL_DEFINE3(connect
	|->inet_stream_ops
		|->inet_stream_connect
			|->tcp_v4_connect
				|->tcp_set_state(sk, TCP_SYN_SENT);设置状态为TCP_SYN_SENT
			 	|->inet_hash_connect
				|->tcp_connect

首先，我们来看一下inet_hash_connect这个函数，里面有一个端口号的搜索过程，搜索不到可用端口号就会导致创建连接失败！内核能够建立一个连接也是跋涉了千山万水的！我们先看一下搜索端口号的逻辑,如下图所示: 从Linux源码看Socket(TCP)Client端的Connect - 文章图片

获取端口号范围

首先，我们从内核中获取connect能够使用的端口号范围，在这里采用了Linux中的顺序锁(seqlock)

void inet_get_local_port_range(int *low, int *high)
{
	unsigned int seq;

	do {
		// 顺序锁
		seq = read_seqbegin(&sysctl_local_ports.lock);

		*low = sysctl_local_ports.range[0];
		*high = sysctl_local_ports.range[1];
	} while (read_seqretry(&sysctl_local_ports.lock, seq));
}

顺序锁事实上就是结合内存屏障等机制的一种乐观锁，主要依靠一个序列计数器。在读取数据之前和之后，序列号都被读取,如果两者的序列号相同，说明在读操作的时候没有被写操作打断过。这也保证了上面的读取变量都是一致的，也即low和high不会出现low是改前值而high是改后值得情况。low和high要么都是改之前的，要么都是改之后的！内核中修改的地方为:

cat /proc/sys/net/ipv4/ip_local_port_range 
32768 61000

通过hash决定端口号起始搜索范围

在Linux上进行connect,内核给其分配的端口号并不是线性增长的，但是也符合一定的规律。先来看下代码:

int __inet_hash_connect(...)
{
		// 注意，这边是static变量
		static u32 hint;
		// 这边的port_offset是用对端ip:port hash的一个值
		// 也就是说对端ip:port固定,port_offset固定
		u32 offset = hint + port_offset;
		for (i = 1; i <= remaining; i++) {
			port = low + (i + offset) % remaining;
			/* port是否占用check */
			....
			goto ok;
		}
		.......
ok:
		hint += i;
		......
}

这里面有几个小细节，为了安全原因，Linux本身用对端ip:port做了一次hash作为搜索的初始offset，所以不同远端ip:port初始搜索范围可以基本是不同的！但同样的对端ip:port初始搜索范围是相同的！从Linux源码看Socket(TCP)Client端的Connect - 文章图片
在笔者机器上，一个完全干净的内核里面，不停的对同一个远端ip:port，其以2进行稳定增长，也即38742->38744->38746，如果有其它的干扰，就会打破这个规律。

端口号范围限制

由于我们指定了端口号返回ip_local_port_range是不是就意味着我们最多创建high-low+1个连接呢？当然不是，由于检查端口号是否重复是将(网络命名空间,对端ip,对端port,本端port,Socket绑定的dev)当做唯一键进行重复校验，所以限制仅仅是在同一个网络命名空间下，连接同一个对端ip:port的最大可用端口号数为high-low+1，当然可能还要减去ip_local_reserved_ports。如下图所示: 从Linux源码看Socket(TCP)Client端的Connect - 文章图片

检查端口号是否被占用

端口号的占用搜索分为两个阶段，一个是处于TIME_WAIT状态的端口号搜索，另一个是其它状态端口号搜索。

TIME_WAIT状态端口号搜索

众所周知，TIME_WAIT阶段是TCP主动close必经的一个阶段。如果Client采用短连接的方式和Server端进行交互，就会产生大量的TIME_WAIT状态的Socket。而这些Socket由占用端口号，所以当TIME_WAIT过多，打爆上面的端口号范围之后，新的connect就会返回错误码:

C语言connect返回错误码为
-EADDRNOTAVAIL，对应描述为Cannot assign requested address 
对应Java的异常为
java.net.NoRouteToHostException: Cannot assign requested address (Address not available)

ip_local_reserved_ports。如下图所示: 从Linux源码看Socket(TCP)Client端的Connect - 文章图片
由于TIME_WAIT大概一分钟左右才能消失，如果在一分钟内Client端和Server建立大量的短连接请求就容易导致端口号耗尽。而这个一分钟(TIME_WAIT的最大存活时间)是在内核(3.10)编译阶段就确定了的，无法通过内核参数调整。如下代码所示:

#define TCP_TIMEWAIT_LEN (60*HZ) /* how long to wait to destroy TIME-WAIT
				  * state, about 60 seconds	*/

Linux自然也考虑到了这种情况，所以提供了一个tcp_tw_reuse参数使得在搜索端口号时可以在某些情况下重用TIME_WAIT。代码如下:

__inet_hash_connect
	|->__inet_check_established
static int __inet_check_established(......)
{
	......	
	/* Check TIME-WAIT sockets first. */
	sk_nulls_for_each(sk2, node, &head->twchain) {
		tw = inet_twsk(sk2);
		// 如果在time_wait中找到一个match的port,就判断是否可重用
		if (INET_TW_MATCH(sk2, net, hash, acookie,
					saddr, daddr, ports, dif)) {
			if (twsk_unique(sk, sk2, twp))
				goto unique;
			else
				goto not_unique;
		}
	}
	......
}

如上面代码中写的那样，如果在一堆TIME-WAIT状态的Socket里面能够有当前要搜索的port,则判断是否这个port可以重复利用。如果是TCP的话这个twsk_unique的实现函数是:

int tcp_twsk_unique(......)
{
	......
	if (tcptw->tw_ts_recent_stamp &&
	    (twp == NULL || (sysctl_tcp_tw_reuse &&
			     get_seconds() - tcptw->tw_ts_recent_stamp > 1))) {
		tp->write_seq = tcptw->tw_snd_nxt + 65535 + 2
		......
		return 1;
	}
	return 0;	
}

上面这段代码逻辑如下所示: 从Linux源码看Socket(TCP)Client端的Connect - 文章图片
在开启了tcp_timestamp以及tcp_tw_reuse的情况下,在Connect搜索port时只要比之前用这个port的TIME_WAIT状态的Socket记录的最近时间戳>1s,就可以重用此port,即将之前的1分钟缩短到1s。同时为了防止潜在的序列号冲突，直接将write_seq加上在65537,这样，在单Socket传输速率小于80Mbit/s的情况下，不会造成序列号冲突。
同时这个tw_ts_recent_stamp设置的时机如下图所示: 从Linux源码看Socket(TCP)Client端的Connect - 文章图片
所以如果Socket进入TIME_WAIT状态后，如果一直有对应的包发过来，那么会影响此TIME_WAIT对应的port是否可用的时间。我们可以通过下面命令开始tcp_tw_reuse:

echo '1' > /proc/sys/net/ipv4/tcp_tw_reuse

ESTABLISHED状态端口号搜索

ESTABLISHED的端口号搜索就简单了许多

	/* And established part... */
	sk_nulls_for_each(sk2, node, &head->chain) {
		if (INET_MATCH(sk2, net, hash, acookie,
					saddr, daddr, ports, dif))
			goto not_unique;
	}

以(网络命名空间,对端ip,对端port,本端port,Socket绑定的dev)当做唯一键进行匹配，如果匹配成功，表明此端口无法重用。

端口号迭代搜索

Linux内核在[low,high]范围按照上述逻辑进行port的搜索，如果没有搜索到port，即port耗尽，就会返回-EADDRNOTAVAIL,也即Cannot assign requested address。但还有一个细节，如果是重用TIME_WAIT状态的Socket的端口的话，就会将对应的TIME_WAIT状态的Socket给销毁。

__inet_hash_connect(......)
{
		......
		if (tw) {
			inet_twsk_deschedule(tw, death_row);
			inet_twsk_put(tw);
		}
		......
}

寻找路由表

在我们找到一个可用端口号port后，就会进入搜寻路由阶段:

ip_route_newports
	|->ip_route_output_flow
			|->__ip_route_output_key
				|->ip_route_output_slow
					|->fib_lookup

这也是一个非常复杂的过程，限于篇幅，就不做详细阐述了。如果搜索不到路由信息的话，会返回。

-ENETUNREACH,对应描述为Network is unreachable

Client端的三次握手

在前面一大堆前置条件就绪后，才进入到真正的三次握手阶段。

tcp_connect
	|->tcp_connect_init 初始化tcp socket
	|->tcp_transmit_skb 发送SYN包
	|->inet_csk_reset_xmit_timer 设置SYN重传定时器

tcp_connect_init初始化了一大堆TCP相关的设置，例如mss_cache/rcv_mss等一大堆。而且如果开启了TCP窗口扩大选项的话，其窗口扩大因子也在此函数里进行计算:

tcp_connect_init
	|->tcp_select_initial_window
int tcp_select_initial_window(...)
{
	......
	(*rcv_wscale) = 0;
	if (wscale_ok) {
		/* Set window scaling on max possible window
		 * See RFC1323 for an explanation of the limit to 14
		 */
		space = max_t(u32, sysctl_tcp_rmem[2], sysctl_rmem_max);
		space = min_t(u32, space, *window_clamp);
		while (space > 65535 && (*rcv_wscale) < 14) {
			space >>= 1;
			(*rcv_wscale)++;
		}
	}
	......
}

如上面代码所示,窗口扩大因子取决于Socket最大可允许的读缓冲大小和window_clamp(最大允许滑动窗口大小，动态调整）。搞完了一票初始信息设置后，才开始真正的三次握手。在tcp_transmit_skb中才真正发送SYN包，同时在紧接着的inet_csk_reset_xmit_timer里设置了SYN超时定时器。如果对端一直不发送SYN_ACK，将会返回-ETIMEDOUT。
从Linux源码看Socket(TCP)Client端的Connect - 文章图片
重传的超时时间和

/proc/sys/net/ipv4/tcp_syn_retries

息息相关，Linux默认设置为5，建议设置成3，下面是不同设置的超时时间参照图。从Linux源码看Socket(TCP)Client端的Connect - 文章图片
在设置了SYN超时重传定时器后，tcp_connnect就返回，并一路返回到最初始的inet_stream_connect。在这里我们就等待对端返回SYN_ACK或者SYN定时器超时。

int __inet_stream_connect(struct socket *sock,...,)
{
	// 如果设置了O_NONBLOCK则timeo为0
	timeo = sock_sndtimeo(sk, flags & O_NONBLOCK);
	......
	// 如果timeo=0即O_NONBLOCK会立刻返回
	// 否则等待timeo时间
	if (!timeo || !inet_wait_for_connect(sk, timeo, writebias))
		goto out;
}

Linux本身提供一个SO_SNDTIMEO来控制对connect的超时，不过Java并没有采用这个选项。而是采用别的方式进行connect的超时控制。仅仅就C语言的connect系统调用而言，不设置SO_SNDTIMEO，就会将对应用户进程进行睡眠，直到SYN_ACK到达或者超时定时器超时才将次用户进程唤醒。从Linux源码看Socket(TCP)Client端的Connect - 文章图片
如果是NON_BLOCK的话，则是通过select/epoll等多路复用机制去捕获超时或者连接成功事件。

对端SYN_ACK到达

在Server端SYN_ACK到达之后会按照下面的代码路径传递，并唤醒用户态进程:

tcp_v4_rcv
	|->tcp_v4_do_rcv
		|->tcp_rcv_state_process
			|->tcp_rcv_synsent_state_process
				|->tcp_finish_connect
					|->tcp_init_metrics 初始化度量统计
					|->tcp_init_congestion_control 初始化拥塞控制
					|->tcp_init_buffer_space 初始化buffer空间
					|->inet_csk_reset_keepalive_timer 开启包活定时器
					|->sk_state_change(sock_def_wakeup) 唤醒用户态进程
				|->tcp_send_ack 发送三次握手的最后一次握手给Server端
			|->tcp_set_state(sk, TCP_ESTABLISHED) 设置为ESTABLISHED状态

公众号

关注笔者公众号，获取更多干货文章
从Linux源码看Socket(TCP)Client端的Connect - 文章图片

总结

Client(TCP)端进行Connect的过程真是跋山涉水，从一开始文件描述符的限制到端口号的搜索再到路由表的搜索再到最后的三次握手，任何一个环节有问题就会导致创建连接失败,笔者详细的描述了这些机制的源码实现。希望本篇文章可以对读者在以后遇到Connect失败问题时候有所帮助。

内容总结

以上是互联网集市为您收集整理的从Linux源码看Socket(TCP)Client端的Connect全部内容，希望文章能够帮你解决从Linux源码看Socket(TCP)Client端的Connect所遇到的程序开发问题。如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。

内容备注

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容，请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。

内容手机端

扫描二维码推送至手机访问。

本文链接：https://qyyshop.com/info/923204.html

来源：【匿名】

【上一篇】Linux上TCP的几个内核参数调优【下一篇】Linux下安装GD

更多 ►

【从Linux源码看Socket(TCP)Client端的Connect】教程文章相关的互联网学习教程文章

从linux源码看socket的阻塞和非阻塞【代码】【图】

从linux源码看socket的阻塞和非阻塞笔者一直觉得如果能知道从应用到框架再到操作系统的每一处代码，是一件Exciting的事情。大部分高性能网络框架采用的是非阻塞模式。笔者这次就从linux源码的角度来阐述socket阻塞(block)和非阻塞(non_block)的区别。本文源码均来自采用Linux-2.6.24内核版本。一个TCP非阻塞client端简单的例子如果我们要产生一个非阻塞的socket,在C语言中如下代码所示:// 创建socket int sock_fd = socket(AF_IN...

Linux源码安装MySQL【代码】

MySQL的安装方式有很多，最简单最适用的就是二进制方法安装。1.创建数据目录： mkdir /data/{server,soft} -p2.解压软件并制定解压路径： tar -xvf mysql-5.6.35-linux-glibc2.5-x86_64.tar.gz -C /data/server3.名字过长，创建软连接： ln -s mysql-5.6.35-linux-glibc2.5-x86_64.tar.gz mysql-5.6.354.创建专用用户： useradd -s /sbin/nologin -M mysql5.初始化MySQL： /data/server/mysql-5.6.35/scripts/mysql_install_db --b...

从Linux源码看Socket(TCP)的bind【代码】【图】

从Linux源码看Socket(TCP)的bind前言笔者一直觉得如果能知道从应用到框架再到操作系统的每一处代码，是一件Exciting的事情。今天笔者就来从Linux源码的角度看下Server端的Socket在进行bind的时候到底做了哪些事情(基于Linux 3.10内核)。一个最简单的Server端例子众所周知，一个Server端Socket的建立，需要socket、bind、listen、accept四个步骤。代码如下:void start_server(){// server fdint sockfd_server;// accept fd int s...

Linux 源码的安装 3个步骤

源码的安装一般由3个步骤组成：配置(configure)、编译(make)、安装(make install)。Configure是一个可执行脚本，它有很多选项，在待安装的源码路径下使用命令./configure –help输出详细的选项列表。其中--prefix选项是配置安装的路径，如果不配置该选项，安装后可执行文件默认放在/usr /local/bin，库文件默认放在/usr/local/lib，配置文件默认放在/usr/local/etc，其它的资源文件放在/usr /local/share，比较凌乱。如果配置--pre...

iTOP-3399开发板Linux系统编译烧写-获取/安装/编译Linux源码【图】

6.1 获取 x Linux 源码源码（基于迅为iTOP-399开发板）首先从网盘下载迅为提供的Linux源码，下载后得到的源码文件目录如下图：然后使用解压工具解压得到的源码，如下图：解压完生成 rk3399_linux_sdk_v2.0_191209.tar.gz 压缩包，如下图：拷贝解压生产的 rk3399_linux_sdk_v2.0_xxxxxxxx.tar.gz（xxxxxxxx 代表源码的发布日期）文件到 Ubuntu 系统，然后在 Ubuntu 系统下解压，如下图：解压完成后，得到文件夹：rk3399_linux_s...

linux源码安装nginx，并代理后端两个不同网站（tomcat容器）【代码】【图】

公司的windows服务器宣布退休，新服务器我安装了linux系统。将公司官网从旧服务器迁出来，两个官网放在两个tomcat容器，nginx代理两个tomcat以下为具体操作一、下载相关的依赖库pcre 下载地址 http://120.52.73.43/jaist.dl.sourceforge.net/project/pcre/pcre/8.38/pcre-8.38.tar.gzopenssl 下载地址 https://www.openssl.org/source/openssl-1.0.2h.tar.gzzlib 下载地址 http://zlib.net/zlib-1.2.8.tar.gznginx 下载地址 http:...

安装Nginx到Linux（源码）【代码】

运行环境系统版本：无软件版本：无硬件要求：无安装过程NGINX官方提供源码包的下载，NGINX有两个版本Mainline（主线）版和Stable（稳定）版。主线版本我们可以理解为是开发版本，在生产环境中建议使用稳定版本。源码安装适用于所有Linux操作系统。 NGINX官方下载地址：http://nginx.org/en/download.html。1、下载软件包[root@localhost ~]# wget http://nginx.org/download/nginx-1.14.0.tar.gz2、解压软件包[root@localhost ~...

linux通过源码编译安装mysql【代码】【图】

操作系统：CentOS 7MySQL版本：5.7.29MySQL源码编译安装比较复杂，但是具有高度自定义的优点。一、下载MySQL源码包下载地址：https://downloads.mysql.com/archives/community/ 我是在Windows中下载的，下载好后上传到Linux系统中。我就把源码包放到家目录下。二、具体安装步骤第一步：下载软件依赖把接下来安装过程中所需要的软件下载好。yum install cmake ncurses-devel gcc gcc-c++ vim lsof bzip2 openssl-devel -y 第二步：解...

linux上源码安装MySQL详解

最近需要使用MySQL Fabric，这货是MySQL5.6.10之后才出现的utility。手头机器装的是MySQL5.1，所以需要先把旧版MySQL升级成5.6版本。之前没有玩过MySQL，所以这次稍微费了点事。在此，把过程记录下来，希望能给有需求的人提供一点帮助。下面我们就正式开始。1. 删除老版本MySQL其实删除老版MySQL是一件很简单的事，但是开始时候由于担心各个包的依赖会导致各种问题，亦步亦趋来得很慢。其实只需要做到这么几步就可以了：1.1 查看已...

linux 源码安装apache PHP palin txt phpinfo 问题

sudo ./configure --prefix=/var/php --with-apxs2=/usr/local/apache2/bin/apxs LoadModule php5_module modules/libphp5.soDirectoryIndex index.html index.html.var .phpa-bash-3.2$ pwd/usr/local/apache2/htdocs-bash-3.2$ cat info.php<?php phpinfo();?>打开info.php, 一直都是plain的，没有任何php 的系统信息。最后找到，要在httpd.conf 里加上后面这句。然后重启sudo apachectl - k restartAddType applicatio...

linux源码分析之字节序（4）-- little_endian.h

本节主要分析小端字节顺序。首先，我们要回顾上一节讲过的大端、小端的概念：字节顺序是指占内存多于一个字节类型的数据在内存中的存放顺序，通常有小端、大端两种字节顺序。小端字节序指低字节数据存放在内存低地址处，高字节数据存放在内存高地址处；大端字节序是高字节数据存放在低地址处，低字节数据存放在高地址处。基于X86平台的PC机是小端字节序的，而有的嵌入式平台则是大端字节序的。因而对int、uint16、uint32等...

Linux源码（0.11）学习03---复制内存页表 copy_mem copy_page_tables【代码】【图】

先看看分页机制里面的页目录表、页表、页之间的关系。分页机制是用于将一个线性地址转换为一个物理地址。在I32 CPU环境里面，首先通过设置CR0寄存器，打开保护模式、开启分页机制。然后将页目录表的物理地址基址给CR3寄存器。开启分页机制后，I32将全部的物理内存空间、线性地址空间划分为一个个的页。每个页可以是4KB或者4MB。页目录表里面存放页目录表项，每个页目录表项指向页表。其中页目录表项的高20位为对应页表的物理地址的...

Linux源码编译处理【代码】

1. 解决依赖问题查询需要的依赖软件，提前安装好若使用命令行安装，一般使用默认路径；使用源码安装，则自定义安装路径，后续可能需要进行路径配置PS：可能需要在Makefile等配置文件中添加相关库文件、头文件路径 2. 生成Makefile使用configure脚本：运行./configure --help查看可选的配置项，按需要进行配置，常用的选项有--prefix等，运行./configure生成Makefile使用Atuomake等工具，暂不详使用Cmake工具，需要编写CMakeLists.t...