首页 / LINUX / Linux性能优化（四）——BCC性能监控工具

Linux性能优化（四）——BCC性能监控工具

内容导读

互联网集市收集整理的这篇技术教程文章主要介绍了Linux性能优化（四）——BCC性能监控工具，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含10835字，纯文字阅读大概需要16分钟。

内容图文

一、BCC简介

1、BCC简介

BCC是一个Python库，简化了eBPF应用的开发过程，并收集了大量性能分析相关的eBPF应用。BCC为BPF开发提供了不同的前端支持，包括Python和Lua，实现了map创建、代码编译、解析、注入等操作，使开发人员只需聚焦于用C语言开发要注入的内核代码。
BCC工具集大部分工具需要Linux Kernel 4.1以上版本支持，完整工具支持需要Linux Kernel 4.15以上版本支持。
GitHub：https://github.com/iovisor/bcc

2、BCC安装

yum install bcc-tools
export PATH=$PATH:/usr/share/bcc/tools

二、常用命令工具

1、opensnoop

opensnoop通过追踪open()系统调用显示企图打开文件的进程，可以用于定位配置文件或日志文件，或排除启动失败的故障应用。
opensnoop通过动态追踪sys_open()内核函数并更新函数的任何变化，opensnoop需要Linux Kernel 4.5版本支持，由于使用BPF，因此需要root权限。
opensnoop [-h] [-T] [-U] [-x] [-p PID] [-t TID] [-u UID] [-d DURATION] [-n NAME] [-e] [-f FLAG_FILTER]
-h, --help：帮助信息查看
-T, --timestamp：输出结果打印时间戳
-U, --print-uid：打印UID
-x, --failed：只显示失败open系统调用
-p PID, --pid PID：只追踪PID进程
-t TID, --tid TID：只追踪TID线程
-u UID, --uid UID：只追踪UID
-d DURATION, --duration DURATION：追踪时间，单位为秒
-n NAME, --name NAME：只打印包含name的进程
-e, --extended_fields：显示扩展字段
-f FLAG_FILTER, --flag_filter FLAG_FILTER：指定过滤字段，如O_WRONLY

2、execsnoop

execsnoop通过追踪exec系统调用追踪新进程，对于使用fork而不是exec产生的进程不会包括在显示结果中。
execsnoop需要BPF支持，因此需要root权限。
execsnoop [-h] [-T] [-t] [-x] [-q] [-n NAME] [-l LINE] [--max-args MAX_ARGS]
-h：查看帮助信息
-T：打印时间戳，格式HH:MM:SS
-t：打印时间戳
-x：包括失败exec
-n NAME：只打印正则表达式匹配name的命令行
-l LINE：只打印参数中匹配LINE的命令行
--max-args MAXARGS：解析和显示最大参数数量，默认为20个

3、biolatency

biolatency通过追踪块设备IO，记录IO延迟分布，并以直方图显示。biolatency通过动态追踪blk_族函数并记录函数的变化。
biolatency需要BPF支持，因此需要root权限。
biolatency [-h] [-F] [-T] [-Q] [-m] [-D] [interval [count]]
-h Print usage message.
-T：输出包含时间戳
-m：输出ms级直方图
-D：打印每个磁盘设备的直方图
-F：打印每个IO集的直方图
interval：输出间隔
count：输出数量
Linux性能优化（四）——BCC性能监控工具 - 文章图片

4、ext4slower

ext4slower通过跟踪ext4文件系统的read、write、open、sync操作，并测量相应操作所耗时间，打印超过阈值的详细信息。默认阈值最小值是10ms，如果阈值为0，则打印所有事件。
ext4slower需要BPF支持，因此需要root权限。
ext4slower可以通过文件系统识别独立较慢的磁盘IO。
ext4slower [-h] [-j] [-p PID] [min_ms]
-h, --help：查看帮助信息
-j, --csv：使用csv格式打印字段
-p PID, --pid PID：只追踪PID进程
min_ms：追踪IO的阈值，默认为10。
Linux性能优化（四）——BCC性能监控工具 - 文章图片

5、biosnoop

biosnoop可以追踪设备IO并为每个IO设备打印一行汇总信息。
biosnoop通过动态追踪blk_族函数并记录函数的变化。
biosnoop需要BPF支持，因此需要root权限。
biosnoop [-hQ]
-h：查看帮助信息
-Q：显示在OS队列的耗时
Linux性能优化（四）——BCC性能监控工具 - 文章图片

6、cachestat

cachestat用于统计Linux Page的命中率和缺失率，通过动态追踪内核页的cache函数，并更新cache函数的任何变化。
cachestat需要BPF支持，因此需要root权限。
cachestat [-h] [-T] [interval] [count]
-h：查看帮助信息
-T, --timestamp：输出时间戳
interval：输出间隔，单位为秒
count：输出数量
Linux性能优化（四）——BCC性能监控工具 - 文章图片

7、cachetop

cachetop用于统计每个进程的Linux Page缓存的命中率和缺失率，通过动态追踪内核页的cache函数，并更新cache函数的任何变化。
cachestat需要BPF支持，因此需要root权限。
cachetop [-h] [interval]
-h：查看帮助信息
interval：输出间隔
Linux性能优化（四）——BCC性能监控工具 - 文章图片
PID：进程ID
UID：进程用户ID
HITS：页缓存命中数量
MISSES：页缓存缺失数量
DIRTIES：增加到页缓存的脏页数量
READ_HIT%：页缓存的读命中率
WRITE_HIT%：页缓存的写命中率
BUFFERS_MB：Buffer大小，数据源/proc/meminfo
CACHED_MB：当前页的Cache大小，数据源/proc/meminfo

8、tcpconnect

tcpconnect用于追踪TCP活跃连接数量，通过动态追踪内核tcp_v4_connect和tcp_v6_connect函数，并记录函数内的任何变化。
tcpconnect需要BPF支持，因此需要root权限。
tcpconnect [-h] [-c] [-t] [-x] [-p PID] [-P PORT]
-h：查看帮助信息
-t：打印时间戳
-c：统计每个源IP和目的IP/端口的连接数
-p PID：只追踪PID进程
-P PORT：要追踪的目的端口列表，使用逗号分隔
Linux性能优化（四）——BCC性能监控工具 - 文章图片

9、trace

trace用于追踪某个函数调用并打印函数参数或返回值，需要BPF支持，因此需要root权限。
trace [-h] [-b BUFFER_PAGES] [-p PID] [-L TID] [-v] [-Z STRING_SIZE] [-S] [-s SYM_FILE_LIST] [-M MAX_EVENTS] [-t] [-u] [-T] [-C] [-K] [-U] [-a] [-I header] probe [probe ...]
-h：查看帮助信息
-p PID：只追踪PID进程
-L TID：只追踪TID线程
-v：显示生成的BPF程序，调试使用
-z STRING_SIZE：收集字符串参数的长度
-s SYM_FILE_LIST：收集栈大小
-M MAX_EVENTS：打印追踪消息的最大数量
-t：打印时间，单位为秒。
-u：打印时间戳
-T：打印时间列
-C：打印CPU ID
-K：打印每个事件的内核栈
-U：打印每个事件的用户栈
-a：打印序内核栈和用户栈的虚拟地址
-I header：增加header文件到BPF程序
probe [probe ...]：附加到函数的探针
trace '::do_sys_open "%s", arg2'
追踪open系统调用的所有调用方式
Linux性能优化（四）——BCC性能监控工具 - 文章图片
trace ':c:malloc "size = %d", arg1'
追踪malloc调用并打印申请分配内存的大小

trace 'u:pthread:pthread_create "start addr = %llx", arg3'
追踪pthread_create函数调用并打印线程启动函数地址

10、deadlock

deadlock用于查找正在运行进程潜在的死锁。deadlock通过附加uprobe事件，需要BPF支持，因此需要root权限。
deadlock [-h] [--binary BINARY] [--dump-graph DUMP_GRAPH] [--verbose] [--lock-symbols LOCK_SYMBOLS] [--unlock-symbols UNLOCK_SYMBOLS] pid
-h, --help：查看帮助信息
--binary BINARY：指定线程库，对于动态链接程序必须指定。
--dump-graph DUMP_GRAPH：导出mutex图到指定文件
--verbose：打印mutex统计信息
--lock-symbols LOCK_SYMBOLS：要追踪的锁的列表，使用逗号分隔，默认为pthread_mutex_lock。
--unlock-symbols UNLOCK_SYMBOLS：要追踪的解锁的列表，使用逗号分隔，默认为pthread_mutex_unlock。
pid：要追踪的进程ID
deadlock 181 --binary /lib/x86_64-linux-gnu/libpthread.so.0
查找进程181中的潜在死锁，如果进程被动态链接程序创建，需要使用--binary指定使用的线程库。

11、memleak

memleak用于追踪和查找内存分配和释放配对，需要Linux Kernel 4.7以上版本支持。
memleak [-h] [-p PID] [-t] [-a] [-o OLDER] [-c COMMAND] [--combined-only] [-s SAMPLE_RATE] [-T TOP] [-z MIN_SIZE] [-Z MAX_SIZE] [-O OBJ] [INTERVAL] [COUNT]
-h：查看帮助信息
-p PID：指定进程PID
-t：追踪所有内存分配和释放请求和结果
-a：输出未释放内存的列表
-z MIN_SIZE：捕获分配内存的最小值
-Z MAX_SIZE：捕获分配内存的最大值
memleak -z 16 -Z 32
只捕获分析分配大小未16字节至32字节间的内存分配

三、BCC编程开发

1、BCC实现原理

BCC是eBPF的一个工具集，是对eBPF提取数据的上层封装，BCC工具编程形式是Python中嵌套BPF程序。Python代码可以为用户提供友好使用eBPF的上层接口，也可以用于数据处理。BPF程序会注入内核，提取数据。当BPF程序运行时，通过LLVM将BPF程序编译得到BPF指令集的elf文件，从elf文件中解析出可以注入内核的部分，使用bpf_load_program方法完成注入。
bpf_load_program注入程序方法加入了复杂的verifier机制，在运行注入程序前，先进行一系列的安全检查，最大限度的保证系统的安全。经过安全检查的BPF字节码使用内核JIT进行编译，生成本机汇编指令，附加到内核特定挂钩的程序。最终内核态与用户态通过高效的map机制进行通信，BCC工具在用户态使用Python进行数据处理。
Linux性能优化（四）——BCC性能监控工具 - 文章图片

2、BCC示例实现

Python部分编码需要引入使用的模块和包。
BCC工具的Python部分代码中通过如下方式使用BPF C语言程序代码：
hello_world.py：

#!/usr/bin/python3
from bcc import BPF
bpf_program = '''
int kprobe__sys_clone(void *ctx) 
{ 
    bpf_trace_printk("Hello, World!\\n");
    return 0;
}'''
if __name__ == "__main__":
       BPF(text=bpf_program).trace_print()

kprobe__sys_clone是通过kprobes进行内核动态跟踪的快捷方式，如果C函数以开头kprobe__，则其余部分被视为要检测的内核函数名称。
bpf_trace_printk: 输出
python3 hello_world.py
Linux性能优化（四）——BCC性能监控工具 - 文章图片

3、DDOS防御示例

#!/usr/bin/python
from bcc import BPF
import pyroute2
import time
import sys

flags = 0
def usage():
    print("Usage: {0} [-S] <ifdev>".format(sys.argv[0]))
    print("       -S: use skb mode\n")
    print("e.g.: {0} eth0\n".format(sys.argv[0]))
    exit(1)

if len(sys.argv) < 2 or len(sys.argv) > 3:
    usage()

if len(sys.argv) == 2:
    device = sys.argv[1]

if len(sys.argv) == 3:
    if "-S" in sys.argv:
        # XDP_FLAGS_SKB_MODE
        flags |= 2 << 0

    if "-S" == sys.argv[1]:
        device = sys.argv[2]
    else:
        device = sys.argv[1]

mode = BPF.XDP
ctxtype = "xdp_md"

# load BPF program
b = BPF(text = """
#define KBUILD_MODNAME "foo"
#include <uapi/linux/bpf.h>
#include <linux/in.h>
#include <linux/if_ether.h>
#include <linux/if_packet.h>
#include <linux/if_vlan.h>
#include <linux/ip.h>
#include <linux/ipv6.h>

// how to determin ddos
#define MAX_NB_PACKETS 1000
#define LEGAL_DIFF_TIMESTAMP_PACKETS 1000000

// store data, data can be accessd in kernel and user namespace
BPF_HASH(rcv_packets);
BPF_TABLE("percpu_array", uint32_t, long, dropcnt, 256);

static inline int parse_ipv4(void *data, u64 nh_off, void *data_end) {
    struct iphdr *iph = data + nh_off;
    if ((void*)&iph[1] > data_end)
        return 0;
    return iph->protocol;
}
static inline int parse_ipv6(void *data, u64 nh_off, void *data_end) {
    struct ipv6hdr *ip6h = data + nh_off;
    if ((void*)&ip6h[1] > data_end)
        return 0;
    return ip6h->nexthdr;
}

// determine ddos
static inline int detect_ddos(){
    // Used to count number of received packets
    u64 rcv_packets_nb_index = 0, rcv_packets_nb_inter=1, *rcv_packets_nb_ptr;
    // Used to measure elapsed time between 2 successive received packets
    u64 rcv_packets_ts_index = 1, rcv_packets_ts_inter=0, *rcv_packets_ts_ptr;
    int ret = 0;

    rcv_packets_nb_ptr = rcv_packets.lookup(&rcv_packets_nb_index);
    rcv_packets_ts_ptr = rcv_packets.lookup(&rcv_packets_ts_index);
    if(rcv_packets_nb_ptr != 0 && rcv_packets_ts_ptr != 0){
        rcv_packets_nb_inter = *rcv_packets_nb_ptr;
        rcv_packets_ts_inter = bpf_ktime_get_ns() - *rcv_packets_ts_ptr;
        if(rcv_packets_ts_inter < LEGAL_DIFF_TIMESTAMP_PACKETS){
            rcv_packets_nb_inter++;
        } else {
            rcv_packets_nb_inter = 0;
        }
        if(rcv_packets_nb_inter > MAX_NB_PACKETS){
            ret = 1;
        }
    }
    rcv_packets_ts_inter = bpf_ktime_get_ns();
    rcv_packets.update(&rcv_packets_nb_index, &rcv_packets_nb_inter);
    rcv_packets.update(&rcv_packets_ts_index, &rcv_packets_ts_inter);
    return ret;
}

// determine and recode by proto
int xdp_prog1(struct CTXTYPE *ctx) {
    void* data_end = (void*)(long)ctx->data_end;
    void* data = (void*)(long)ctx->data;
    struct ethhdr *eth = data;
    // drop packets
    int rc = XDP_PASS; // let pass XDP_PASS or redirect to tx via XDP_TX
    long *value;
    uint16_t h_proto;
    uint64_t nh_off = 0;
    uint32_t index;
    nh_off = sizeof(*eth);
    if (data + nh_off  > data_end)
        return rc;
    h_proto = eth->h_proto;
    // parse double vlans
    if (detect_ddos() == 0){
        return rc;
    }
    rc = XDP_DROP;
    #pragma unroll
    for (int i=0; i<2; i++) {
        if (h_proto == htons(ETH_P_8021Q) || h_proto == htons(ETH_P_8021AD)) {
            struct vlan_hdr *vhdr;
            vhdr = data + nh_off;
            nh_off += sizeof(struct vlan_hdr);
            if (data + nh_off > data_end)
                return rc;
                h_proto = vhdr->h_vlan_encapsulated_proto;
        }
    }
    if (h_proto == htons(ETH_P_IP))
        index = parse_ipv4(data, nh_off, data_end);
    else if (h_proto == htons(ETH_P_IPV6))
       index = parse_ipv6(data, nh_off, data_end);
    else
        index = 0;
    value = dropcnt.lookup(&index);
    if (value)
        *value += 1;
    return rc;
}
""", cflags=["-w", "-DCTXTYPE=%s" % ctxtype])

fn = b.load_func("xdp_prog1", mode)
b.attach_xdp(device, fn, flags)

dropcnt = b.get_table("dropcnt")
prev = [0] * 256
print("Printing drops per IP protocol-number, hit CTRL+C to stop")
while 1:
    try:
        for k in dropcnt.keys():
            val = dropcnt.sum(k).value
            i = k.value
            if val:
                delta = val - prev[i]
                prev[i] = val
                print("{}: {} pkt/s".format(i, delta))
        time.sleep(1)
    except KeyboardInterrupt:
        print("Removing filter from device")
        break;

b.remove_xdp(device, flags)

内容总结

以上是互联网集市为您收集整理的Linux性能优化（四）——BCC性能监控工具全部内容，希望文章能够帮你解决Linux性能优化（四）——BCC性能监控工具所遇到的程序开发问题。如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。

内容备注

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容，请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。

内容手机端

扫描二维码推送至手机访问。

本文链接：https://qyyshop.com/info/930097.html

来源：【匿名】

【上一篇】Linux系统查看服务器版本方法【下一篇】Linux下安装GD

更多 ►

【Linux性能优化（四）——BCC性能监控工具】教程文章相关的互联网学习教程文章

Linux性能优化实战：负载均衡与CPU使用率（01）【代码】

一、CPU使用率并没有直接关系1、平均负载单位时间内，系统处于可运行状态和不可终端状态的平均进程数也就是平均活跃进程数，它和cpu使用率并没有直接关系，可运行状态：正在使用的cpu或者正在等待cpu的进程不可中断状态进程是正处于内核关键流程中的进程，并且这些流程是不可打断的，比如最常见的是等待硬件设备I/O响应，也就是我们在ps命令中看到的D状态的状态或者中断打断的，这个时候的进程处于不可终端状态，如果此时的进程被...

高并发下linux系统、业务结构性能优化——index（不断更新）【图】

工作中零零散散写了些博客，总结了些知识，当然是从运维的角度。东西一多就乱，闲时突发奇想，这些东西能不能打在一个点上，如果能有一个东西把所有内容串起来并且有一个主题岂不妙哉，也方便查阅和阅读，就像一个网站有了内容后需要一个index主页一样，哈哈，然后就有了这篇置顶博文。对于主题，我喜欢研究业务架构和大并发相关知识，就定为“高并发下linux系统、业务结构性能优化”了，现有目录结构是根据工作经验进行的梳理...

Linux 性能优化之 IO 子系统系列图【代码】【图】

http://blog.sina.com.cn/s/articlelist_1029388674_11_1.html Linux 性能优化之 IO 子系统(一)本文介绍了对 Linux IO 子系统性能进行优化时需要考虑的因素，以及一些 IO 性能检测工具。本文的大部分内容来自 IBM Redbook - Linux Performance and Tuning GuidelinesFileSystemVFS(Virtual FileSystem) 虚拟文件系统文件系统是内核的功能，是一种工作在内核空间的软件，访问一个文件必须要需要文件系统的存在才可以。Linux 可以支持...

Linux记录-史上最全的MySQL高性能优化实战总结(转载)【图】

史上最全的MySQL高性能优化实战总结！1.1 前言MySQL对于很多Linux从业者而言，是一个非常棘手的问题，多数情况都是因为对数据库出现问题的情况和处理思路不清晰。在进行MySQL的优化之前必须要了解的就是MySQL的查询过程，很多的查询优化工作实际上就是遵循一些原则让MySQL的优化器能够按照预想的合理方式运行而已。今天给大家体验MySQL的优化实战，助你高薪之路顺畅。图 - MySQL查询过程1.2 优化的哲学优化有风险，涉足需谨慎1.2....

linux磁盘读写性能优化

在LINUX系统中，如果有大量读请求，默认的请求队列或许应付不过来，我们可以动态调整请求队列数来提高效率，默认的请求队列数存放在/sys/block/xvda/queue/nr_requests 文件中，注意：/sys/block/xvda ，这里 xvda 写的是你自己的硬盘名，因我的是vps所以是xvda，有可能的参数是 sda hda....等等。如果你不清楚可以，fdisk -l查看一下自己的物理磁盘名称。[root@leda03 public_html]# fdisk -lDisk /dev/xvdd: 117 MB, 117549056 ...

Linux性能优化实战：负载均衡与CPU使用率（01）

一、CPU使用率并没有直接关系 1、平均负载单位时间内，系统处于可运行状态和不可终端状态的平均进程数也就是平均活跃进程数，它和cpu使用率并没有直接关系，可运行状态：正在使用的cpu或者正在等待cpu的进程不可中断状态进程是正处于内核关键流程中的进程，并且这些流程是不可打断的，比如最常见的是等待硬件设备I/O响应，也就是我们在ps命令中看到的D状态的状态或者中断打断的，这个时候的进程处于不可终端状态，如果此时...

Linux性能优化实战：案例篇：如何找出狂打日志的“内鬼”？（26）【图】

一、案例环境描述 1、环境准备 2CPU,4GB内存预先安装docker sysstat工具 2、温馨提示案例中 Python 应用的核心逻辑比较简单，你可能一眼就能看出问题，但实际生产环境中的源码就复杂多了。所以，我依旧建议，操作之前别看源码，避免先入为主，要把它当成一个黑盒来分析。这样你可以更好把握住，怎么从系统的资源使用问题出发，分析出瓶颈所在的应用，以及瓶颈在应用中大概的位置 3、应用环境 1、运行目标应用docker run -v /tmp...

oracle基础~linux整体性能优化

包括三方面 1 sysctl.conf //扩大文件句柄数 fs.aio-max-nr = 1048576 fs.file-max = 6815744 // 扩大共享内存段影响SGA kernel.shmmax = 4294967295 共享内存段的最大字节尺寸（以字节为单位）推荐设置成内存的80% kernel.shmall = 2097152 全部允许使用的共享内存页大小(页为单位) kernel.shmmni = 4096 每个oracle占用一个共享段,这是最大的共享段数量不需要调整 kernel.sem = 250 32000 100 128 // 扩大端口范围默认的范围太...

redmine在linux上的mysql性能优化方法与问题排查方案

iredmine的linux服务器mysql性能优化方法与问题排查方案问题定位：客户端工具： 1. 浏览器inspect-tool的network timing工具分析 2. 浏览器查看 response header，分析http server 与 web server. 服务器工具： 0. nmon 查看各类系统负载， rrdtool 查看网络状况。 1. uptime看cpu负载; free看内存; mem ; cat /proc/meminfo以及 iostat(sysstat)看IO / iotop看个体IO; sar dstat看全局。 2. pidsta...

大数据技术之_29_MySQL 高級面试重点串讲_02_Mysql 简介+Linux 版的安装+逻辑架构介绍+性能优化+性能分析+查询截取分析+分区分库分表简介+锁机制+主从复制

1.1 概述1.2 高级 MySQL第2章 Mysql Linux 版的安装2.1 下载地址2.2 检查当前系统是否安装过 mysql2.3 修改 Mysql 配置文件位置2.4 修改字符集和数据存储路径2.5 MySQL 的安装位置说明2.6 Mysql 配置文件说明2.7 Mysql 的数据存放目录第3章 Mysql 逻辑架构介绍3.1 总体概览3.2 查询说明第4章 Mysql 性能优化4.1 影响 mysql 的性能因素4.2 查询与索引优化分析4.2.1 性能下降SQL慢的原因4.2.2 常见通用的 Join 查询4.3 mysql 索引结构...

Linux CPU性能优化 —— CPU平均负载及高负载排查【代码】【图】

文章目录了解系统CPU负载：uptime 和 top什么是平均负载平均负载合理区间补：使用top命令查看CPU核心数平均负载和CPU使用率的区别高负载排查安装系统压力测试工具CPU密集型高负载排查：stress、mpstat和pidstat CPU密集型高负载排查：stress、mpstat和pidstat参考文献写在前面：由于之前在开发分布式系统中由于云服务器性能原因，导致系统总是断连等错误。但是之前一般只是简单gdb调试一下，定位错误异常艰难，所以决定开设此专...

Linux性能优化——IO总结【图】

1. LinuxIO栈图文件系统 I/O 性能指标存储空间的使用情况，包括容量、使用量以及剩余空间等索引节点的使用情况，它也包括容量、使用量以及剩余量等缓存使用情况，包括页缓存、目录项缓存、索引节点缓存以及各个具体文件系统（如 ext4、XFS 等）的缓存结合实际文件的读写情况，比如，结合文件大小、文件数量、I/O 类型等考虑 IOPS（包括 r/s 和 w/s）、响应时间（延迟）以及吞吐量（B/s）等。磁盘 I/O 性能指标使用率，是指磁盘忙...

Linux性能优化-平均负载【图】