一、参考 如何学习 Linux 性能优化Brendan Gregg 二、性能分析 只要你理解了应用程序和系统的少数几个基本原理，再进行大量的实战练习，建立起整体性能的全局观，大多数性能问题的优化就会水到渠成。你不需要了解每个组件的所有实现细节，只要能理解它们最基本的工作原理和协作方式 2.1 性能指标是什么？ 我相信“高并发”和“响应快”一定是最先出现在你脑海里的两个词，而它们也正对应着性能优化的两个核心指标——“吞吐”和“延...
Update date 2020-01-03//开启本地mrset hive.exec.mode.local.auto=true; //设置local mr的最大输入数据量，当输入数据量小于这个值时采用local mr的方式，默认为134217728，即128Mset hive.exec.mode.local.auto.inputbytes.max=50000000;//设置local mr的最大输入文件个数，当输入文件个数小于这个值时采用local mr的方式，默认为4set hive.exec.mode.local.auto.input.files.max=10;// 开启任务并行执行set hive.exec.parall...
一、CPU使用率并没有直接关系1、平均负载单位时间内，系统处于可运行状态和不可终端状态的平均进程数也就是平均活跃进程数，它和cpu使用率并没有直接关系，可运行状态：正在使用的cpu或者正在等待cpu的进程不可中断状态进程是正处于内核关键流程中的进程，并且这些流程是不可打断的，比如最常见的是等待硬件设备I/O响应，也就是我们在ps命令中看到的D状态的状态或者中断打断的 ，这个时候的 进程处于不可终端状态，如果此时的进程被...
工作中零零散散写了些博客，总结了些知识，当然是从运维的角度。东西一多就乱，闲时突发奇想，这些东西能不能打在一个点上，如果能有一个东西把所有内容串起来并且有一个主题岂不妙哉，也方便查阅和阅读，就像一个网站有了内容后需要一个index主页一样，哈哈，然后就有了这篇置顶博文。 对于主题，我喜欢研究业务架构和大并发相关知识，就定为“高并发下linux系统、业务结构性能优化”了，现有目录结构是根据工作经验进行的梳理...
http://blog.sina.com.cn/s/articlelist_1029388674_11_1.html Linux 性能优化之 IO 子系统(一)本文介绍了对 Linux IO 子系统性能进行优化时需要考虑的因素，以及一些 IO 性能检测工具。本文的大部分内容来自 IBM Redbook - Linux Performance and Tuning GuidelinesFileSystemVFS(Virtual FileSystem) 虚拟文件系统文件系统是内核的功能，是一种工作在内核空间的软件，访问一个文件必须要需要文件系统的存在才可以。Linux 可以支持...
史上最全的MySQL高性能优化实战总结！1.1 前言MySQL对于很多Linux从业者而言，是一个非常棘手的问题，多数情况都是因为对数据库出现问题的情况和处理思路不清晰。在进行MySQL的优化之前必须要了解的就是MySQL的查询过程，很多的查询优化工作实际上就是遵循一些原则让MySQL的优化器能够按照预想的合理方式运行而已。今天给大家体验MySQL的优化实战，助你高薪之路顺畅。 图 - MySQL查询过程1.2 优化的哲学优化有风险，涉足需谨慎1.2....
在LINUX系统中，如果有大量读请求，默认的请求队列或许应付不过来，我们可以 动态调整请求队列数来提高效率，默认的请求队列数存放在/sys/block/xvda/queue/nr_requests 文件中，注意：/sys/block/xvda ，这里 xvda 写的是你自己的硬盘名，因我的是vps所以是xvda，有可能的参数是 sda hda....等等。如果你不清楚可以，fdisk -l查看一下自己的物理磁盘名称。[root@leda03 public_html]# fdisk -lDisk /dev/xvdd: 117 MB, 117549056 ...
一、CPU使用率并没有直接关系 1、平均负载 单位时间内，系统处于可运行状态和不可终端状态的平均进程数也就是平均活跃进程数，它和cpu使用率并没有直接关系， 可运行状态： 正在使用的cpu或者正在等待cpu的进程 不可中断状态 进程是正处于内核关键流程中的进程，并且这些流程是不可打断的，比如最常见的是等待硬件设备I/O响应，也就是我们在ps命令中看到的D状态的状态 或者中断打断的 ，这个时候的 进程处于不可终端状态，如果此时...
一、案例环境描述 1、环境准备 2CPU,4GB内存 预先安装docker sysstat工具 2、温馨提示 案例中 Python 应用的核心逻辑比较简单，你可能一眼就能看出问题，但实际生产环境中的源码就复杂多了。所以，我依旧建议，操作之前别看源码，避免先入为主，要把它当成一个黑盒来分析。这样 你可以更好把握住，怎么从系统的资源使用问题出发，分析出瓶颈所在的应用，以及瓶颈在应用中大概的位置 3、应用环境 1、运行目标应用docker run -v /tmp...
包括三方面 1 sysctl.conf //扩大文件句柄数 fs.aio-max-nr = 1048576 fs.file-max = 6815744 // 扩大共享内存段 影响SGA kernel.shmmax = 4294967295 共享内存段的最大字节尺寸（以字节为单位）推荐设置成内存的80% kernel.shmall = 2097152 全部允许使用的共享内存页大小(页为单位) kernel.shmmni = 4096 每个oracle占用一个共享段,这是最大的共享段数量 不需要调整 kernel.sem = 250 32000 100 128 // 扩大端口范围 默认的范围太...
iredmine的linux服务器mysql性能优化方法与问题排查方案 问题定位： 客户端工具： 1. 浏览器inspect-tool的network timing工具分析 2. 浏览器查看 response header， 分析http server 与 web server. 服务器工具： 0. nmon 查看各类系统负载， rrdtool 查看网络状况。 1. uptime看cpu负载; free看内存; mem ; cat /proc/meminfo以及 iostat(sysstat)看IO / iotop看个体IO; sar dstat看全局。 2. pidsta...
1.1 概述1.2 高级 MySQL第2章 Mysql Linux 版的安装2.1 下载地址2.2 检查当前系统是否安装过 mysql2.3 修改 Mysql 配置文件位置2.4 修改字符集和数据存储路径2.5 MySQL 的安装位置说明2.6 Mysql 配置文件说明2.7 Mysql 的数据存放目录第3章 Mysql 逻辑架构介绍3.1 总体概览3.2 查询说明第4章 Mysql 性能优化4.1 影响 mysql 的性能因素4.2 查询与索引优化分析4.2.1 性能下降SQL慢的原因4.2.2 常见通用的 Join 查询4.3 mysql 索引结构...
文章目录 了解系统CPU负载：uptime 和 top什么是平均负载平均负载合理区间补：使用top命令查看CPU核心数 平均负载和CPU使用率的区别高负载排查安装系统压力测试工具CPU密集型高负载排查：stress、mpstat和pidstat CPU密集型高负载排查：stress、mpstat和pidstat参考文献写在前面： 由于之前在开发分布式系统中由于云服务器性能原因，导致系统总是断连等错误。但是之前一般只是简单gdb调试一下，定位错误异常艰难，所以决定开设此专...
1. LinuxIO栈图文件系统 I/O 性能指标 存储空间的使用情况，包括容量、使用量以及剩余空间等索引节点的使用情况，它也包括容量、使用量以及剩余量等缓存使用情况，包括页缓存、目录项缓存、索引节点缓存以及各个具体文件系统（如 ext4、XFS 等）的缓存结合实际文件的读写情况，比如，结合文件大小、文件数量、I/O 类型等考虑 IOPS（包括 r/s 和 w/s）、响应时间（延迟）以及吞吐量（B/s）等。 磁盘 I/O 性能指标 使用率，是指磁盘忙...