linux磁盘及文件系统管理初步（1）

Linux 系统管理

         磁盘分区及文件系统管理

         RAID

         LVM ：能够实现磁盘边界的动态管理

         网络属性管理

         程序包管理：程序包的增删查改

         sed 和 awk

         进程查看和管理

         内核管理：内核的组成部分，内核的编译安装

         系统启动流程

         Linux 内核的定制，编译内核， busybox

         系统安装： kickstart ， dhcp ， pxe

         shell 脚本编程

Linux 磁盘及文件系统管理：

         整个操作系统的组成部分：硬件和软件

         整个操作系统的组成层次：最底层为硬件设备（这也是我们计算机能够运行的基础），在硬件设备上冯诺依曼体系定义了计算机的五大部件：

CUP：运算器和控制器，他们被整合在一起，有一个硬件部件来提供；

存储器：这里是指主存，又叫做内存设备，我们称之为ram，它是一个可编址的存储单元

                   寻址总线：

                            在我们的计算机上多个硬件部件，他们之间为了能够彼此间通信，我们需要使用线缆将其连接起来，比如说在主板上，有cpu的插槽，这个插槽我们称之为“cpu  socket”

然后我们还有内存设备，cpu需要跟内存进行通信，二者之间就需要有线缆将其连接起来，cpu和内存之间的线缆，我们称之为“前端总线”，这就是FSB的连接。

         计算机除了CPU和内存之外，还有很多的I/O设备，但是对于计算机来讲，他的核心部件其实也就是只有CPU和内存。其他的I/O设备都是为了完成给CPU和内存数据的输入输出的。

         在众多的I/O设备中，最典型的的，最根本的应该有四个

         非交互式环境下：的设备有两个

         交互式环境下：设备有四个

                   设备有：外存（用来实现持久存储的，因为内存叫PAM，他的每一次存储都做重新充电的，因为每一次对内存的读操作以后，他会把内存中的电荷带走了，也就意味着内存中的数据没法保存下来，我们需要进行不断的刷新和充电，因此一旦断电，内存中的数据将不复存在，为了我们的系统的数据能够永久存储，所以我们需要一个辅存，这个辅存主要是实现持久存储的。辅存断电以后他的数据依然存在，所以叫持久存储。） 

                   网卡：网卡也是在交互式环境下重要的I/O设备，对于服务器来讲，网卡就更加重要了，因为网卡是服务器向外提供服务的根本的服务口。

外存和网卡是服务器上最为常见的 I/O 这两个设备既能输入也能输出的I/O设备

除了外存和网卡以外，如果是一个交互式的平台，还应该有两个另外的硬件设备，分别是显示器和键盘

         上面提到的这些设备，计算机是怎样连接起来的？

                   这么多的I/O设备，我们需要一些被称为bus总线的东西，将这些设备连接起来，但是CPU需要跟每一个设备打交道，那么难道我们就给CPU与这些设备之间单独的挨个连一根线吗，那就太麻烦了，所以早期的时候，计算机是通过桥设备，像北桥，南桥这个设备进行连接，现在的服务器架构上，这些东西已经被抛弃了，像北桥，南桥这样经典的架构体系结构是比较理解的。多以对于CPU而言，他将自己的连接机制，一并连接到北桥上，任何其他的I/O设备，告诉I/O都可以直接连接在北桥上。通过北桥汇总以后，再跟CPU连接。这是因为CPU的宿舍非常快，而各种I/O设备的速度都比较慢，所以这些I/O设备通过北桥汇总以后，连接到CPU上，由CPU负责进行数据的处理。但是众多的I/O设备中，还有许许多多更慢的组件，像PCI总线，这个更慢的I/O设备通过慢速桥，也就是南桥进行汇总连接起来，然后在一起汇总到北桥上，然后再由北桥汇总连入CPU，北桥被称为高速桥，南桥被称为低速桥。

         如果有些总线希望能够高速访问的话，像PCI-E，或者想一些显卡设备，这些高速I/O是连接到北桥上的，像键盘鼠标这些慢设备是连接到南桥上的。

         我们要明白我们的CPU要想跟这些设备打交道，比如跟这里的显卡或者硬盘打交道，他们必须实现这样几种的操作机制，首先CPU需要实现向这个设备发一个控制指令，比如说CPU向硬盘发起读请求，发一个控制指令，有时候这个指令是由指令控制器来完成，并且CPU还需要将这个数据加载到内存中，那么这就需要传输数据的，另外CPU还需要向内存上定位内存上每一个可用的内存空间，所以从这个本质上来讲，CPU如果能跟这些设备打交道，有可能早期的时候，就连内存都有可能是连接到北桥上的。

         CPU为了能够跟这些众多的设备进行通信，那么CPU与北桥之间需要一个总线，这个总线需要有三种功能：

         第一个功能：CPU要完成在内存中的寻址，定位内存中的地址，这就是地址总线；

         第二个功能：CPU要发控制指令，那么这个又叫控制总线；

         第三个功能：CPU要完成数据的存储读取，这个线又叫数据总线；

上面的三类总线其实是通过一组线缆实现的，因此我们将这种情况，叫线缆的复用机制。在某一时刻这个线缆只能用于传输数据，在某一时刻这个总线只能用于发送控制指令，等等

         每一个I/O设备都因该连接到北桥或者南桥上，但是如果说当前主机上，将来可能用某个I/O设备。但是现在没有加怎么办？那么在主板上预留一个空间好将来进行扩展，这就叫扩展槽，所以我们在主板上预留一些PCI槽，或者叫PCI-E的槽。像现在的高速固态硬盘，性能非常好，他的就是PCI-E的。

上面谈了很多，其实主要的就是说，我们的硬盘接口，这些不同的I/O设备能够实现数据传输，那他们的方式一样吗？打个比方回答这个问题，就想我们的鼠标数据线缆传输数据的方式，和硬盘的数据传输方式会不会一样？肯定不一样。

         那么CPU是怎样实现与这些通信方式不一样的设备进行交互的？

我们的CPU要想与这些设备进行通信，所以每一种设备，在这里每一种I/O设备通过一个线缆与主板上的接口连接起来的，因为他们是可插拔的。比如说，内存有内存槽，硬盘有硬盘槽，然后通过不同结构的线缆，将插槽与各种I/O设备连接起来，（IDE线缆与SATA线缆的结构是不一样，）说到这里我们应该明白，对于我们的CPU或者内存来讲，他在整个数据总线上是由CPU实现，但是真正的转化成某个地方方言时，也就是真正的跟某个I/O设备打交道时，就需要这个槽来实现，我们可以将这个槽理解为一个重要的翻译官，我们一般将这个槽叫做控制器，我们叫他为SATA控制器，或者为IDE控制器，如果我们是通过PCI槽进行扩展的话，通常叫他为适配器，这个槽的主要作用就是，把CPU能够说明白的信息，通过这个槽或者线缆，转化为特定的I/O设备能够理解的信息，也就是在CPU控制总线上说的都是官话，然后到了特定的I/O设备时，就会将这些官话转化为特性的地方话。所以他们之间的传输，也是通过一种特定的机制来传输的。

计算机中的五大部件：

         CPU（包括了运算器和控制器）  Memory（RAM存储器）  I/O（输出设备和输入设备）

对于服务器来讲：

                   I/O：（磁盘）Disks, （网卡）Ehtercard

                   Disks：持久存储数据

                            硬盘接口类型：

                                     IDE（ata）：并口，理论速率：133MB/s

                                     SCSI：并口，

                                     SATA：串口（是IDE接口的升级版，传输是有先有后的）理论速率：6gbps                                            要换成上面的大B，那么需要除以8

                                     SAS：串口，6gps

                                     USB：串口，480MB/s

                            并口：统一线缆可以接多块设备；

                                     IDE：两个，主，从

                                     SCSI：

                                               宽带：可以接16-1个设备

                                               窄带：可以连接8-1个设备

                            串口：同一线缆只可以接一个设备；

                                     IOPS：Io  per second   ：IO次数每秒

         为什么并行接口传输数据会慢呢？

                   解：需要并行传输数据的时候，我们需要在总线上产生数据控制，想要实现数据交换速度快的话，就需要频率要高，这就与电磁信号的传输有关了，如果频率高了后，彼此差生相互干扰的可能性是非常大的，那么数据一干扰，我们就需重新传输数据，那么我们就会限制数据交换的频率，那么数据交换的速度就会受到限制，所以说并行接口传输，速度一般是小于串行接口的。

         硬盘：机械硬盘；固态硬盘；

                   固态硬盘：我们可以理解为内部是多个并行存取的U盘。固态硬盘有一种就扣是PCI-E接口，这种PCI-E接口的速度接近于内存的速度，

无论是机械硬盘还是固态硬盘他们的接口都是一样，无非就是IDE接口，SATA接口，或者是PCI-E接口，我们衡量一个硬盘的性能时，我们除了看他的传输速率外，我们还看另外一个指标来描述，IOPS（IO次数每秒）每一个I/O就是一个存取操作，对于IDE来讲，每秒的IO次数大约在100个左右，而SCSI接口每秒大约为150个到200个之间I/O，对于很多存取很频繁的数据服务器来讲100个左右的IO有点差，对于早期时候，人们为了扩展ipos，就是将多个硬盘连起来并行使用，比如将硬盘做成rai0，它能够拓展I/O能力，但是这种能力比固态硬盘的扩展能力就差很多了，比方说，市面上的固态硬盘IPOS在400个左右，这就是我们的主机换了固态硬盘后，开机仅用几秒，固态硬盘是电器设备，而机械硬盘是机械设备。

固态硬盘是根据电子运转来实现存取，机械硬盘是根据机械盘的旋转来实现存取的，到目前为止机械硬盘的封装技术仍然是上个世界六七十年代的技术。我们桌面的固态硬盘一般都是 SATA 接口的。

机械硬盘的概念个工作原理：

         （机械式的硬盘就是由马达带动的，同轴旋转的，内部是真空封装的，多个盘片，这些盘片上有一种磁性材料，盘片上面可以按照固定的轨道，实现数据存取，）

         我们的盘片上画了很多的同心圆的轨道，我们称之为磁道：（track），我们知道每一个盘片上的磁道都是同心圆，他们的周长是不一样，所以说这样圆仅是同轴的旋转的，是同心圆，但是由内而外的周长不同，也就是意味着，他每一圈存储的数据量不一样，但是由于是同轴旋转，也就是单位时间内划过的长度是不一样的，但是他们的角速度是一样，所以我们称之为固定角速度的设备，那么这样的硬盘怎样实现数据的存取呢？

         简单来讲，我们知道磁盘中有盘片，也有磁头，这些磁头会在盘面上上悬浮着，这些磁头可能距离盘面仅有几个微米的间距，他通过这种磁场信息的交换，使得磁头能够从盘面上的磁场信息来读取存储的信息，也能够发送高能信号，将数据保存在磁性材料中，为了使得磁盘上上存储更多的数据，我们的磁盘双面都有磁性材料，也就是意味着双面都要读写，所以说对于每一个盘片来讲，每一个盘片的每一面都有一个磁头，但是每一个盘面上的磁头都被固定在同一个机械臂上，所以说磁头的滑动也是同步的，所以说每一次的数据读取，都是由两步完成的，第一步先机械臂滑动磁头定位磁道，第二步磁盘转动，然后磁盘转动使得磁头读取数据。

         所以我们在读取数据的时候有一个“平均寻道时间”

         平均寻道时间，是衡量一个硬盘性能的重要指标。平均寻道时间：越短越好，有两种方法提高寻道的速度：（1）是机械臂滑动时间缩短，（2）使磁盘的转速提高

         市面上有：5400rpm（rpm：表示多少转每分钟）,7200rpm，10000rpm，SCSI接口的寻道时间有15000rpm

         因为磁盘每分钟转这么多次，必然会发出大量的热，所以硬盘是真空封装的，里面不能有任何的杂质，在这里面哪怕有一粒微小的灰尘，也会像巨石一样。我们也知道磁盘中的磁头与盘面之间有几微米的间距，所以磁盘在工作的时候，磁盘是不能被震动的，因为一旦震动，两者之间就可能接触了，接触就很可能磁头将盘面给划坏了，这也是硬盘很容易损害的原因。所以现在的笔记本里面的硬盘都有特殊的保护机制。

         由磁盘中的磁道是由内而外，所以每个磁道是不一样的，所以我们不能安照一个磁道为一个单位进行存储，这样的话我们很难实现数据的有效管理，更何况一个磁道也很难将一个文件存完，那么我们就将一个磁道换成一个扇区，我们将每一个磁道划分成固定大小的扇区，

         sector：扇区，每一个扇区是大小固定的，每一个扇区大小为512字节，字节：bytes

一般而言外道的扇区数和内道的扇区数是不一样的，为了便于管理和理解，现在硬盘通常对外接口上都把每一个磁道上的扇区数固定了，是通过虚拟曾固定的，看上去每一个磁道平均拥有多少个扇区，那事实上并不是这么做的。

         那么我们的分区是怎么分的？

         在说分区之前，我们先说一下柱面：cylinder：

我们之前说过，每一个磁头都固定在同一个机械臂上，那么我们就可以认为，这些磁头也是同步进退的，因此在某一时刻，这个头固定在某一个磁道上，那么第二个磁头就固定在第二个柱面上的相同磁道上，第三个刺头就在第三个柱面上的相同磁道上.......不同盘面上的相同编号的磁道就叫一个柱面，就像一个薄薄的铁通一样，那么我们分区是怎样分的?

         如果我们不分区的话，整块磁盘就被当做一个文件系统进行管理，当做一个存储空间，但是早些时候，硬盘只有几个G，那我们为什么要分区呢？

         因为现在的硬盘都很大，为了使得每一个硬盘中，我们可以独立的组织为多个可管理的文件系统，每一个被划分出的独立的文件系统，就叫块设备，可以独立使用，彼此间不会相互干扰，但是我们的分区应该怎样分？

         真正的文件存储，是按照磁道进行的。

         我们的分区划分是按照柱面进行的，

         那么这样的话，越靠近外面的分区性能越好，这是因为单位时间内划过的距离较长，完成的数据存取量较大。

         （这也是为什么电脑装系统，一般装在C盘，因为C盘是最外层的柱面所组成的分区，）

Linux 的哲学思想：一切皆文件；

         设备类型：

                   块（block）：随机访问，数据交换单位是“块”；

                   字符（ character ）：线性访问，数据交换单位是“字符”；

         设备文件：FHS，被放在/dev/目录下，

         /dev

                   设备文件作用：关联至设备的驱动程序；

                   设备号：

                            major ：主设备号，区分设备类型；用于标明设备所需要的驱动程序；

                            minor ：次设备号，区分同种类型下的不同的设备，是特定设备的访问入口；

         手动创建设备文件：

                            每一个设备文件叫做一个节点；

                   mknod命令：

                   功能：用来创建块设备或者字符设备文件的命令

                   格式：

                                mknod  [OPTION]... NAME  TYPE  [MAJOR MINOR]

                   选项：

                            -m,--mode=MODE：创建文件时，直接指明文件的访问权限

设备文件名，不能随便定义，是由ICANN组织定义的。

磁盘：

         IDE：  /dev/hd[a-z]  

                   例如：/dev/hda   /dev/hdb    

         SCSI,SATA,USB,SAS：  /dev/sd[a-z]

         分区：

                   /dev/sda#：

                            /dev/sda1,................

注意： CentOS6 和 7 统统将硬盘设备文件标识为 /dev/sd[a-z]#

         引用设备的方式：

                   设备文件名

                   卷标

                   UUID

磁盘分区类型：

                   有两种：MBR,GPT

         MBR：0sector（0号扇区）：0磁道0扇区

                   大小为：512字节

                   全称：Master  Boot Record ：主引导记录

                   分为三部分：

                            前446bytes存放操作系统的加载程序：称为：bootloader，是一个程序，

                                      bootloader是引导启动操作系统的程序；

                            64bytes：分区表，每16个字节标识一个分区，一共只能有4个分区；

                                     4个主分区

                                     3主1扩展

                                               在扩展分区中在划分n个逻辑分区

                            2bytes：MBR区域的有效性标识，55AA为有效，否则为无效；

         （上面的64bytes定义了我们的操作系统只能有4个分区，但是现在我们的硬盘好像不止只有4个分区，那我们是怎样实现的呢？

         我们把这四个分区中的一个分区拿出来，使得这个分区不再标识分区，而是用来指向另外一个存储空间，把另一个存储空间，当做新的分区表的存储位置，）

         主分区和扩展分区的表示：1-4

         逻辑分区：只能从5开始，包括5；

[root@centos6 ~]# ls -l /dev  //查看/dev/目录先的设备文件

total 0

crw-rw----. 1 root video    10, 175 Nov 7 09:41 agpgart

crw-rw----. 1 root root     10, 54 Nov  7 09:41 autofs

drwxr-xr-x. 2 root root         660 Nov  7 09:41 block

drwxr-xr-x. 2 root root          80 Nov  7  2016bsg

crw-------. 1 root root     10, 234 Nov  7  2016btrfs-control

[root@centos6 ~]# mknod /dev/testdev b 111 1  //创建了一个快设备类型的主设备号为111，                                                                                        次设备号为1，名称为testdev的设备文件

[root@centos6 ~]# ls -l /dev/testdev

brw-r--r--. 1 root root 111, 1 Nov  7 15:40 /dev/testdev

[root@centos6 ~]# 

fdisk 命令：

（这个命令非常危险，请勿在服务器上试用，请勿在生产环境中试用）

[root@centos6 ~]# man fdisk   //查看fdisk命令的帮助

功能：

         管理磁盘分区表

格式：

         （1）查看分区情况：

         fdisk[-uc] [-b sectorsize] [-C cyls] [-H heads] [-S sects] device

      fdisk  -l  [-u]  [device...]    //列出指定磁盘设备上的分区情况；

centos6 演示：

[root@centos6 ~]# fdisk -l

Disk /dev/sda: 214.7 GB, 214748364800 bytes    //磁盘大小为214.7GB，换算成字节位....

255 heads, 63 sectors/track, 26108cylinders

Units = cylinders of 16065 * 512 = 8225280bytes  //扇区大小为512字节

Sector size (logical/physical): 512 bytes /512 bytes //扇区大小，逻辑大小，物理大小都是512                                                                                                            字节

I/O size (minimum/optimal): 512 bytes / 512bytes   //I/O大小为512字节

Disk identifier: 0x000066a0    //磁盘的标识符，是以以为16进制的数字进行标识

  Device Boot      Start         End      Blocks  Id  System

/dev/sda1  *           1          26      204800  83  Linux  //“*”表示是引导                                                                                                            分区，标识操作系统在这个分区上装着呢。

Partition 1 does not end on cylinderboundary.

/dev/sda2              26        6400   51200000   83  Linux

/dev/sda3            6400        8950   20480000   83  Linux

/dev/sda4            8950       26109  137829376    5  Extended

/dev/sda5            8950        9460    4096000   82  Linux swap / Solaris

[root@centos6 ~]#

上面的“ Id ”表示类型，这个类型是指我们的分区所在的场景类型， linux 的分区正常都用 83 来表示，而扩展分区使用 5 来表示，交换分区使用 82 表示；

         “83”：是一个16进制的两位数。

system ：表示前面的 Id 对应的意义是什么。

centos7 演示：

[root@centos7 ~]# fdisk -l

Disk /dev/sda: 214.7 GB, 214748364800bytes, 419430400 sectors

Units = sectors of 1 * 512 = 512 bytes

Sector size (logical/physical): 512 bytes /512 bytes

I/O size (minimum/optimal): 512 bytes / 512bytes

Disk label type: dos

Disk identifier: 0x0003325d

  Device Boot      Start         End      Blocks  Id  System

/dev/sda1  *        2048      411647      204800  83  Linux

/dev/sda2          411648   102811647   51200000   83  Linux

/dev/sda3       102811648   143771647   20480000   83  Linux

/dev/sda4       143771648   419430399  137829376    5  Extended

/dev/sda5       143773696   151965695    4096000   82  Linux swap / Solaris

[root@centos7 ~]#

总结：上面的显示中， centos6 与 centos7 的不同是： “ start ”

                   centos6表示从哪个柱面开始

                   centos7 表示从哪个扇区开始

如果我们想看某一个指定的磁盘分区情况，则我们后面写上指定的磁盘设备文件即可

         [root@centos7~]# fdisk  -l  /dev/sda

（ 2 ）如果想管理分区：

                   fdisk  device（device表示磁盘文件名），执行这个命令能够打开fdisk的命令行接口，fdisk提供了一个交互式接口来管理分区，他有许多子命令，分别用于不同的管理功能，所有的操作均在内存中完成。这就意味着所有的操作不会保存在磁盘上，这就不会损害磁盘。直到使用“w”命令保存到磁盘上才会生效，

         常用的命令：

                   n：创建新分区；

                   d：删除已有的分区；

                   t：修改分区类型；

                   l：查看所有已知ID；

                   w：保存并退出；

                   q：不保存并退出；

                   m：查看帮助信息；

                   p：显示现有分区信息；（相当于在命令行中执行：  fdisk  -l ）

         我们直接fdisk 后面跟上磁盘的设备文件名即可

         例如：      [root@centos7 ~]# fdisk  /dev/sda

演示例二 ：

[root@centos6 ~]# fdisk /dev/sda

WARNING: DOS-compatible mode is deprecated.It‘s strongly recommended to

        switch off the mode (command ‘c‘) and change display units to

        sectors (command ‘u‘).

Command (m for help): m    //使用m选项，查看fdisk的子命令。

Command action

  a   toggle a bootable flag

  b   edit bsd disklabel

  c   toggle the dos compatibilityflag

  d   delete a partition    //表示删除分区

  l   list known partition types   //列出已知的分区类型（82  Linux swap / ；85  Linux                                                                                  extended；86  NTFS volume set；87  NTFS volume set；                                                                          88  Linux plaintext（linux纯文本）；8e  Linux LVM；fd                                                                           Linuxraid auto；）

  m   print this menu

  n   add a new partition    //表示添加新分区

  o   create a new empty DOSpartition table

  p   print the partition table

  q   quit without saving changes

  s   create a new empty Sundisklabel

  t   change a partition‘s system id           //表示更改一个分区的system  ID，即更改分区类型

  u   change display/entry units

  v   verify the partition table

  w   write table to disk and exit   //表示保存退出

  x   extra functionality (expertsonly)

Command (m for help):

      fdisk -s partition...

      fdisk -v

      fdisk -h

课外作业：GPT

本文出自 “11847750” 博客，请务必保留此出处http://11857750.blog.51cto.com/11847750/1875111

原文：http://11857750.blog.51cto.com/11847750/1875111