linux学习日记十三 软件磁盘阵列RAID

~

磁盘阵列的英文全称是Redundant Arrays of Inexpensive Disks（RAID），即容错廉价磁盘阵列。可以通过一些技术将多个较小的磁盘整合成为一个较大的磁盘设备；而这个设备可不止存储功能而已，它还具有数据保护功能。

RAID的等级：

× RAID-0（等量模式，stripe）：性能较佳

这种模式使用相同型号和容量的磁盘来组成，可以有多个，RAID会将每个磁盘划分成等量的区块（一般为4K，2K等等），然后当一个文件被写入时，该文件会依据块大小切割好，之后依序放到各个磁盘里面去，由于每个磁盘交错存放数据，因此当你的数据要写入RAID时，数据会被等量的放置到各个磁盘上去。越多磁盘组成RAID-0,那么的话性能肯定就越好了。

缺点：一个磁盘挂点，整个文件系统崩盘，无法恢复了。并且所有磁盘容量必须一样，不然性能会下降。

× RAID-1（映像模式，mirror）：完整备份

这种模式也要相同型号，相同容量的磁盘，最好完全一样，一个模子刻出来的。

数据传送到I/O总线被复制多份到各个磁盘，因此写的性能会变得很差，不过如果你用硬件RAID（磁盘阵列卡），磁盘阵列卡会主动帮你复制，不需要I/O总线。但是磁盘阵列卡很贵滴呀呀，我买不起，所以很悲剧。RAID-1最大的用途在于备份，不过它的读取性能很好。

× RAID 0+1, RAID 1+0

RAID-0的性能较佳但是数据不安全，RAID-1数据安全但是性能不佳，那能不能组合下撒。

RAID 0+1：先让N块磁盘组成RAID-0, 同时再让另外的N块磁盘也组成RAID-0, 这样子我得到了两组RAID-0，然后将这两组RAID-0再组成一组RAID-1。

RAID 1+0：先让2N块磁盘组成N个组，每个组两个磁盘，每个组里面的两个磁盘组成RAID-1, 然后将这N组RAID-1组成RAID-0。

缺点：磁盘有一半的容量用来做备份了，悲剧呀！！！

RAID-5：性能与数据备份的均衡考虑

RAID-5至少需要三块以上的磁盘才能组成这种类型的磁盘阵列。这种磁盘阵列的数据写入有点类似RAID-0,不过每次循环写入过程中，在每块磁盘还加入一个同位检查数据（Parity），这个数据会记录其他磁盘的备份数据，用于当有磁盘损毁时的救援。

RAID-5的容量要减掉一个磁盘容量，也就是阵列的磁盘总数N-1,因为需要一个磁盘容量来保存同位检查数据Parity

RAID-5的读取性能很不错，跟RAID-0有得一拼，但是写入性能就很尴尬了，在软件磁盘阵列的时候，CPU还得花时间去计算同位检查数据。同时它只能保证一个磁盘损坏数据的安全，如果两个磁盘损坏就挂了。

RAID-6：跟RAID-5类似，不过这次会使用两块磁盘容量作为Parity的存储，它可以支持两块磁盘同时损坏，这个概率应该比走在马路上被一辆驴车撞到的概率还低吧，^_^

====Spare Disk：预备磁盘的功能====

为了让系统可以实时在坏掉磁盘时主动重建，需要预备磁盘spare disk的辅助，平时不包含在磁盘阵列中，当磁盘阵列有任何磁盘损坏时，spare disk马上被主动拉入磁盘阵列中，并将坏掉的磁盘移除磁盘阵列，然后立即重建数据系统，如果你的磁盘阵列还支持热插拔就更爽了，因为这个时候只需要把坏的那颗磁盘拔下来，换上一个新的，再将新的磁盘设置成spare disk，完成了，不用关机重启可以完成一切。这对服务器的稳定性有很好的帮助。

磁盘阵列的优点：

× 数据安全与可靠性，这里指的是硬盘坏了数据可以挽回。

× 读写性能，RAID-0可以加强读写性能，让你的系哦I/O系统部分得以改善

× 容量：可以让多个磁盘组合起来，因此单一文件系统可以有相当大的容量。

centos提供的软件磁盘阵列为mdadm这套软件，以分区或磁盘为单位，也就是说你不需要多个磁盘就可以设计你的磁盘阵列了。此外，mdadm支持刚刚提到的RAID-0,RAID-1,RAID-5等级，还支持spare disk的功能。而且提供的管理机制还可以达到类似可以热插拔的功能，可以在线（文件系统正常使用）进行分区的抽换，使用上非常的方便。。

注意：硬盘磁盘阵列在linux看起来就是一个大的磁盘，所有设备文件名为/dev/sd[a-p]，因为使用到SCSI的模块的原因。而软件磁盘阵列因为是系统仿真，因此使用的设备文件名时系统的设备文件，文件名为/dev/md0, /dev/md1，两者注意区别。

====软件磁盘阵列的设置====

# mdadm –detail /dev/md0

# mdadm –create –auto=yes /dev/md[0-9] –raid-device=4 –level=[015] –spare-device=2 /dev/sd5 /dev/sd6

–create：为新建RAID的参数

–auto=yes：决定新建后面接的软件磁盘阵列设备，即/dev/md0, /dev/md1等

–raid-devices=N：使用N个磁盘作为磁盘阵列的设备

–spare-devices=N：使用N个磁盘作为备用spare设备

–level=[015]：设置磁盘阵列的等级。支持很多，不过建议只要用0,1,5即可

–detail：后面所接的那个磁盘阵列设备的详细信息

注意最后面接的设备文件名，可以时整块磁盘，比如/dev/sdb，也可以是一个分区，比如/dev/sdb1，不过这些设备文件名的数量总数必须等于–raid-devices和–spare-devices的个数总和才行。

下面我来试试建立一个RAID-5的软件磁盘阵列，貌似这个比较常用，很适合。

我希望这个RAID-5环境时这样子的：

× 利用4个分区组成RAID-5

× 每个分区大约为1G大小，需要确定每个分区一样大较佳

× 另外加一个分区设置为sparedisk

× 这个sparedisk的大小与其他RAID所需分区一样大

× 将此RAID-5设备挂载到/mnt/raid目录下面

先用fdisk构建5个1G的分区：

# fdisk /dev/sda

  前面省略。。。

  Command (m for help):n

每次分1000M空间大小，注意，我不知道神马原因，first 扇区要手动输入，用p选项查看后，用最后一个分区的扇区号+2049才是第一个空闲扇区号，这个可能时fedora的一个bug，分区居然不是连续的，不管了，自己去试试。??/p

最后的分区用p查看后，是这样子的：

设备 Boot      Start         End      Blocks   Id  System

  /dev/sda1            2048      206847      102400    7  HPFS/NTFS/exFAT

  /dev/sda2   *      206848   169859071    84826112    7  HPFS/NTFS/exFAT

  /dev/sda3       169859072   462827821   146484375    7  HPFS/NTFS/exFAT

  /dev/sda4       462829568   976773119   256971776    5  Extended

  /dev/sda5       462833664   463243263      204800   83  Linux

  /dev/sda6       463245312   631181311    83968000   83  Linux

  /dev/sda7       631183360   799119359    83968000   83  Linux

  /dev/sda8       799121408   803315711     2097152   82  Linux swap / Solaris

  /dev/sda9       803317760   805365759     1024000   83  Linux

  /dev/sda10      805367808   807415807     1024000   83  Linux

  /dev/sda11      807417856   809465855     1024000   83  Linux

  /dev/sda12      809467904   811515903     1024000   83  Linux

  /dev/sda13      811517952   813565951     1024000   83  Linux

  后面的从9到13就是刚刚我分的5个分区，每个大概1G，大小都相同。

# partprobe

接下来就简单啦啦，，通过mdadm来创建磁盘阵列吧。哦也

# mdadm –create –auto=yes /dev/md0 –level=5 –raid-devices=4 –spare-devices=1 /dev/sda{9,10,11,12,13}

查看下（等下，先去喝杯咖啡先，因为如果你直接立马运行，可能出现下面的正在building数据的信息）：

复制代码

  

代码如下:

# mdadm --detail /dev/md0

  /dev/md0: ==RAID设备文件名

  Version : 1.2

  Creation Time : Sun Oct 28 10:03:43 2012 ==RAID被创建的时间

  Raid Level : raid5 ==此RAID的等级

  Array Size : 3068928 (2.93 GiB 3.14 GB) ==此RAID可用磁盘容量

  Used Dev Size : 1022976 (999.17 MiB 1047.53 MB) ==每个设备可用容量

  Raid Devices : 4 ==用作RAID的设备数量

  Total Devices : 5 ==全部的设备数量

  Persistence : Superblock is persistent

Update Time : Sun Oct 28 10:04:01 2012

  State : clean, degraded, recovering

  Active Devices : 3 ==启动的（active）设备数量

  Working Devices : 5 ==可工作的设备数量

  Failed Devices : 0 ==出现错误的设备数量

  Spare Devices : 2 ==预备spare磁盘的数量

Layout : left-symmetric

  Chunk Size : 512K

Rebuild Status : 17% complete

Name : localhost.localdomain:0 (local to host localhost.localdomain)

  UUID : 657db303:887c7b6f:b8d8fc91:dc7b3374

  Events : 3

Number Major Minor RaidDevice State

  0 8 9 0 active sync /dev/sda9

  1 8 10 1 active sync /dev/sda10

  2 8 11 2 active sync /dev/sda11

  5 8 12 3 spare rebuilding /dev/sda12

4 8 13 - spare /dev/sda13

真正的完成build后的信息应该是：

复制代码

  

代码如下:

# mdadm --detail /dev/md0

  /dev/md0:

  Version : 1.2

  Creation Time : Sun Oct 28 10:03:43 2012

  Raid Level : raid5

  Array Size : 3068928 (2.93 GiB 3.14 GB)

  Used Dev Size : 1022976 (999.17 MiB 1047.53 MB)

  Raid Devices : 4

  Total Devices : 5

  Persistence : Superblock is persistent

Update Time : Sun Oct 28 10:06:00 2012

  State : clean

  Active Devices : 4

  Working Devices : 5

  Failed Devices : 0

  Spare Devices : 1

Layout : left-symmetric

  Chunk Size : 512K

Name : localhost.localdomain:0 (local to host localhost.localdomain)

  UUID : 657db303:887c7b6f:b8d8fc91:dc7b3374

  Events : 20

Number Major Minor RaidDevice State

  0 8 9 0 active sync /dev/sda9

  1 8 10 1 active sync /dev/sda10

  2 8 11 2 active sync /dev/sda11

  5 8 12 3 active sync /dev/sda12

4 8 13 - spare /dev/sda13

还可以通过查看/proc/mdstat查看磁盘阵列情况：

# cat /proc/mdstat

Personalities : [raid6] [raid5] [raid4]

  md0 : active raid5 sda12[5] sda13[4](S) sda11[2] sda10[1] sda9[0]

  3068928 blocks super 1.2 level 5, 512k chunk, algorithm 2 [4/4] [UUUU]

  unused devices: none

格式化与挂载使用RAID：

# mkfs -t ext4 /dev/md0

# mkdir /mnt/raid

# mount /dev/md

# mount /dev/md0 /mnt/raid

# df

文件系统          1K-块    已用     可用 已用% 挂载点

  rootfs         82649712 4681980 73769332    6% /

  devtmpfs        1964632       4  1964628    1% /dev

  tmpfs           1975352     600  1974752    1% /dev/shm

  tmpfs           1975352    1160  1974192    1% /run

  /dev/sda6      82649712 4681980 73769332    6% /

  tmpfs           1975352       0  1975352    0% /sys/fs/cgroup

  tmpfs           1975352       0  1975352    0% /media

  /dev/sda7      82649712 8355056 70096256   11% /home

  /dev/sda5        198337   90718    97379   49% /boot

  /dev/md0        3020688   70048  2797196    3% /mnt/raid

  看到了吧，最后一个，是不是很有成就感，=_=

====仿真RAID错误的救援模式====

# mdadm –manage /dev/md[0-9] [--add 设备] [--remove 设备] [--fail 设备]

–add：将后面的设备加入到这个md中

–remove：将后面的设备从这个md中删除

–fail：将后面的设备设置成出错的状态

手动模拟磁盘错误：

# cp -a /etc /var/log /mnt/raid/

# df -h /mnt/raid/; du -smh /mnt/raid/*

  文件系统        容量  已用  可用 已用% 挂载点

  /dev/md0        2.9G  126M  2.7G    5% /mnt/raid

  45M    /mnt/raid/etc

  4.4M    /mnt/raid/log

  16K    /mnt/raid/lost+found

# mdadm –manage /dev/md0 –fail /dev/sda10

  mdadm: set /dev/sda10 faulty in /dev/md0

然后马上查看状态，这个动作要快点，因为raid会自动重建数据系统：

复制代码

  

代码如下:

# mdadm --detail /dev/md0

  /dev/md0:

  Version : 1.2

  Creation Time : Sun Oct 28 10:03:43 2012

  Raid Level : raid5

  Array Size : 3068928 (2.93 GiB 3.14 GB)

  Used Dev Size : 1022976 (999.17 MiB 1047.53 MB)

  Raid Devices : 4

  Total Devices : 5

  Persistence : Superblock is persistent

Update Time : Sun Oct 28 10:24:42 2012

  State : clean, degraded, recovering

  Active Devices : 3

  Working Devices : 4

  Failed Devices : 1

  Spare Devices : 1

Layout : left-symmetric

  Chunk Size : 512K

Rebuild Status : 6% complete

Name : localhost.localdomain:0 (local to host localhost.localdomain)

  UUID : 657db303:887c7b6f:b8d8fc91:dc7b3374

  Events : 23

Number Major Minor RaidDevice State

  0 8 9 0 active sync /dev/sda9

  4 8 13 1 spare rebuilding /dev/sda13

  2 8 11 2 active sync /dev/sda11

  5 8 12 3 active sync /dev/sda12

1 8 10 - faulty spare /dev/sda10

喝完咖啡后，看一下（其实也就1分钟左右）

复制代码

  

代码如下:

# mdadm --detail /dev/md0

  /dev/md0:

  Version : 1.2

  Creation Time : Sun Oct 28 10:03:43 2012

  Raid Level : raid5

  Array Size : 3068928 (2.93 GiB 3.14 GB)

  Used Dev Size : 1022976 (999.17 MiB 1047.53 MB)

  Raid Devices : 4

  Total Devices : 5

  Persistence : Superblock is persistent

Update Time : Sun Oct 28 10:26:53 2012

  State : clean

  Active Devices : 4

  Working Devices : 4

  Failed Devices : 1

  Spare Devices : 0

Layout : left-symmetric

  Chunk Size : 512K

Name : localhost.localdomain:0 (local to host localhost.localdomain)

  UUID : 657db303:887c7b6f:b8d8fc91:dc7b3374

  Events : 43

Number Major Minor RaidDevice State

  0 8 9 0 active sync /dev/sda9

  4 8 13 1 active sync /dev/sda13

  2 8 11 2 active sync /dev/sda11

  5 8 12 3 active sync /dev/sda12

1 8 10 - faulty spare /dev/sda10

看到了吧，不用我来给你解释了吧。

接下来，我将出错的磁盘删除并加入新的磁盘：

首先，先新建一个新的分区，这个分区大小要与其他的分区一样大才好。然后再用mdadm删除错误的并加入新的

# fdisk /dev/sda

….下面建新分区步骤省略，如果不知道怎么建，参考我的企鹅日记（一）

# partprobe

# partprobe

  [root@localhost ~]# mdadm –manage /dev/md0 –add /dev/sda14 –remove /dev/sda10

  mdadm: added /dev/sda14

  mdadm: hot removed /dev/sda10 from /dev/md0

复制代码

  

代码如下:

# mdadm --detail /dev/md0

  /dev/md0:

  Version : 1.2

  Creation Time : Sun Oct 28 10:03:43 2012

  Raid Level : raid5

  Array Size : 3068928 (2.93 GiB 3.14 GB)

  Used Dev Size : 1022976 (999.17 MiB 1047.53 MB)

  Raid Devices : 4

  Total Devices : 5

  Persistence : Superblock is persistent

Update Time : Sun Oct 28 10:33:04 2012

  State : clean

  Active Devices : 4

  Working Devices : 5

  Failed Devices : 0

  Spare Devices : 1

Layout : left-symmetric

  Chunk Size : 512K

Name : localhost.localdomain:0 (local to host localhost.localdomain)

  UUID : 657db303:887c7b6f:b8d8fc91:dc7b3374

  Events : 45

Number Major Minor RaidDevice State

  0 8 9 0 active sync /dev/sda9

  4 8 13 1 active sync /dev/sda13

  2 8 11 2 active sync /dev/sda11

  5 8 12 3 active sync /dev/sda12

6 8 14 - spare /dev/sda14

看到了吧，结果不用我解释了吧。。哈哈

而这一切的一切都是online的状态下完成的，是不是很NB呢  =_=

====开机自动挂载RAID====

只需要知道/dev/md0的UUID就行

# mdadm –detail /dev/md0 | grep -i uuid

  UUID : 657db303:887c7b6f:b8d8fc91:dc7b3374

# vi /etc/mdadm.conf

  ARRAY /dev/md0 UUID=657db303:887c7b6f:b8d8fc91:dc7b3374

  # vi /etc/fstab，在最后一行加入

/dev/md0 /mnt/raid ext4 defaults 1 2

测试下可行否（这个很重要，因为如果fstab修改不对可能导致开不了机器）

# umount /dev/md0; mount -a

  [root@localhost ~]# df /mnt/raid/

  文件系统         1K-块   已用    可用 已用% 挂载点

  /dev/md0       3020688 120464 2746780    5% /mnt/raid

  OK，没有问题，那么你就可以重启了，看是不是自动挂载了呢。

====关闭RAID====

1，先卸载

# umount /dev/md0

2，删除配置文件内容：

# vi /etc/fstab，删除（注释）下面这行

/dev/md0 /mnt/raid ext4 defaults 1 2

3，关闭/dev/md0：

# mdadm –stop /dev/md0

4，# cat /proc/mdstat

  Personalities : [raid6] [raid5] [raid4]

  unused devices: none

5，vi /etc/mdadm.conf，删除（注释）下面的行

ARRAY /dev/md0 UUID=657db303:887c7b6f:b8d8fc91:dc7b3374

好的，所有的RAID的基本都讲完了。不过上面我用的时一块磁盘，实际用途中记得用多块磁盘啊！！

=======================================END=========================================

---

德宏傣族景颇族自治州19623397698： Linux操作系统入门到精通? - ？
酆傅马栗： Linux中常用命令是必须掌握的,它们与系统状态、目录、文件、网络等相关.本节讲解常用的Linux命令,为今后学习更复杂的命令打下良好基础.系统工作命令1. 查看系统信息uname -a 显示当前系统相关信息uname -r 显示系统内核版本...

德宏傣族景颇族自治州19623397698： Python有什么缺点呢? - ？
酆傅马栗： Python的定位是“优雅”、e68a84e8a2ad7a6431333431363662“明确”、“简单”,所以Python程序看上去总是简单易懂,初学者学Python,不但入门容易,而且将来深入下去,可以编写那些非常非常复杂的程序. python语言的优点 ⑴作...

德宏傣族景颇族自治州19623397698： 请问谁有Linux的学习心得的吗?？
酆傅马栗： 每天都在学 linux,有一些心得体会和大家分享. 首先是,学 linux 光靠看书是没用的.由于linux的内核和软件更新太快,书上介绍的软件配置方法往往不太适用(多半是版本冲突或者不兼容),加上自己机器的硬件和软件配置和书上所用的机器...

德宏傣族景颇族自治州19623397698： 基于linux的嵌入式底层驱动开发应该怎样系统的学习?注意哪些方面? - ？
酆傅马栗： 1、国内的书内容都差不多,相互抄来抄去. 国外的书质量虽然高,但是一般人阅读速度吃不消. 不过,还是建议读国外的书(如果有时间的话),长痛不如短痛.2、不一定非要有开发板,可以用skyeye等软件模拟. 但是,软件模拟和实体机肯定是有区别的.还是建议选一块开发板.3、ARM板是个硬件,可以用来学习WinCE、Vxworks、Linux、uCos等等系统开发. 可以用来学习以上系统的驱动和应用开发. Linux驱动分两块内容:学习硬件工作流程(单片机程序), Linux驱动上层结构 (platform、mtd、字符设备、块设备、网络设备、各种总线 等上层结构)4.前景大大滴好,但是道路十分之曲折. 要有心里准备,得有文火久煨的毅力.

德宏傣族景颇族自治州19623397698： LINUX都要学习什么?？
酆傅马栗： 首先就是LINUX的系统安装么、磁盘划分,最开始肯定要学基本的管理,程序安装,用户权限,帐号管理,VI编辑器,进程管理,磁盘配额等,之后就是各种服务的搭建了,还有SHELL的编写…再深入就是嵌入和驱动开发了…

德宏傣族景颇族自治州19623397698： 作为一个新人,怎样学习嵌入式Linux - ？
酆傅马栗： 嵌入式linux学习路线: 一:C语言嵌入式Linux工程师的学习需要具备一定的C语言基础,C语言是嵌入式领域最重要也是最主要的编程语言,通过大量编程实例重点理解C语言的基础编程以及高级编程知识.包括:基本数据类型、数组、指针、...

德宏傣族景颇族自治州19623397698： linux下用什么笔记软件 - ？
酆傅马栗： Linux下只能用各种笔记软件的网页版,像印象、有道的网页版,因为好多应用在Linux上都没有客户端,同样,各种笔记软件也没有Linux客户端,没办法啊Linux就这样.印象在Linux上有一个第三方客户端,不是官方发布的,叫做Nixnote你可以试试.

德宏傣族景颇族自治州19623397698： 学习LINUX需要掌握哪些知识 - ？
酆傅马栗： 1、vim的要熟练掌握快捷键与编辑模式命令模式推出模式 2、权限:文件夹的权限 用户 组 相关密令有usermod chmod chown chgrp 还有SUID 、SGID sticky bit、umask. 3、scripting basics 脚本(经典) 4、管道符 | 的用法 通配符的用法 5、进程管理 、计划任务 6、挂载点的结构 7、cp mv rm 的用法 等等

德宏傣族景颇族自治州19623397698： 嵌入式linux怎么学?嵌入式linux如何学习? - ？
酆傅马栗： 学习嵌入式linux之前必须要做好心理准备:第一,要明白学好嵌入式linux不是一件一蹴而就的事,一定要能坚持使用它,特别是在使用初期,由于在linux中,用户权限很大,做任何事情都很自由,所以,你往往需要知道你做的每一步在干什么,...

德宏傣族景颇族自治州19623397698： 如何才能快速学会linux - ？
酆傅马栗： 想想 李连杰 版的《倚天屠龙记》快速学好 linux ,首先忘掉 win ,之后,重新学 计算机;在使用linux中,有一点很重要:什么都是文件:不管是键盘,显示器,磁盘,光驱,内存,鼠标,网卡,声卡,摄像头,话筒,包括程序…… 全是文件,…… 这一点,如果你学linux编程,就会体会到;如果用到管道,GStreamer,就会体会到它的绝妙之处.