浪潮服务器IPMI与RAID及Hot Spare配置

Contents

1. IPMI
2. RAID
3. Hot Spare

公司新上架了一批浪潮的服务器，型号为SA5212M4，使用了LSI 的SAS3008 磁盘控制器，安装了CentOS 6.7，在进行一些基础配置如RAID hot spare的时候，走过不少弯路(浪潮的技术支持只能呵呵)。

IPMI

IPMI是什么？浏览一下介绍文档之后大概明白它解决的问题就是：怎么为远程机器配置BIOS,远程机器网络配置出错导致断网咋办…之类的问题。一句话：IPMI是一个独立于OS甚至BIOS之外的系统，它能管理电源、显示等底层甚至硬件层次的资源，但它也能与OS通信，比如你可以通过ipmitools来设置ipmi的一些参数。

ipmitool

ipmitool是一个允许你通过shell来使用ipmi的工具，其它安装过程为

1
2
3

yum install OpenIPMI OpenIPMI-tools
chkconfig ipmi on
service ipmi start

确认服务启动之后，你可以通过它来打印ipmi信息，管理ipmi的用户和密码等

$ sudo ipmitool lan print
Set in Progress         : Set Complete
Auth Type Support       : MD2 MD5 PASSWORD 
Auth Type Enable        : Callback : MD2 MD5 PASSWORD 
                        : User     : MD2 MD5 PASSWORD 
                        : Operator : MD2 MD5 PASSWORD 
                        : Admin    : MD2 MD5 PASSWORD 
                        : OEM      : 
IP Address Source       : Static Address
IP Address              : 172.30.0.xx
Subnet Mask             : 255.255.255.0
MAC Address             : 6c:92:bf:xx:xx:xx
SNMP Community String   : Inspur
IP Header               : TTL=0x40 Flags=0x40 Precedence=0x00 TOS=0x10
BMC ARP Control         : ARP Responses Enabled, Gratuitous ARP Disabled
Gratituous ARP Intrvl   : 0.0 seconds
Default Gateway IP      : 172.30.0.x
Default Gateway MAC     : 00:00:00:00:00:00
Backup Gateway IP       : 0.0.0.0
Backup Gateway MAC      : 00:00:00:00:00:00
802.1q VLAN ID          : Disabled
802.1q VLAN Priority    : 0
RMCP+ Cipher Suites     : 1,2,3,6,7,8,11,12
Cipher Suite Priv Max   : aaaaXXaaaXXaaXX
                        :     X=Cipher Suite Unused
                        :     c=CALLBACK
                        :     u=USER
                        :     o=OPERATOR
                        :     a=ADMIN
                        :     O=OEM
# ipmitool user list 1
ID  Name	     Callin  Link Auth	IPMI Msg   Channel Priv Limit
1   root             false   false      true       ADMINISTRATOR
2   admin            true    false      false      NO ACCESS

ipmi可以实现很多功能，但此次用到最多的功能是

修改root密码

因为在一段时间内未能得知机房建设组设置的ipmi密码，因此使用ipmi重置了。

1 2	ipmitool user set password 1 mypaasswd ipmitool user test 1 16 mypasswd

第一个命令是重设密码，并不需要输入当前密码之类的，这也是合理的，ipmi使用频率不会太高，遗忘可能很大，而且机器是为使用者服务的，OS的特权用户应有权限重设密码。

第二个命令是确认密码修改成功的，如果输出为Success，说明修改成功。

使用控制台

如上可见，ipmi接入在一个172.30.0.0/24的私网地址，为了管理方便，其与服务器公网口接在同一交换机，因此服务器的OS可以直接接入本机和集群的IPMI网络。

如果集群中任意一台机器支持图形界面，则可以用浏览器直接输入IPMI的IP打开WEB管理页，在这里你可以看到一些机器设备的状态和健康情况等等。但更有用的功能是“控制台重定向”：将显示通过VNC重定向到远程主机。这样你就如控制虚拟机那样，在重启过程中能够看到自检和进入BIOS进行设置，同时也可以通过VNC控件挂载本地ISO镜像，从而实现远程装机。

WEB页的登录使用和ipmitool中设置的用户名和密码，浪潮的服务器在登录后主页右边有console redirection按钮，点击即下载一个jviewer.jnlp的java WEB应用,使用javaws命令可以打开。如果在linux（MAC也适用）下，请将你要访问的主机加入java安全的例外列表，否则会被block.
例外文件位置为~/.java/deployment/security/exception.sites

http://172.30.0.xx:80
http://172.30.0.xx:80
http://172.30.0.xx:80
……

如果是windows/Mac系统，则有相应的图形java控制台添加例外。
有可能会遇到以下错误。

1 2	$ javaws Downloads/jviewer.jnlp (<unknown>:24358): Gtk-CRITICAL **: IA__gtk_message_dialog_set_markup: assertion `GTK_IS_MESSAGE_DIALOG (message_d

添加-verbose参数诡异地可解，原因不明

1	javaws Downloads/jviewer.jnlp -verbose

在打开的控制台菜单中media => virtual media wizzard可挂载本地ISO文件到远程机器的虚拟光驱，用于装机。

RAID

网络上能搜到的关于浪潮机器的Raid全与本型号服务器硬件不符，加之自己也无经验，在与公司负责机房的人员及浪潮技术支持多次低效的沟通之后（期间发送了大量牛头不对马嘴的资料），才得知此是所谓的SAS卡（浪潮最后发过来的SAS资料还是错的，无力吐槽）。
使用LSI SAS3008控制卡对应的工具
下载地址
http://support.lenovo.com/us/en/downloads/ds102444
请使用./sas3ircu 0 display查看机器具体的磁盘情况
例如将enclosure2 sot 0-9的10块盘做成Raid10

1	./sas3ircu 0 create raid10 max 2:0 2:1 2:2 2:3 2:4 2:5 2:6 2:7 2:8 2:9

还可以为raid添加热备

Hot Spare

例如将2:10的盘作为控制器0的热备

1	./sas3ircu 0 hotspare 2:10

大分区请使用gpt格式分区表，工具可使用parted
进行parted引导界面

1	parted /dev/sdb

parted 常用命令

mklabel gpt //建立gpt分区表，会覆盖原分区信息
unit TB     //指定接下用使用的容量单位
mkpart primary 0 10  //建立一个从0位置开始，大小10TB的分区
mkpart primary 10 100%  //将剩余磁盘分为一个区

如果分区大小超过16T, 可使用xfs文件系统，否则推荐使用常见的ext4

1	mkfs.ext4 /dev/sdb1

AzYet's Notebook

Just writing some notes as memo, nothing complicated.