E9000安装与配置教程课件.ppt
修订记录,本页不打印,E9000服务器安装与配置,目标,学完本课程后，您将能够:掌握E9000方案硬件安装部署流程；掌握E9000管理配置方法；掌握E9000交换配置方法；掌握E9000计算节点配置安装方法；,目录,E9000服务器硬件安装E9000管理模块配置E9000交换模块管理配置E9000计算节点的管理配置,1.1 E9000机框安装流程,机框外观,OSCA机箱（含风扇模块、电源模块、管理模块、交换模块）重量约为100kg，超出4个人的搬运重量限制（68kg），所以在安装机箱之前，需要先拆卸风扇模块、电源模块、管理模块、交换模块和直通模块，以方便安装机箱。,1.2 机框部件拆卸流程,拆卸交换模块拆卸直通模块拆卸管理模块拆卸电源模块拆卸风扇模块,槽位E1、E4主要安装直通模块槽位X2、X3主要安装交换模块槽位M1、M2安装管理模块槽位PSM安装电源模块槽位FAN安装风扇模块,1.3交换模块和直通模块的拆卸,使用十字螺丝刀拆卸交换/直通模块自带的两颗M3松不脱螺钉完全打开交换模块的两个扳手平行向外侧将交换模块拉出机箱槽位完全闭合交换模块的两个扳手,将拆卸的交换/直通模块放入防静电包装袋中。,1.4管理模块的拆卸,使用十字螺丝刀拆卸管理模块自带的一颗M3松不脱螺钉完全打开管理模块的扳手平行向外侧将管理模块拉出机箱槽位完全闭合管理模块的扳手,将拆卸的管理模块放入防静电包装袋中。,1.5电源/风扇模块的拆卸,按下电源模块的弹片沿水平方向将电源模块从机箱中拔出,向外侧拉紧风扇模块的内侧的扳手平行向外侧将风扇模块拔出机箱槽位,将拆卸的管理/电源模块放入防静电包装袋中。,1.6 E9000机框的硬件安装步骤,在标准的42U的机柜中，最多可以安装3个机箱对应的托盘分别安装在1U、14U、27U的位置处。机箱搬运时需要四人风扇与电源模块安装时注意方向具体安装方式请参考机箱安装指南，安装完成后需要按照手册进行安装结果检查,1.7 风扇电源模块的安装,确定风扇的安装方向（风扇的安装方向，必须与风扇槽位挡风罩上面的标示的方向保持一致）沿水平方向将风扇模块插入机箱中，直到机箱扣紧风扇模块为止,风扇模块方向标识,安装时需要注意电源模块的安装方向：机箱后视图的左侧电源模块：有弹片的一侧方向向上。机箱后视图的右侧电源模块：有弹片的一侧方向向下。,1.8 安装管理模块,MM910安装位置,平行向内侧将MM910插入机箱槽位闭合MM910的扳手使用十字螺丝刀固定MM910自带的一颗M3松不脱螺钉,1.9交换模块的安装,完全打开CX911的两个扳手，将CX911平行向内侧推入机箱槽位用力闭合CX911的两个扳手，直至CX911完全插稳使用十字螺丝刀固定CX911自带的两颗M3松不脱螺钉,1.10计算节点的安装,按下计算节点扳手的弹片。完全打开计算节点的扳手。沿水平方向将计算节点完全插入机箱中。完全闭合计算节点的扳手。,半宽刀片的安装,全宽刀片的安装,注意：安装全宽刀片是需要取出机框中间的隔板,目录,E9000服务器硬件安装E9000管理模块配置E9000交换模块管理配置E9000计算节点的管理配置,2.1 E9000管理模块配置,在硬件安装完成后，需要对E9000系统进行配置，通常包括配置管理模块配置计算节点配置交换模块本章介绍管理模块的配置,2.2 MM910外观及安装位置,MM910安装在OSCA机箱的后面的管理模块槽位上（M1/M2）机箱中最多可以安装2个互为主备的MM910提供1个MGMT接口用于机箱内设备的管理提供1个STACK接口用于多框自管理组网级联提供一个COM串口用于管理信息显示及控制提供一个RS485接口用于管理外置PDU模块提供一个VGA接口用于连接集中KVM显示器提供两个标准USB2.0接口，用于连接光驱、鼠标和键盘。,2.3 MM910配置流程,2.4 MM910配置方式,管理的物理端口：串口方式MM910管理板的管理网口X2/X3槽位交换板端口访问管理网口(默认管理网口出线方式）管理界面：命令行web页面IP地址初始设置：使用串口登录方式配置初始IP设置自动获取IP地址（如果配置了DHCP服务器）通过机箱液晶屏配置,命令行界面,Web页面,2.5 MM910配置命令格式,查询命令smmget格式：smmget-h-l location-t target-d dataitem设置命令smmset格式：smmset-h-l location-t target-d dataitem-v value,-h：用于获取命令的帮助信息。如果使用此参数，则后面不能跟其他参数。-l location：命令生效的目标部件。省略此参数，表示目标部件为当前连接的MM910。不同的location代表不同的部件，详细说明如表所示。-t target：待查询或设置部件上的特定组件。主要包括传感器、指示灯、网口等。-d dataitem：查询或设置部件、部件上组件的特定属性。-v value：设置操作的目标值。,2.6 检查和倒换的基本命令,查询MM910版本信息：smmget-l smm-d version屏幕回显如右图：,在主用单板CLI界面，执行主备倒换：smmset-d failover-v 1屏幕回显如右图：,SMM Version Information:Uboot Version:(U54)0003 CPLD Version:(U1082)103 120809 PCB Version:SMMA REV 0 FPGA Version:(U1049)003 120803 Software Version:(U54)OSCA V100R001C01 IPMI Module Built:Aug 27 2012 14:08:58,This operation will make SMM switch over to standby.Continue?Y/N:,确认当前连接的MM910已经切换为备用状态：smmget-d redundancy屏幕回显如右图，表示当前连接的MM910已经切换为备用状态。,输入“Y”，然后按“Enter”。屏幕回显如右图，表示主板倒换成功。,Success,The Redundancy States of SMMs:SMM1:Present(standby)*SMM2:Present(active),2.7 默认密码和修改密码,smmset-d userpasswd-v root,用户密码复杂度要求：密码的长度至少8位字符，且必须包含如下至少两种字符的组合:至少一个小写字母至少一个大写字母至少一个数字至少一个特殊字符：!#$%:,/?和空格。,2.8配置基础数据标,2.9 配置基础数据命令,配置静态IP地址：smmset-t front-d staticip-v 静态IP地址 子网掩码 网关查询静态IP地址：smmget-t front-d staticip向NTP服务同步时间：ntpdate NTP服务器IP地址设置浮动IP地址（只在主用上有效）smmset-t front-d floatip-v 浮动IP地址 子网掩码 网关使能SNMP Trap功能。smmset-d snmptrapenable-v enable配置SNMP Trap的版本。smmset-d snmptrapversion-v SNMP版本号配置接收SNMP Trap消息的目标主机的IP地址。smmset-d snmptrapaddressN-v ipaddress配置SNMP Trap接收端口号smmset-d snmptrapport-v portnumber,2.10 增加用户,MM910的用户按角色划分如下：管理员：具备所有查询和设置操作的权限。操作员：具备查询和设置操作的权限，但不能执行升级、管理用户、开/关密码复杂度检查操作。普通用户：具有查询权限，并能修改自身密码。,增加用户 smmset-d useradd-v username修改用户权限smmset-d userpropertychg-v username privilegeprivilege权限属性值，取值说明如下：“0”表示管理员“1”表示操作员“2”表示普通用户,目录,E9000服务器硬件安装E9000管理模块配置E9000交换模块管理配置E9000计算节点的管理配置,3.1 CX910交换模块配置过程,CX910安装在E1/X2/X3/E4交换模块槽位上,3.2 登陆CX910,登陆CX910单板可以使用1 串口登陆（Speed：115200）面板提供两个串口sys串口可以连接Base/Fabric平面BMC串口可以登陆到CX910的BMC模块通过BMC模块可以控制sys串口在Base平面和Fabric平面切换2 网口登陆：通过MM910配置Cx910 Base/Fabric 平面IP地址通过Base平面端口连接到Base/Fabric平面,BMC串口,sys串口,Base平面电口,3.3 检查系统版本,登陆到Base/Fabric命令行执行：,display version显示如下信息：BoardName:IT11XCUA CPLD Version:003 PCB Version:VER.A Bootrom Version:009 Creation Time:Sep 17 2012,09:53:25Backup Bootrom Version:009 Creation Time:Sep 17 2012,09:53:25 Switch Version:1.1.0.0.19 Creation Time:Oct 17 2012,17:10:28 Backup Switch Version:1.1.0.0.19 FC BoardName:UNKNOWN FC PCB Version:UNKNOWN,display version显示如下信息：BoardName:IT11XCUA CPLD Version:003 PCB Version:VER.A Bootrom Version:009 Creation Time:Oct 16 2012,12:48:10 Backup Bootrom Version:009 Creation Time:Oct 16 2012,12:48:10 Switch Version:1.1.0.0.19 Creation Time:Oct 17 2012,17:10:28 Backup Switch Version:1.1.0.0.19,3.4 查看Base/Fabric平面端口对应关系,display port-connection-relationships命令执行成功，显示如下信息：BASE PLANE 24 PORTS GigabitEthernet 0/0/1:RJ45-1GigabitEthernet 0/0/2:RJ45-2GigabitEthernet 0/0/3:RJ45-3GigabitEthernet 0/0/4:RJ45-4GigabitEthernet 0/0/5:SPU01GigabitEthernet 0/0/6:SPU02GigabitEthernet 0/0/7:SPU03GigabitEthernet 0/0/8:SPU04 GigabitEthernet 0/0/9:SPU05GigabitEthernet 0/0/10:SPU06GigabitEthernet 0/0/11:SPU07GigabitEthernet 0/0/12:SPU08GigabitEthernet 0/0/13:SPU09GigabitEthernet 0/0/14:SPU10GigabitEthernet 0/0/15:SPU11GigabitEthernet 0/0/16:SPU12GigabitEthernet 0/0/17:SPU13GigabitEthernet 0/0/18:SPU14GigabitEthernet 0/0/19:SPU15GigabitEthernet 0/0/20:SPU16GigabitEthernet 0/0/21:SMM01GigabitEthernet 0/0/22:SMM02GigabitEthernet 0/0/23:Base CPU CrossXGigabitEthernet 0/0/1:Base Interconnection,display port-connection-relationships显示如下信息：FABRIC PLANE 58 PORTS XGigabitEthernet 0/0/1:SFI-1 XGigabitEthernet 0/0/2:SFI-2。（为方便阅读，这里省去SFI-3到SFI-14）XGigabitEthernet 0/0/15:SFI-15 XGigabitEthernet 0/0/16:SFI-16 XGigabitEthernet 0/0/17:SPU01 XGigabitEthernet 0/0/18:SPU01 XGigabitEthernet 0/0/19:SPU01 XGigabitEthernet 0/0/20:SPU02 XGigabitEthernet 0/0/21:SPU02 XGigabitEthernet 0/0/22:SPU02。（为方便阅读，这里省去SPU03到SPU07）XGigabitEthernet 0/0/38:SPU08 XGigabitEthernet 0/0/39:SPU08 XGigabitEthernet 0/0/40:SPU08 XGigabitEthernet 0/0/41:SPU09 XGigabitEthernet 0/0/42:SPU09 XGigabitEthernet 0/0/43:SPU10 XGigabitEthernet 0/0/44:SPU10。（为方便阅读，这里省去SPU11到SPU14）XGigabitEthernet 0/0/53:SPU15 XGigabitEthernet 0/0/54:SPU15 XGigabitEthernet 0/0/55:SPU16 XGigabitEthernet 0/0/56:SPU16 XGigabitEthernet 0/0/57:Fabric Interconnection XGigabitEthernet 0/0/58:Fabric Interconnection,3.5 修改初始用户名密码,进入系统视图system-view显示如下信息：Enter system view,return user view with Ctrl+Z.进入修改用户密码界面。Baseset login password显示如下信息：Please login first.Old UserName:root Old Password:输入旧的用户密码。命令执行成功后，显示如下信息：Login success,Please input new user name andpassword New UserName:New Password:,Fabric与base平面修改方式一致Fabric只有一个用户，不能新增用户用户密码需要满足密码复杂度要求,3.6 配置管理网口IP地址,IP地址可以通过串口和MX910两种方式配置,通过MX910配置：设置命令：smmset-l swi1-4:fru1-3-d swipcontrol-v set eth1IP地址 子网掩码查询命令：smmset-l swi1-4:fru1-3-d swipcontrol-v get eth1swi1-4：14分别代表E1/X1/X2/E2四个槽位。fru1-3：1代表base平面，2代表fabric平面，3无意义。,3.7 备份配置数据,保存配置文件到MM910在用户视图执行以下命令，保存配置文件到MM910在用户视图执行以下命令，确认文件系统中存在配置文件vrpcfg.cfg。查询配置文件的详细信息。display saved-configuration,Fabric平面配置与Base平面命令相同,save显示如下信息：The current configuration will be written to the device.Are you sure to continue?Y/NY Aug 27 2012 18:04:16 Fabric%01CFM/4/SAVE(l)0:The user chose Y when deciding whether to save the configuration to the device.Now saving the current configuration to the slot 33.Info:Save the configuration successfully.保存成功后，显示如下信息：begin upload configuration.upload success.,dir显示如下信息：Directory of flash:/Idx Attr Size(Byte)Date Time(LMT)FileName 0-rw-2,924 Aug 27 2012 16:08:12 private-data.txt 1-rw-9,673 Apr 01 2000 23:55:34 vrpcfgbak.cfg 2-rw-12,189 Aug 27 2012 18:04:19 vrpcfg.cfg 32,385 KB total(32,358 KB free),登陆CX310单板可以使用1 串口登陆面板提供两个串口sys串口可以连接Fabric平面BMC串口可以登陆到CX310的BMC模块2 网口登陆：通过MM910配置Fabric 平面IP地址通过上行10GE端口登录CX310基本配置过程与CX910相似，具体配置命令请参考对应的命令手册,3.8 CX310交换模块管理端口,BMC串口,sys串口,上行10GE光口,3.9 CX110 GE交换模块管理端口,4*10GE,12*GE,BMC串口,sys串口,登陆CX110单板可以使用1 串口登陆面板提供两个串口sys串口可以连接Fabric平面BMC串口可以登陆到CX110的BMC模块2 网口登陆：通过MM910配置Fabric 平面IP地址通过上行GE/10GE端口登录CX310基本配置过程与CX910相似，具体配置命令请参考对应的命令手册,3.10FCoE Gateway Module 的配置方式,FCoE Gateway Module 扣接在交换模块上，扩展系统出FC通道功能扣接在CX910上构成CX911扣接在CX310上构成CX311登录FCoE GateWay 模块的方式：通过SOL登录访问FCoE串口(登录方法请参加下一页）通过模块网口登录：登录前可通过MM910的命令行对FCoE Gateway Module IP地址配置。smmset-l swiN:fruM-d swipcontrol-v ipaddress maskaddress使用SSH client 工具连接Gateway模块IP地址,FCoE Gateway,3.11通过SOL登录FCoE Gateway模块,*=*Welcome to SMM SOL Server*Please log in with SMM account and password.*=*user name:rootPassWord:*Log in Success!,rootSMM:/#telnet 0 1101Trying 0.0.0.0.Connected to 0.Escape character is.,*=please input the SOL Blade1Blade16(1 16),SWI#(33-36)and COM#(n)press Ctrl+R to return*=Blade1Blade16(1 16)Swi(33-36)Please input your choice:351 BMCcom2 fabriccom3 basecom4 FCcomCOM#(1 4):4,FCoE_GW:admin show about*Command Line Interface SHell(CLISH)*SystemDescription Huawei FCoE-FC Gateway module HostName Eth1IPv4NetworkAddr 192.168.1.41 Eth1IPv6NetworkAddr fe80:2c0:ddff:fe24:2180 MAC1Address 00:c0:dd:24:21:80 WorldWideName 10:00:00:c0:dd:24:21:7f SerialNumber 2198080446DQCB46F041 SymbolicName FCoE_GW ActiveSWVersion V9.8.0.4.0 ActiveTimestamp Thu Dec 20 17:46:48 2012 POSTStatus Passed SwitchMode Full Fabric,登录SMM板后输入命令：“telnet 0 1101”输入SMM板登录”用户名”和”密码”选择登录的交换模块的槽位号（33-36对应E1/X2/X3/E4)选择登录交换模块的串口,4对应FCoE GateWay模块串口输入FCoE GateWay模块的用户名和密码后进入FCoE GateWay模块的命令行,目录,E9000服务器硬件安装E9000管理模块配置E9000交换模块管理配置E9000计算节点的管理配置,4.1 计算节点的配置,计算节点安装在E9000机框的前插1-16槽位对计算节点的配置安装主要包括以下几个方面：检查计算节点配置RAID配置BIOS配置BMC安装操作系统,4.2 计算节点的检查,计算节点可以通过两种方式进行带外管理本地BMCMM910模块BMC和MM910模块都提供web页面和命令行形式来对设备进行操作MM910上命令行检查计算节点的版本信息：,smmget-l blade2-d version/检查2槽位单板信息Blade2 version information:IPMC CPU:SPEAr310 IPMI Version:2.0 FPGA Version:(U4008)012 CPLD Version:(U38)008 BIOS Version:(U41)V010 Active iMana Version:(U4005)3.07 Active iMana Built:15:47:39 Oct 16 2012 Backup iMana Version:3.07 Driver Version:1.00 Driver Built:15:47:48 Oct 16 2012 Uboot Version:U-Boot 1.3.1(Jun 14 2012-17:45:15)GRUA BoardID:0 x0130 GRUA PCB:.A RAID CARD BoardID:0 x0021 RAID CARD PCB:.A IPMB Address:0 x90,命令行,Web页面,RAID的配置可以通过三种方式进行通过BMC的远程KVMMM910模块的远程KVM本地KVM,4.3 RAID卡和BIOS配置方式,VGA接口,USB接口,串口,高密接口,USB接口,本地KVM的高密头,本地BMC的远程KVM页面,MM910模块的远程KVM页面,4.4 RAID配置,进入RAID的配置界面，在操作系统启动前配置系统盘为RAID0或者RAID1基本步骤：复位计算节点远程KVM或者本地KVM提示如下信息时按CTRL H“Press for WebBIOS or press for Preboot CLI”根据配置向导完成相关虚拟磁盘配置初始化虚拟磁盘,基本步骤:复位计算节点启动过程中重复输入Delete（远程KVM或者本地KVM操作）输入密码和用户名进入BIOS配置界面配置服务器启动方式：例如硬盘/网络/光驱启动配置BIOS密码,4.5 BIOS配置,4.6 BMC配置,计算节点可以使用本板的BMC直出方式进行管理可通过网口或者计算节点串口登录BMC上通过网口登录BMC前需要对其管理IP地址配置：通过MM910命令行配置通过本地KVM在BIOS配置中进行配置通过本地串口登录BMC后配置管理网口IP地址,通过本地KVM在BIOS配置中进行配置,4.6 操作系统的安装方式,计算节点可以通过多种方式安装操作系统：本地光盘安装镜像安装PXE安装集中虚拟媒体安装,4.6.1 本地光盘安装,采用本地光盘安装：使用高密头连接到计算节点对应端口VAG接口连接显示器USB接口分别连接鼠标、键盘、USB光驱进入BIOS配置为光盘启动可以使用操作系统盘或者ServiceCD引导安装备注：安装时如果不使用本地KVM，也可以通过远程KVM方式操作,4.6.2 镜像安装,镜像文件安装方式：通过web页面方式登录本地BMC或者MM910选择远程KVM界面，通过虚拟光驱载入操作系统的镜像文件*.iso选择重启计算节点，并在启动过程中选择 HUAWEI DVD-ROM VM 1.1.0启动,4.6.3 PXE安装方式,PXE安装方式：重启计算节点根据提示按Ctrl+s进入BIOS配置界面：选择网卡打开PXE选项：“Option ROM”设置为“Enabled”“Boot Protocol”设置为“Preboot Execution Environment(PXE)”。,备注：PXE安装服务器侧配置请参考相关资料,4.6.4集中KVM/虚拟媒体安装,计算节点可以通过MM910的集中KVM进行管理MM910 VGA接口连接显示器USB连接光驱和鼠标键盘通过集中KVM选择对应的计算节点选择虚拟媒体连接对应的计算节点复位计算节点并在BIOS中选择从光盘（通过虚拟媒体创建）启动,集中KVM界面,
