HP刀片服务器-硬件配置安装技术规范.docx

无锡市东盛计算机技术服务有限公司HP刀片服务器硬件配置安装技术规范Ver 1 .0无锡市东盛计算机技术服务有限公司2008年5月目录文档信息4第1章刀片服务器硬件配置5第2章刀片服务器硬件描述62.1刀片服务器机箱HP C700062.2刀片服务器描述82.3刀片Cisco 3020网络交换机102.4刀片Brocade 4/24 SAN交换机11第3章刀片服务器和机箱的连接12第4章刀片服务器的安装14第5章刀片服务器内存的配置16第6章刀片服务器硬盘的安装17第7章刀片网络交换机配置197.1通过计算机连接交换机.197.2完成快速安装页面的设置217.3网络连接和配置237.3.1网络拓扑结构237.3.2网络地址规划和端口配置表247.3.3网络配置25第8章刀片存储交换机配置278.1设置存储交换机IP地址278.1.1采用串口连接进行设置278.1.2通过超级终端命令行的方式访问存储交换机278.1.3设置存储交换的IP地址278.2配置存储交换机288.2.1设置时间288.2.2Disabling/enabling存储交换机288.2.3打开/关闭交换机端口288.3更改交换机的Fibre Channel domain ID298.4检查交换机工作状态和配置信息29第9章刀片服务器的配置309.1配置刀片机箱IP地址309.2通过刀片机箱IP地址，登录刀片进行配置31第10章刀片服务器的检测4010.1硬件安装配置检测4010.2硬盘装配正常检验4110.3操作系统正常安装检验4110.4刀片服务器安装检查表42文档信息项目名称：HP刀片服务器硬件配置安装事件：技术规范文档版本编号：Version 1.0文档提交日期：2008/5/12起草人：杨治国文档起草日期：2008/5/9复审人：复审日期：分发名单来自 (From)日期电话/ 传真杨治国2008/5/1215052125219给 (To)操作*截止日期有无反馈意见总经理审查版本历史信息版本编号版本提交日期创建者/修改者说明文件名1.02008/5/12杨治国第1章 刀片服务器硬件配置项目设备描述备注刀片机箱HP C7000机箱：10U机架式服务器插槽BL460c服务器插槽最多支持16个风扇热插拔冗余风扇最多支持10个电源热插拔冗余电源最多支持6个I/O插槽交换模块插槽（SAN/LAN）管理模块HP OnboardAdministrator（HP OA ）可选配冗余液晶面板提供机箱前面LCD液晶指示控制面板机箱交换机HP C7000机箱内置交换机网络交换机Cisco 3020 (24口千兆网络交换机)内置在C7000机箱中SAN交换机Brocade 4/24(24口光纤SAN交换机)内置在C7000机箱中刀片服务器HP BL460c处理器Intel Xeon 5130 2.0GHz-4MB L2内存条ECC 全缓冲DDR2 667MHz 1GB单条内存RAID卡HP SmartArray E200 （ 64MB 缓存 ）硬盘146G 2.5 SAS热插拔硬盘最大支持2个集成网卡NC373i 10/100/1000M网卡（主板集成）FC-HBA4Gb Qlogic FC-HBA卡（双口）管理控制HP iLO远程控制管理卡提供100M网络端口第2章 刀片服务器硬件描述2.1 刀片服务器机箱HP C7000HP BladeSystem C系列刀片服务器的基础架构c7000刀片机箱采用了一系列全新的技术，提供了简化的管理、强大的处理能力、超强的网络带宽，更高效的供电和散热。1个c7000刀片机箱可以支持16片刀片服务器。l 高性能和高度灵活的网络连接：c7000刀片机箱背板带宽高达5TB，可以支持4种不同的网络以太网、光纤通道（FC）存储区域网络（SAN）、Infiniband网络、iSCSI 和SAS （串行SCSI）。l 全冗余设计： c7000刀片机箱采用模块化设计，所有组件都支持热插拔。c7000刀片机箱背板是完全没有活动组件的背板，并且服务器和网络互联模块之间采用冗余的链路连接，避免了单点失效的可能。c7000刀片机箱采用了由多个HP专利技术的Active Cool风扇组成的冗余热插拔散热系统。l 更高效率：和1U传统机架式服务器相比，功耗降低30%，占用空间减40%，连接线缆减少 94l 模块化热插拔组件：刀片服务器、存储和其他模块化组件可以在不断电的情况下方便地添加或移除。图一：刀片系统前视图标号描述1刀片服务器HP C7000（10U）2刀片服务器HP BL460c (可以安装16片)3C7000机箱前液晶面板4刀片服务器机箱C7000热插拔电源模块（当前配置4个）图二：刀片系统后视图标号描述1刀片机箱HP C7000热插拔风扇（当前配置8个）2刀片Cisco3020内置网络交换机（左右共2个）3刀片Brocade4/24内置SAN交换机（左右共2个）4刀片机箱内置管理控制模块（标配1个，左侧）5刀片机箱HP C7000电源连接插口（当前配置连接4个）2.2 刀片服务器描述项目描述1Hard drive bay 12Power On/Standby button3Local I/O connector14Hard drive bay 25Server blade handle6Release button7Serial label pull tab图三：BL460c刀片服务器前视图图四：BL460c刀片服务器内部视图项目描述1System board thumbscrew2Processor socket 23Processor socket 1 (populated)4Hard drive backplane connector5FBDIMMs (8)6Embedded NICs (2)7Mezzanine connector 1 Type I mezzanine only (shown)8Battery9Mezzanine connector 2 Type I (shown) or Type II mezzanine10System maintenance switch (SW2)11System board thumbscrew12连接背板插槽2.3 刀片Cisco 3020网络交换机图五：刀片Cisco3020视图编号描述编号描述1.交换机6.Gigabit Ethernet Port LEDs 2.扳手7.Gigabit Ethernet RJ-45 Ports 3.UID LED8.健康指示灯4.SFP Module Port LED9.Mode Button 5. SFP Module Ports for SX Fiber 10 Switch LED PanelCisco3020交换机由Cisco Systems公司设计、制造并提供支持，可无缝集成到用户现有的Cisco网络基础设施中。Cisco Catalyst 3020刀片交换机提供了16个千兆内部互连端口，8个RJ-45 外部上行链路，其中4个端口可设置为光纤（SX）端口，2个端口可设置为内部互连端口。Cisco 3020支持的网络标准：支持的网络标准描述标准_ IEEE 802.1s_ IEEE 802.1w_ IEEE 802.1x_ IEEE 802.3ad_ IEEE 802.3x full duplex on 10BASE-T, 100BASE-TX, and 1000BASE-T ports_ IEEE 802.1D Spanning Tree Protocol_ IEEE 802.1p CoS Prioritization_ IEEE 802.1Q VLAN_ IEEE 802.3 10BASE-T specification_ IEEE 802.3u 100BASE-TX specification_ IEEE 802.3ab 1000BASE-T specification_ IEEE 802.3z 1000BASE-X specification_ 1000BASE-SX_ RMON I and II standards_ SNMPv1, SNMPv2c, and SNMPv32.4 刀片Brocade 4/24 SAN交换机刀片SAN交换机Brocade 4、24由Brocade公司设计制造， 交换机提供1Gb/ 2Gb/ 4Gb自适应的光纤通道（FC）连接，可以通过这个光纤通道网络直通模块将每个刀片服务器连接到SAN， 每个模块可以提供16个对内高达4Gb的无阻塞光纤通道连接链路和8个对外的4Gb连接。第3章 刀片服务器和机箱的连接BL460c1NIC1234M11/23/41/23/412NIC2NIC1NIC2M112BL460c图六：刀片服务器和交换模块连接视图标号描述1刀片Cisco3020内置网络交换机（左）2刀片Cisco3020内置网络交换机（右）3刀片Brocade4/24内置SAN交换机（左）4刀片Brocade4/24内置SAN交换机（右）NIC1刀片服务器网卡1NIC2刀片服务器网卡2M1(1口)刀片服务器FC-HBA卡 1口M1(2口)刀片服务器FC-HBA卡 2口根据上图所示：l 每台刀片服务器HP BL460c提供2个网卡（NIC1、NIC2）；l 每台刀片服务器HP BL460c提供1个双通道FC-HBA卡的端口（M1-1口和M1-2口）；l 每个C7000刀片机箱配置2个Cisco3020的网络交换机（交换机插槽1、交换机插槽2）l 每个C7000刀片机箱配置2个Brocade4/24的SAN交换机（交换机插槽3、交换机插槽4）标配情况下，刀片服务器BL460C中的：l NIC1连接Cisco交换机1l NIC2连接Cisco交换机2l FC-HBA1连接Brocade SAN交换机1l FC-HBA2连接Brocade SAN交换机2第4章 刀片服务器的安装移去刀片机箱服务器空挡板去除刀片服务器BL460c插槽保护盖按照下图方式安装刀片服务器第5章 刀片服务器内存的配置Slot and BankDescription 1A SDRAM DIMM in socket 1, Bank A2C DIMM socket 2, Bank C3A SDRAM DIMM in socket 3, Bank A4C DIMM socket 4, Bank C5B DIMM socket 5, Bank B6D DIMM socket 6, Bank D7B DIMM socket 7, Bank B8D DIMM socket 8, Bank D第6章 刀片服务器硬盘的安装如图取下刀片服务器硬盘挡板如图将硬盘的固定扳手打开如图方法安装硬盘第7章 刀片网络交换机配置7.1 通过计算机连接交换机.CautionDo not connect the switch module to any device other than the laptop or workstation being used to configure it.1. 确认网线连接两端的网络端口的LED指示灯是否为绿色2. 端口的LED指示灯为绿色后，等待至少30秒后，打开计算机的WEB浏览器（将计算机的IP地址设置为10.0.0.X）3. 在浏览器中输入 http:/ 10.0.0.1 回车4. 显示快速安装设置页面：配置网络参数7.2 完成快速安装页面的设置5. 输入下述信息在“ Network Settings ”设置页中a. Management Interface (VLAN ID)默认为： 1输入新的“ VLAN ID ”； VLAN ID 区间为 11001b. 在IP Address 栏, 输入交换机的IP地址c. 在 IP Subnet Mask栏，输入交换机IP地址子网掩码d. 在 Default Gateway 栏, 输入默认网关e. 在Switch Password 栏，输入交换机登录口令 （口令为 1 25 alpha字符）6. 在Optional Settings 中输入选项a. 输入Host Name 选项b. 可选输入 System Contact 信息c. 选择Telnet Access 栏，可以选择 Enable ，通过Telnet 管理交换机；如果选择Enable；必须输入 Telnet Password d. 其他选项如SNMP、 SNMP Read Community 、 SNMP Write Community 可选配置e. 选择Submit保存上述设置.7. 采用新的输入的交换机IP地址连接交换机Cisco 3020 就会出现Catalyst Blade Switch 3020 设备管理界面.7.3 网络连接和配置l 在blade server内部网卡的连接方式上，可以采用操作系统下面的网卡绑定，可以保证在一个网卡的连接出现问题的情况下，能够自动切换到备用网卡上面。l 如果3020网络交换机或连接blade server的端口出现故障时，那么连接blade server的网卡也会down，同样可以通过blade server内部网卡的绑定来实现冗余。l Cisco 3020和客户的外部交换机之间线路的可靠性，建议在之间的连接线路上配置trunk和port channel，可以实现线路故障时的快速切换。在连接客户的实际生产网络时，不建议关闭或更改spanning tree的配置。l 在考虑一台cisco 3020交换机所有对外连接失效的情况下来保证blade server对外连接，建议采用cisco 的Layer 2 Trunk Failover技术，通过配置Link-state group，可以保证在一台3020对外连接全部实效时blade server的网络接口也能够同时失效来保证此时Blade server能够切换到备用接口通过备用交换机及其链路实现网络通信。7.3.1 网络拓扑结构 刀片服务器网络拓扑结构配置如图：其中每台刀片服务器各有两个网卡，分别连接到两台刀片Cisco 3020交换机，3020交换机再各通过一条光纤线路连接到核心交换机6506(两台)。刀片机箱系统Blade 3020-2Blade 3020-1Catalyst 6506Catalyst 6506Gi0/1Gi0/9Gi0/1Gi0/9Gi0/17Gi0/177.3.2 网络地址规划和端口配置表网络设备IP地址表(参考)设备名称IP地址网关管理Vlan上联端口上联设备刀片服务器0152.0.0.11/2452.0.0.98100Gi0/17C6506 3/6刀片服务器0252.0.0.12/2452.0.0.98100Gi0/17C6506 3/6注：上述IP地址和网关信息为示例；网络设备的VTP设置VTP Domain: CCB (示例)VTP Pass: NONE VTP Mode: Client网络设备的Default passwd:Console pass: cisco Enable pass: cisco Telnet pass: cisco网络端口配置表设备名称上联端口VLANTrunk下联设备下联设备端口刀片交换机01Gi0/1121No刀片服务器1Ethernet1Gi0/2121No刀片服务器2Ethernet1Gi0/171yesC65063/6Gi0/21121NoTemp useGi0/22121NoTemp useGi0/23121NoTemp useGi0/24121NoTemp use刀片交换机02Gi0/1121No刀片服务器1Ethernet0Gi0/2121No刀片服务器2Ethernet0Gi0/171yesC65062/6Gi0/21121NoTemp useGi0/22121NoTemp useGi0/23121NoTemp useGi0/24121NoTemp use7.3.3 网络配置Access端口Vlan 配置：interface GigabitEthernet0/9 switchport access vlan 121 switchport mode access speed 1000spanning-tree portfast Trunk端口配置 interface GigabitEthernet0/17 switchport trunk encapsulation dot1qswitchport trunk allowed vlan 62,100,121 switchport mode trunkLink state配置因建行的两台Blade 3020分别采用单一的联路上联到两台Core switch 6506,无法做到link的冗余配置，因此需要配置link state，确保在一台Switch的上联联路出现故障时，能切断下联到主机的端口，确保主机可以切换到另一网卡，通过另一个3020提交数据。 其中主机的双网卡绑定和切换配置由操作系统下teaming工具提供（参考操作系统安装配置手册）。 *如两台交换机各采用两条联路上联到两台Switch，可不需要该配置。Link state track 1interface GigabitEthernet0/1link state group 1 downstreaminterface GigabitEthernet0/9link state group 1 downstreaminterface GigabitEthernet0/17link state group 1 upstream第8章 刀片存储交换机配置8.1 设置存储交换机IP地址8.1.1 采用串口连接进行设置采用随机的串口线将交换机连接到计算机；从计算机的超级终端进行连接：w Bits per second 9600w Databits 8w Parity Nonew Stop bits 1w Flow control None8.1.2 通过超级终端命令行的方式访问存储交换机· 默认的用户名称为： admin· Password: password进入交换机配置管理界面8.1.3 设置存储交换的IP地址1. 输入命令: ipaddrset2. 输入需要设置的IP地址等信息3. 通过 ipaddrshow 命令检查IP地址信息输入是否正确4. 保存并且退出命令行方式，设置IP地址完毕8.2 配置存储交换机8.2.1 设置时间采用下述方法设置交换机日期和时间1. 采用 admin用户，登录交换机， 2. 在命令行根据下述语法输入正确的日期时间：date “mmddHHMMyy”8.2.2 Disabling/enabling存储交换机默认情况下，存储交换机为enable状态，可以通过下述方法对存储交换机状态进行修改：将交换机设为disable状态:1. 采用 admin用户，登录交换机， 2. 输入下述命令: switchDisable将交换机设为enable状态:1. 采用 admin用户，登录交换机， 2. 输入下述命令:switchEnable8.2.3 打开/关闭交换机端口打开指定端口:1. 采用 admin用户，登录交换机.2. 输入下述命令: portEnable <portnumber>, 关闭指定端口:1. 采用 admin用户，登录交换机.2. 输入下述命令: portDisable <portnumber>8.3 更改交换机的Fibre Channel domain ID更改domain ID:1. 先关闭交换机: switchDisable2. 输入： Configure. 输入新的数值 或选择Enter 接受默认数值.3. 在“ fabric parameters ”出现提示的时候选择 Y 并且输入 Enter.4. 输入唯一的domain ID ( 1 239).5. 完成整个过程后，输入 Ctrl+D 接受上述设置6. 重新打开交换机: switchEnable7. 确认输入的信息是否正确，可以用: fabricShow命令进行查看8.4 检查交换机工作状态和配置信息通过下述方法检查交换机工作状况和配置信息:1. 检查交换机端口LED指示灯，确认是否所有部件工作正常2. 输入命令： switchShow 获得交换机和端口的状态信息3. 输入命令： fabricShow 获得SAN网络的信息第9章 刀片服务器的配置9.1 配置刀片机箱IP地址使用惠普c-class blade server 的 OA 远程管理端口安装设置 onboard administrator card (此文中的OA 代表 Onboard administrator )1 通过笼子前面的小液晶屏设置OA的 IP地址：，先选中enclosure settings ;2 进入enclosure settings 后，设置OA1 IP Address 192.168.1.1 ,设置完成后选Accpect all ;9.2 通过刀片机箱IP地址，登录刀片进行配置3 通过终端的IE6.0 浏览器输入刀片服务器的OA 口 的 ip 地址：192.168.1.1；进入OA的登陆界面；输入机器前方的纸片的出厂OA的用户名和密码登陆。4 等录后进入Rack Overview 界面，它把刀片的硬件状态很直观的以图片方式展现。5 如果是第一次安装c-class刀片，直接进入first time setup wizard ;6 进入Configuration Management ,用它可以快速重载一个以前配制好的OA设置；7 Rack and Enclosure Settings ,设置笼子的名称、时间、时区等；8 Administrator Account Setup 设置管理员帐户 ；PIN protection 可以启用、设置PIN Code 来给刀片笼前面的液晶屏设置密码。9 Local User Accounts 添加、管理帐户10 设置 OA IP Address ； 11 EBIPA Settings 可以启用让笼子自动给每个插在机框上的刀片分配ILO2的地址；每个插在机框上的网络设备自动分配管理地址；12 Directory Settings 可以启用 LDAP group 认证模式进入OA ，再次进行设置；13Onboard Administrator Networking Settings ，对OA启用DHCP 或 静态IP设置；14 Enclosure SNMP Settings 设置笼子的网管协议设置；15Power Management ，电源管理设置三种模式:N+N冗余；N+1冗余；不冗余；动态电源保护模式和输入功率限制16 初次安装设置向导完成。第10章 刀片服务器的检测10.1 硬件安装配置检测BL460C刀片服务器硬件安装配置完成后，可以方便直观地通过LED检测硬件工作状况。BL460C前面板具有完备的LED来帮助工程师显示硬件是否运行正常，从而确定硬件装配是否成功完成。项目描述状态1UID LED蓝色=确定UID蓝色闪烁=有活动的远程管理不亮=没有活动的远程管理2健康状态LED绿色=正常闪烁=启动中琥珀色=关机进行中红色=故障状态3网卡1 LED绿色=网络连接正常绿色闪烁=网络运行中不亮=没有网络连接或网络不工作4网卡2 LED绿色=网络连接正常绿色闪烁=网络运行中不亮=没有网络连接或网络不工作5系统电源 LED绿色=供电正常琥珀色=系统处于standby状态（或备用电源工作）不亮=无供电因此，当刀片服务器装配完毕、系统上电、刀片对外具有正常的网络连接之后，启动刀片服务器，指示灯2和指示灯4为绿色，安装操作系统并加载驱动后，指示灯3和指示灯4为绿色或绿色闪烁，则证明刀片硬件系统的装配正确完成，硬件系统运行正常。如果刀片服务器LED指示灯为非正常状态，请及时联系惠普安装中心热线800-810-3636 密码3737。注：1、 刀片服务器的装配应有惠普服务工程师完成，不建议客户自行装配刀片系统；2、 硬件装配完成后，如未安装操作系统或未安装驱动程序未未通过网线链接网络，网卡指示灯可能不亮，请在上述条件满足的情况下，查验网卡指示灯以判断状态；3、 硬件装配完成后，请为刀片系统的所有电源提供电力后，查验硬件系统状态。10.2 硬盘装配正常检验对于刀片服务器中的硬盘系统，在刀片系统工作正常的情况下，通过硬盘托架上的LED来判断硬盘及连接状态是否正常。项目描述1故障指示灯，琥珀色=硬盘故障，蓝色=UID2连接指示灯，绿色=连接正常如果在正常的刀片服务器系统中，硬盘指示灯2为绿色，代表硬件连接正常；指示灯1为蓝色或者闪烁，代表硬盘工作正常。10.3 操作系统正常安装检验操作系统安装完成后，如果同时满足以下条件，则可以证明操作系统安装成功：1、 操作系统安装完成后，如果系统提示安装成功并提示重启动；2、 系统启动后用户可以正常登录入操作系统；3、 在设备管理器中查看，所有设备驱动安装正常，没有其他警示信息。10.4 刀片服务器安装检查表安装项目安装内容检查标准是否完成硬件安装 机柜的安装1机柜的集成，包括PDU,KVM，Monitor，FAN的安装机柜中各部件工作正常3刀片服务器及选件2. 包括刀片服务器、刀片机箱、电源机箱和互连交换机的安装与连接、线缆整理、升级BIOS和Firmware刀片服务器各部件工作正常3操作系统和软件Windows/Linux3. 操作系统和RDP软件的安装。客户需提供正版软件。用户能正常登陆系统3RDP软件现场培训服务器/选件驱动程序4在安装过程中惠普工程师将提供有关如何使用刀片服务器的简单培训，并给用户提供一份RDP安装的电子文档。30分钟培训3