VIOS安装配置手册.doc

VIO Server安装配置手册 2013/6/21文档密级： 机密 内部公开 对外公开文档状态：草案 正式发布 正在修订修订记录日期版本作者修改内容2013-06-21创建目录第1章 VIO Server功能介绍3 磁盘虚拟共享技术介绍（Storage Virtualization）3 网络虚拟共享技术介绍 (Ethernet Virtualization)4 VIO Server及Client分区整体架构5第2章 VIO Server创建6 激活VIO密码6 创建VIO Server分区8第3章 VIO Server安装14第4章 VIO Server配置20 修改VIO Server基本设置20 版本确认20 时间和时区配置20 目录大小配置22 修改VIO Server操作系统限制。24 多路径软件25 rootvg镜像25 VIO client分区准备virtual disk27 使用VSCSI技术27 使用NPIV技术29 Shared Ethernet Adapter创建37 使用VIOS虚拟网卡技术38 使用IVE技术39 网卡绑定45 SEA创建46 创建VIOS管理网口47 Shared CD 创建52第5章 Client分区创建53第6章 VIO Server分区与普通AIX分区特点区别58 VIO Server操作特点58 VIO Server创建的AIX分区与普通AIX分区比较58第7章 参考文档59第1章 VIO Server功能介绍这里主要介绍IBM Virtual I/O Server技术的功能特点。VIO Server技术需要硬件支持IBM System p PowerVM标准版或企业版技术，要求IBM Power5、Power6及以上的系列服务器。VIO Server的架构图如下：VIO Server技术主要提供以下技术特点，能方便用户更有效提高硬件设备使用率与有效性。l 磁盘虚拟共享技术（包括SCSI内置磁盘及光纤外置磁盘） l 网络虚拟共享技术（多分区共用公共网口） 通过复用磁盘及网络可以大大提升物理设备使用效率。1.1 磁盘虚拟共享技术介绍（Storage Virtualization）如图，Virtual SCSI技术通过虚拟SCSI协议支持虚拟磁盘共享，通过在VIO Server端的创建虚拟磁盘能将实际物理磁盘划分为多块虚拟磁盘分配给分区，将实际物理磁盘建立成pool池的概念，其中物理磁盘可以包括内置SCSI物理硬盘，通过光纤连接的外置存储设备或网络存储设备。1.2 网络虚拟共享技术介绍 (Ethernet Virtualization)VIO Server及Client分区通过共享物理网口SEA（Shared Ethernet Adapter）连接外部网络。1.3 VIO Server及Client分区整体架构如图，通过搭建VIO Server，可以共享Ethernet设备，并将磁盘设备建立成池，从而更有效的使用网络及存储空间资源，达到物理设备的高效率应用，在一台IBM P系列服务器之上能创建更多应用分区。第2章 VIO Server创建2.1 激活VIO密码1) 确认VIO licence 信息。需要使用VIO的P系列处理器之前，需要确定P系列服务器是否已经具有P系列服务器Virtual功能的licence授权。访问IBM Comand On Demand 网站，确认VIO licence信息。 输入机器型号，序列号信息，然后Submit 。如果输出信息如下图中具有VET功能，说明该P系列服务器已经具有VIO licence。2) 激活VIO licence选择服务器，右键选择输入激活码输入后弹出菜单显示VIO功能已经开通，并且菜单选项中VIO Server等功能开启。2.2 创建VIO Server分区1) 如下图HMC管理两台P6 550小型机，选取其中一台建立VIO Server Configuration -> Create Logic Partition -> VIO Server2) 输入Partition ID 和Partition name, 完成后继续选择Next3) 输入Profile name，完成后继续选择Next4) 在划分CPU时有Shared及Dedicated两种选项，根据云计算的要求，选择Shared方式。5) 根据需求划分CPU使用量（VIO Server不占用很多CPU，可以根据实际情况分配少量CPU及可），如果需要动态调整CPU模式。6) 根据需求划分内存使用量7) 选择Desired及Required 实际IO资源由于此次配置P550只有两块硬盘和一根SAS总线，只能建立一个VIO Server，建议将全部资源划为Required模式。如果需要建立双VIO Server，则服务器需要至少需要2个阵列卡和2个网卡。8) Virtual Adapter设置对于共享Ethernet的系统，建立相应的虚拟Virtual Ethernet Adapter网卡。适配器标识：201指的就是适配器的槽位号。VLAN标识：199指的相同vlan id的分区间可以相互通讯，不同的vlan id之间的分区无法通讯。IEEE ：是指将该VIO Server服务器作为一台虚拟的三层网络交换机来使用，凡是PVID号（可设置多个，如下有23，24，31等）和物理交换机的VLAN ID是一致的，就可以访问到相应的网段。访问外部网络中的干线优先级：是指在做两台VIO Server的环境下。优先走哪台VIO Server的网络链路，这里选择1，那另外一台VIO Server只能选择2，不能两台VIO Server的干线优先级的值是一样的。9) 创建Client分区的Virtual SCSI Adapter10) 预览Profile配置信息，如果确认完成，选择Finish，VIO Server Profile 配置建立完成。第3章 VIO Server安装激活上一章创建的VIO Server分区选择Open Terminal Windows打开终端, 进入SMS菜单，更改启动顺序。当出现如下”Memory” “Keyboard” “Networ” “SCSI” “Speaker”提示时，按键盘数字“1”进入如下界面：输入数字“5”回车，VIOS 安装光盘放入光驱中进入如下界面：输入数字“1”回车选择7，列出所有设备。选择CD安装作为第一启动顺序进入如下界面：输入数字“2”回车进入如下界面：输入数字“1”回车进入如下界面等待安装进入如下界面：输入数字“2”回车，更改安装设置进入如下界面：输入数字“1”进入如下界面：>>>表示选中 hdis0作为安装的硬盘.然后回车开始安装，安装完后会自动启动进入操作系统输入用户名：padmin然后修改密码:padmin进入如下界面：按提示输入字母“a”回车安装完成后输入如下命令接受虚拟 IO 服务器软件应用许可$ license accept第4章 VIO Server配置4.1 修改VIO Server基本设置4.1.1 版本确认检查当前虚拟IO服务器的版本。$ ioslevel()如果版本不够高，可以从 IBM VIOS 网站下载虚拟IO服务器的升级包：例如：上传到tmp 目录，建个目录 vio22010fp24$ updateios -install accept dev /tmp/vio22010fp24（需要时间20minutes）检查padmin用户home目录下的 文件，确认升级过程中没有报错信息。然后，重新启动VIO Server服务器：$ shutdown restart4.1.2 时间和时区配置$ date检查当前虚拟IO服务器的时间、日期及时区信息。如果需要，请设置虚拟IO服务器的时间，日期及时区信息:$ oem_setup_env输入如下命令获得虚拟IO服务器的root权限:设置时间与时区，注意一定不要选择夏令时在命令行下输入“cfgassist”回车进入如下界面设置时间与时区：daylight选择no，时区为 BEIST -8 按如下界面进行操作，回车时间与时区设置完成4.1.3 目录大小配置用 df g 命令检查文件系统大小扩大文件系统大小如上图所示，可以使用直接使用chfs或者smitty菜单。l 直接使用chfs命令修改空间大小。例如向/tpm增加1024M的空间。chfs -a size=+1024M /tmpl 用 smitty chfs 命令l目录大小为为unit size * number of units增加number of units的大小后目录会变大。4.1.4 修改VIO Server操作系统限制。$ vi /etc/security/limits更成下面的数值：default:fsize = -1core =-1cpu = -1data =-1rss =-1stack =-1nofiles =-14.1.5 多路径软件如果通过SAN网络连接存储时，需要安装多路径软件。不同的存储所需要的多路径软件可能不同。例如AIX 默认的多路径软件是mpio，可以通过lslpp l | grep mpio version or higher 另外可以通过smit installp 选择目录，直接安装其他多路径软件。4.2 rootvg镜像查看VIO操作系统版本查看PV，并将hdisk1加入rootvg，并mirror rootvg 操作系统做完镜像后会自动重启例如P6 550配置了两块300GB SAS内置硬盘。$lspv hdisk0 00cfe385652df7e5 rootvg active hdisk1 00cfe385b4defb6a None $extendvg f rootvg hdisk1 $mirrorios f hdisk1 SHUTDOWN PROGRAM Wed Nov 3 01:18:07 CDT 2010镜像完成后设置启动顺序bootlist $bootlist mode normal hdisk0 hdisk1 cd04.3 VIO client分区准备virtual diskVIO client存储的配置需根据业务需求灵活配置,可以分为VSCSI、NPIV和直接独立使用物理磁盘和光纤通道。4.3.1 使用VSCSI技术如果有多余磁盘，可以将空余两块内置磁盘，建立新的VG，划分LV划出虚拟磁盘$mkvg f vg viovg1 hdisk2 $mkvg f vg viovg2 hdisk3 建立LV作为虚拟磁盘，注意LV命名规则，方便后面的划分，建立在不同的PV上，在client分区时把这两个LV分给一个client分区，然后再分区中就能把这两个虚拟PV做镜像了，在VIO这边就是两个物理PV镜像$mklv lv vhost0lv viovg1 40G vhost0lv $mklv lv vhost1lv viovg2 40G vhost1lv 本例直接在rootvg空余空间中划分LV 查看虚拟设备，并将LV定义成虚拟设备在 oem_setup_env 的 AIX 环境下 先建立 2 个 VG，供各个微分区的 rootvg 共享使用mklv -y nim_rootvg1 -t jfs2 rootvg 40Gmklv -y nim_rootvg2 -t jfs2 rootvg 40G运用mkvdev命令将虚拟磁盘分配给相应分区的vhost其中vhost为在VIO Server中创建的Virtual SCSI Adapter$lsdev virtual $mkvdev vdev nim_rootvg1 vadapter vhost0 dev vhost0dev$mkvdev vdev nim_rootvg2 vadapter vhost1 dev vhost1dev其中vdev nim_rootvg1中的nim_rootvg1可以是pv也可以是lv。运用lsmap命令查看mapping信息，确认虚拟磁盘划分正确$ lsmap -all 上图中的C12对应VIO Server中虚拟适配器中的124.3.2 使用NPIV技术从HMC打开VIO Server分区属性虚拟适配器添加光纤适配器。选择VIO clientssh到VIO Server查看npiv映射,上图 connecting partion显示括号中的6，即下图ClntID。查看fcs信息将fcs映射到vfchost再次查看npiv映射关系，显示已经映射好。显示fcs统计信息FieldDescription描述namePhysical port name物理口名称physlocPhysical port location code物理口插槽位置fabricFabric support光纤存储支持tportsTotal number of NPIV ports总NPIV口aportsNumber of available NPIV ports可用NVIP口swwpnsTotal number of target worldwide port names supported总wwn个数awwpnsNumber of target worldwide port names available可用wwn个数客户端显示分配的2个wwn编号交换机上也发现相同的wwn号在存储中新建主机，输入上面的wwn号，并将LUN映射给该主机。登录VIO Server使用如下命令发现存储。查看fcs0，已发现www号查看磁盘信息已更新为FC SCSI磁盘4.4 Shared Ethernet Adapter创建VIO client网卡的配置需根据业务需求灵活配置,可以分为VIOS虚拟网卡、IVE技术和直接独立使用物理网卡。4.4.1 使用VIOS虚拟网卡技术4.4.2 使用IVE技术本例是将IVE网卡的两个物理端口设置为混杂模式并将其分配给VIO Server，通过EthernetChannel方式将这两个物理端口绑定成一个逻辑网卡，VIO Server 将这个逻辑端口作为 SEA 使用。下图列出的为当前系统的设备：$lsdev Cc adapter其中下图ent0、ent1、ent2、ent3为双口光口以太网卡，2张双口卡，因此是有4个网口即4个设备；ent4 是 VIO Server中创建的虚拟以太网卡；将IVE物理端口设为混杂模式分配给VIO Server使用：本次配置的IVE是2 口 1Gbps，一个端口组，每个端口组包含 2 个物理端口，最多包含 16 个逻辑端口，特性代码是 FC 5636 ，下图中的C6-T1和C6-T2分别是IVE两个物理端口：通过Hardware information-adapter-host channel打开页面端口组（Port group）： 共享 1 个或者 2 个物理端口的逻辑端口集合。IVE 支持最多 2 个端口组，任何端口组都支持最多 16 个逻辑端口（LHEA Port）。 MCS（Multiple Core Scaling）：即多核心伸缩值，一个允许在每个 LPAR 上支持多接受传输队列必须设计的参数。每个 HEA 端口组有 16 个称为 QP 的收发队列，MCS 表明每个逻辑端口的 QP 数目，因此每个端口组的最大可用逻辑端口数 16 / MCS。MCS 越大，可用的逻辑端口越少，但是每个逻辑端口的吞吐量较大；反之，可用的逻辑端口较多，但是每个逻辑端口的吞吐量较小。当 MCS 值是 1 时，端口组可以划分成 16 个逻辑端口；当 MCS 值是 8 时（如下图所示），端口组有 2 个可用的逻辑端口（如下图所示）。Promiscuous LPAR 选择要分配给的VIO Server分区。做完以上混杂模式配置后，在相应的VIO Server分区使用DLPAR方式动态增加上述Host Ethernet，选中分区Dynamic Logical PartitioningHost EthernetAdd完成资源增加后，需要重启才能生效。使用以下命令检查VIO Server是否认到IVE端口的以太网卡，$lsslot c slot下图中的HEA 1 对应的ent5 ent6就是IVE的两个逻辑端口：$lsdev Cc adapter下图命令查询的设备可以看到新发现的ent5 ent6网卡查看虚拟网口，及实际物理网口设备 $lsdev type adapter ent 4为虚拟网口，ent5、ent6为实际物理网口设备4.4.3 网卡绑定将实际物理网卡加以聚合，做成 enternet chanel 网卡将ent5和 ent6定成逻辑EthernetChannel ent7。使用simtty etherchannel或者直接使用命令mkvdev -lnagg ent5, ent64.4.4 SEA创建运用mkvdev命令建立Shared Ethernet Adapter设备并分配给对应分区vhost 注意defaultid的取值，后续创建VIOC（client partition微分区）是要与此取值一致才能通信$ mkvdev -sea ent7-vadapter ent4 -default ent4 -defaultid 1Ent8 Available En8Et8可以通过lsdev dev ent8 attr查看ent8的属性。通过lsmap命令检查net mapping $ lsmap -all -net 4.4.5 创建VIOS管理网口为方便远程ssh到VIOS进行管理，可以添加虚拟网卡。oem_setup_env进入AIX环境，创建VLAN选择Add A VLAN选择目标网卡（这里选择SEA ent8）填写VLAN ID创建成功Ent9 为创建的VLAN在ent9上配置IP地址选择en9填写IP地址信息4.5 Shared CD 创建在划分Profile时将光驱DVD或CD设备选成Required为VIO Server占有，并且创建固定的slot30作为virtual CD的编号。运用mkvdev命令建立virtual CD设备并分配给对应分区vhost $mkvdev vdev cd0 vadapter vhost0 dev vcd vcd Available在VIO Client分区安装操作系统时，可先从VIO Server中删除vcd并映射给VIO Client分区。$rmdev vdev vcd$mkvdev vdev cd0 vadapter vhost1 dev vcd第5章 Client分区创建建立VIO Client分区时和平时新建AIX分区步骤类似,其中网络采用VIOS虚拟网卡，存储采用VSCSI。Configuration -> Create Logic Partition -> AIX or Linux根据需要分配相应的内存和CPU，所有资源不划分给Client。与普通创建AIX分区的区别在于创建Virtual Adapter然后创建Virtual SCSI Adapter 根据VIO Server中的定义选择相应SCSI Adapter，其中Server adapter ID要与VIO Server中定义的值一致。最后完成Profile配置，以SMS启动client分区，从光盘或者NIM上安装AIX操作系统第6章 VIO Server分区与普通AIX分区特点区别6.1 VIO Server操作特点1) 以特殊用户padmin用户登录，密码应该建议统一设置为padmin 2) 不支持普通AIX系统的GUI 或者smitty 菜单操作，仅支持部分shell命令，指令级及参数与AIX命令有部分区别3) 没有root用户可以登录VIO Server环境4) 可以通过”oem_setup_env”命令可以转到root 用户身份的AIX Shell 环境6.2 VIO Server创建的AIX分区与普通AIX分区比较通过VIO Server创建的AIX分区理论上对系统使用者是透明的，在操作层面上普通AIX系统分区使用完全一致。但因为VIO创建的AIX系统通过共用物理网络和存储资源，在性能上和直接使用物理设备的AIX系统有所差异。第7章 参考文档n 如果需要深入了解IVE网卡技术，请参考：n 如果需要深入了解NPIV光纤存储技术，请查看：