openstack 初步部署和测试.doc

《openstack 初步部署和测试.doc》由会员分享，可在线阅读，更多相关《openstack 初步部署和测试.doc（20页珍藏版）》请在三一办公上搜索。

1、openstack 初步部署和测试1openstack功能1openstack安装过程3中心控制节点上的安装：3在计算节点上安装nova6在openstack上开启虚拟机7手动分配ip地址8配置逻辑卷8动态迁移9镜像管理11openstack的api12用户管理13project管理13account管理14role管理14network管理15image管理16instance_type/flavors管理17VM/instance管理17volume逻辑卷管理18service 管理19fixed 固定ip管理19openstack 初步部署和测试openstack功能openstack提

2、供的是一个云平台实现方案，类似于其他的云实现，openstack提供了基于虚拟机的云计算服务（nova）;云存储服务（swift）,以及镜像服务（glance）,在openstack的新版本diablo中还引进了openstack一直缺乏的认证功能(代号为keystone),还提供了改进的web界面管理dashboard(Horizon)。我们这里已经安装的版本是openstack的上一版cactus，提供了一个简单的dashboard可以体验。下面介绍openstack提供的云计算服务（nova）openstack官方给出的框架如下：我们看到openstack的两个核心组件：一个是消息队列Q

3、ueue，使用的Rabbitmq-serer，另一个是数据库，这里使用的是mysql数据库。nova的5个关键部分：nova-api，nova-compute，nova-network，nova-schedule和nova-volume之间的消息传递都是通过消息队列服务器来完成，它们之间并无数据的传递，并通过数据来记录相关状态。对镜像服务glance,openstack专门提供了一个glance-api接口，所有镜像服务都是通过这个接口与镜像存储和相关数据库联系的。nova-api:提供命令接口，包括openstack自身的用户命令（以nova-manage 开头的命令），和EC2中的相关命令

4、（格式为euca-*），其中EC2的命令实现的比较全面一些。nova-compute:提供云计算的核心服务，在计算节点上必须跑的服务，而且可以在计算节点上只跑nova-compute服务，来支持虚拟机的创建删除迁移等功能，该服务基本上就是对所有虚拟机的相关操作。nova-network：nova提供的网络服务，负责分配ip地址，配置网关，网桥，修改iptables，创建路由等功能，主要是要完成各个虚拟机之间的连通，以及不同主机上的不同虚拟机的通信问题。nova-schedule:是nova的一个策略服务器，从消息队列中取出要创建虚拟机消息并决定虚拟机要运行在那个位置上。nova-volume：

5、nova的逻辑卷管理服务，openstack使用LVM来管理磁盘，并能够把分区挂载到虚拟机上当做一个硬盘使用。dashboard：openstack提供了一个简易的web界面。dashboard把请求转化为nova-api能接受的命令。nova提供的功能主要有以下几个方面：1. 用户管理 提供用户账户的管理，包括管理员账户和普通用户账户的管理，这些账户可以创建自己的工程，并创建虚拟机，发布应用等2. 权限管理 openstack提供的权限有Cloud Administrator，IT Security，System Administrator，Network Administrator，Dev

6、eloper，Project Manager（创建工程时的默认角色）六种，可以给用户添加或者删除某个角色，但不能创建新的角色3. 项目管理 用户可以创建删除项目，添加可访问用户，创建压缩用户证书和环境变量等4. 网络管理 给虚拟机提供DHCP或者VLan等网络管理，并能对虚拟机绑定外网ip,实现外网ip的分配回收等管理。5. 镜像管理 提供虚拟机镜像上传，存储，注册6. 虚拟机管理 提供虚拟机的创建，删除，重启，迁移等操作，7. 虚拟机类型管理 创建虚拟机时需要制定虚拟机类型，虚拟机类型规定了内存，cpu，硬盘等信息。8. 逻辑卷管理 使用LVM创建逻辑卷，并绑定到虚拟机上，显示为增加的硬盘。

7、openstack安装过程中心控制节点上的安装：安装有脚本安装和手动安装，这里进行手动安装，系统ubuntu10.04 LTS首先要配置nova包仓库，需要先安装python-software-properties，才能添加apt仓库，如果是用PXE方式安装的系统，那么ubuntu 源配置的应该都不对，需要重新配置，/etc/apt/sources.list 文件，并apt-get updatesudo apt-get install python-software-properties 添加nova包源sudo add-apt-repository ppa:nova-core/release

8、 再更新sudo apt-get update安装消息队列服务器，Rabbitmqsudo apt-get install -y rabbitmq-server安装python依赖文件，这里需要python版本在2.7一下，否则会报错。ubuntu11.10默认安装的python3.0，版本过高。sudo apt-get install -y python-greenlet python-mysqldb 安装nova包，其中需要的一些依赖文件将被自动安装sudo apt-get install -y nova-common nova-doc python-nova nova-api sudo

9、apt-get install -y nova-network nova-objectstore nova-scheduler nova-compute安装工具支持，euca2ools和unzipsudo apt-get install -y euca2ools unzip重启机器，因为安装过程中出现过系统崩溃的情况，还不明原因，所以安装还是要谨慎一些。安装数据库mysql,期间需要输入访问密码。 sudo apt-get install -y mysql-server编辑/etc/mysql/f,修改bind-address 从127.0.0.1到0.0.0.0，就是不仅仅只有本机能登陆该m

10、ysql服务器，并重启mysql服务sudo sed -i s/127.0.0.1/0.0.0.0/g /etc/mysql/fsudo service mysql restart创建数据库nova，数据库名字要和/etc/nova/nova.conf中配置的数据库连接-sql_connection一致。sudo mysql -uroot -pmysql -e CREATE DATABASE nova;创建用户nova并授权其对数据库全部控制权sudo mysql -uroot -pnova -e GRANT ALL PRIVILEGES ON *.* TO nova% WITH GRANT

11、OPTION;给用户nova设置密码例如：novapasssudo mysql -uroot -pnova -e SET PASSWORD FOR nova% =PASSWORD(novapass);使用用户名nova和密码novapass可以登录数据库配置网络，这里配置了两块网卡。但用到的就只有eth0,而eth1就做一个备选的网口。在安装的openstack中并没有用到，但openstack支持双网卡配置，修改 /etc/network/interface如下：auto br100iface br100 inet staticbridge_ports eth0bridge_stp offb

12、ridge_maxwait 0bridge_fd 0address 192.168.1.10netmask 255.255.255.0gateway 192.168.1.253auto eth1iface eth1 inet staticaddress 192.168.1.17netmask 255.255.255.0gateway 192.168.1.253重启网络服务/etc/init.d/networking restart修改openstack配置文件/etc/nova/nova.conf如下：-dhcpbridge_flagfile=/etc/nova/nova.conf-dhcpb

13、ridge=/usr/bin/nova-dhcpbridge-logdir=/var/log/nova-state_path=/var/lib/nova-lock_path=/var/lock/nova-verbose=1-s3_host=192.168.1.10-rabbit_host=192.168.1.10-osapi_host=192.168.1.10-cc_host=192.168.1.10-FAKE_subdomain=ec2-ec2_host=192.168.1.10-ec2_url=http:/192.168.1.10:8773/services/Cloud-sql_conne

14、ction=mysql:/nova:novapass192.168.1.10/nova#-image_service=nova.image.glance.GlanceImageService#-glance_host=192.168.1.10#-glance_port=9292-network_manager=work.manager.FlatDHCPManager-flat_network_dhcp_start=172.16.0.2-fixed_range=172.16.0.0/24-iscsi_ip_prefix=192.168.1-bridge_interface=br100-flat_

15、network_bridge=br100-flat_interface=eth0-flat_injected=False-num_networks=100#-public_interface=eth1-network_size=256-routing_source_ip=192.168.1.10-libvirt_type=kvm-use_syslog=true-connection_type=libvirt重启nova所有服务restart libvirt-bin; restart nova-network; restart nova-compute;restart nova-api; res

16、tart nova-objectstore; restart nova-scheduler查看nova-network是否启动起来了，安装过程中有时会起不来,查看dnsmasq是否启动了，它使用的端口是53端口，一次安装过程中由于已经开启了bind9服务，占用了53端口，需要杀掉bind9进程。dnsmasq服务是给虚拟机提供网络相关服务用的。同步数据库nova,openstack会在nova数据库中建一些表/usr/bin/nova-manage db sync （直接用nova-manage db sync 也可以）创建管理员用户：nova (名字随意，参数admin表示是管理员账户 )/

17、usr/bin/nova-manage user admin nova返回EC2_ACCESS_KEY 和EC2_SECRET_KEY创建工程（项目），需要制定工程名字和创建者。/usr/bin/nova-manage project create novaproject nova创建虚拟机网络/usr/bin/nova-manage network create 172.16.0.1/24 1 256注意：其中172.16.0.1/24必须在nova.conf中配置的-fixed_range 的范围内，1表示创建1个网络，256表示每个网络有多少个ip。上述创建的用户，工程和网络都会记录在数

18、据库nova中。创建证书mkdir p /creds 目录随意nova-manage project zipfile novaproject nova /creds/novacert.zip这个命令会在/creds文件夹中创建novacert.zip文件,里面压缩了记录用户认证和环境变量的一些文件。解开这个文件unzip /creds/novacert.zip -d /creds/在文件夹creds下会看到cacert.pem cert.pem novarc pk.pem这几个文件，其中novarc记录的是环境变量，其他的是一些认证文件source /creds/novarc 就会注册该环境变

19、量，当然也可以加到.bashrc中。授权对结算节点上的虚拟机的访问，要使用使用euca-authorize命令euca-authorize -P icmp -t -1:-1 default 授权pingeuca-authorize -P tcp -p 22 default 授权ssh注意：如果ping不通虚拟机的话，需要看一下dnsmasq服务，当你有虚拟机在运行的情况下，（当然，到现在为止，还没有开启一个虚拟机），要检查是否有两个dnsmasq服务在运行中，如果不是，运行下面命令：killall dnsmasq service nova-network restart在计算节点上安装nova

20、在计算节点上只需要一个nova-compute服务启动就行了，所以只需要安装nova-compute 服务。修改/etc/nova/nova.conf文件（基本上与控制节点上的一样），当然一些配置网络的参数就不需要了。必须要配置消息队列服务器地址，网络服务器地址，数据库地址，控制中心地址等再配置网桥，因为nova使用的是br100作为网桥，所以/etc/network/interfaces 如下： # The loopback network interface auto lo iface lo inet loopback # The primary network interface aut

21、o br100 iface br100 inet static bridge_ports eth0 bridge_stp off bridge_maxwait 0 bridge_fd 0 address xxx.xxx.xxx.xxxnetmask xxx.xxx.xxx.xxx gateway xxx.xxx.xxx.xxx重启网络服务/etc/init.d/networking restart配置完nova.conf ,和网络之后，重启nova-compute 和libvirt-binrestart libvirt-bin; service nova-compute restart为了避免

22、KVM的问题和nova的访问权限，修改下面权限chgrp kvm /dev/kvmchmod g+rwx /dev/kvm在计算节点上要配置一个iptables ,因为在计算节点上没有启动nova-api服务，配置一个nat,跳转到nova-api上，这样UEC镜像才能取得正确的数据。# iptables -t nat -A PREROUTING -d 169.254.169.254/32 -p tcp -m tcp -dport 80 -j DNAT -to-destination $NOVA_API_IP:8773测试计算节点服务是否已经在控制节点上生效，运行下面命令nova-manage

23、 service listubuntu10 nova-scheduler enabled :-) 2011-11-04 08:47:56ubuntu10 nova-network enabled :-) 2011-11-04 08:48:00ubuntu10 nova-compute enabled :-) 2011-11-04 08:47:59ubuntu10 nova-volume enabled :-) 2011-11-04 08:47:57ubuntu12 nova-compute enabled :-) 2011-11-04 08:48:02ubuntu12 nova-schedul

24、er disabled XXX 2011-11-02 04:50:16这里不仅需要服务是enabled,而且需要 :-) +时间，这个时间表示最近的一次服务是否开启测试的时间（最后一次心跳时间）如果一切正常，那么两台机器之间的通信就没有问题了在openstack上开启虚拟机发布镜像uec-publish-tarball ubuntu-10.10-server-uec-i386.tar.gz mybucket 返回三个值，ami,aki,ari创建一个ssh登录keypair,在这之前需要先source /creds/novarc 也就是要把环境变量配置好，因为这个命令要把一些环境变量配置为ss

25、h登录keypair。euca-add-keypair mykey mykey.priv 名字随意修改keypair.priv权限，太高权限出错chmod 600 mykey.priv 开启一个虚拟机euca-run-instances ami-g06qbntt -k mykey -t m1.tiny查看虚拟机列表euca-describe-instances找到刚建的虚拟机，如果已经授权过了对虚拟机的访问，则ping 其ip ,ssh登录测试，一般都会失败，可能是程序bug，但也有正常的时候，这时要检查一下dnsmasq是否开启了两个服务，若不是killall dnsmasq ;servic

26、e nova-network restart。可以查看/var/lib/nova/instances/instance-*/console.log一般还不行，查看ip ad sh，查看br100中两个ip的位置，如果物理机ip在第一位，那么一般都不会ping通虚拟机，这时要删掉这两个ip,在分别加上，先加虚拟机网络的网关ip,再加物理机ip。先删掉br100上的两个ip地址删掉172的网段ip addr del 172.16.0.1 dev br100再删掉br100上的192网段ip addr del 192.168.1.10 dev br100然后再添加172网段，（先添加的显示在第一位）

27、ip addr add 172.168.0.1/24 brd 172.16.0.255 dev br100然后再添加192网段，通过ip ad sh 显示 ：172在192的前面ip addr add 192.168.1.10/24 brd 192.168.1.255 dev br100然后检查 ip ad sh ，虚拟机网段要在第一位重启服务再次新建个虚拟机，基本上就能ping通，也能ssh 登录上了，这个问题太让人费解了当然在删除ip的过程中，会把一些默认路由也删掉了。停止一个虚拟机命令：euca-terminate-instances i-1b0bh8n手动分配ip地址开启一个虚拟机后，

28、openstack会自动为其分配一个ip地址，可以理解为固定ip地址（fixed_ips）,openstack中还存在浮动ip地址（floating_ips）,利用浮动ip，可以手动给虚拟机分配ip地址，内网和外网的都可以，同样要使用浮动ip地址也是要先建立浮动ip的地址池。nova-manage floating create hostname cidr：为特定主机创建特定的浮动地址，可以是一个ip地址，也可以是一个子网。nova-manage floating destroy hostname cidr：删除特定主机上的某浮动ipnova-manage floating list 显示浮动

29、ip列表创建好浮动ip地址池后可以用下面命令从池中获取一个ip地址。 euca-allocate-address返回一个浮动ip地址池中的ip地址，然后就能分配这个ip地址给虚拟机 euca-associate-address -i instance_id floating_ip这样就绑定floating_ip到instance_id，可以ping和ssh测试一下当要把这个ip地址与虚拟机解除绑定时，运行euca-disassociate-addressfloating_ip 解除浮动ip和虚拟机的绑定。euca-deallocate-address floating_ip返回一个ip，这个i

30、p返回到ip池里，而且euca-allocate-addressk可以再次分配这个ip给其他虚拟机使用。配置逻辑卷安装lvm,openstack使用lvm管理逻辑卷，建立的逻辑卷可以分给虚拟机，在虚拟机看来是一块硬盘。openstack需要nova-volume服务。安装lvm2和nova-volumeapt-get install lvm2 nova-volume可以用一块单独的分区，也可以用一个回环设备做个测试，这里使用的是回环设备测试dd if=/dev/zero of=/tmp/nova-volumes.img bs=1M seek=10000 count=0losetup -show

31、 -f /tmp/nova-volumes.imgvgcreate nova-volumes /dev/loop0这里创建nova-volume逻辑卷组,openstack默认接下来需要开启iscsitarget服务，安装iscsitarget时，默认并没有启动，做如下两步： sed -i s/false/true/g /etc/default/iscsitarget service iscsitarget start查看iscsitarget服务有没有启动起来，有时就启动不起来，可以试一试下面的命令：/etc/init.d/open-iscsi start一次排错，在运行完这条命令之后就可以

32、启动iscsitarget服务了。继续配置nova-volume,重启nova-volume服务。service nova-volume restartnova-manage service list可以看到nova-volume服务已经启动成功由于前面已经用LVM建立了一个逻辑卷组nova-volumes，这里直接用这个卷组创建逻辑卷，并绑定到虚拟机上,euca2ools命令： euca-create-volume euca-attach-volume euca-detach-volume euca-delete-volume euca-describe-volumeseuca-create

33、-volume -s 1 -z nova -s：大小 单位G, -z 区域，一般是novaeuca-describe-volumes 可以显示创建的逻辑卷给虚拟机绑定磁盘（逻辑卷）euca-attach-volume vol-0000000e -i i-00000027 -d /dev/vdbvol-0000000e ：逻辑卷id-i 实例id,也就是虚拟机id-d 显示在虚拟机中的设备名称，如果虚拟机已经有了vda 、vdb ，那么这里就是/dev/vdc然后登录虚拟机 i-00000027 用命令 fdisk -l ,发现多了块磁盘 /dev/vdbeuca-detach-volume e

34、uca-delete-volume 分别用来解绑逻辑卷，和删除逻辑卷动态迁移更新系统，升级硬件等都需要用到动态迁移，文件夹: NOVA-INST-DIR/instances/ （一般是/var/lib/nova/instances/）需要mount到共享存储上，这里用的是NFS。首先要保证主机之间ping主机名时能够相互ping通。ping hostAping hostBping hostC安装nfs:apt-get install nfs-kernel-server在中心机上 配置 /etc/exports，添加内容如下：/var/lib/nova/instances ubuntu10/25

35、5.255.255.0(rw,sync,fsid=0,no_root_squash)/etc/init.d/nfs-kernel-server restart修改文件 /etc/default/nfs-common 设置 NEED_IDMAPD =yes重启 /etc/init.d/nfs-kernel-server restart /etc/init.d/idmapd restart这里用到了idmapd这个进程，如果不配置该进程的话，那么共享目录里的在客户端看不到共享文件的所属主和组，也不是nogroup，而是一个很大的数字，这样在nfs客户端是改不了文件所属主和组的，必须要配置idmap

36、d这个进程，并开启该服务，如果这个服务没配置好开启，那么会出现unable to set user and group to 107:114 on /var/lib/nova/instanc* Remote I/O error。配置nfs客户端修改文件 /etc/fstab 添加内容如下：ubuntu10:/ /var/lib/nova/instances nfs4 defaults 0 0配置了nfs4，所以ubuntu10后面直接用 / 在两台机器上配置libvirt-bin点10上修改/etc/libvirt/libvirtd.conf 文件如下：改前 : #listen_tls = 0

37、改后: listen_tls = 0改前 : #listen_tcp = 1改后: listen_tcp = 1添加: auth_tcp = none修改 /etc/init/libvirt-bin.conf改前 : exec /usr/sbin/libvirtd $libvirtd_opts 改后 : exec /usr/sbin/libvirtd -d -l修改 /etc/default/libvirt-bin改前 :libvirtd_opts= -d改后 :libvirtd_opts= -d -l然后重启libvirt-bin在客户机上挂载# mount -a -v如果失败可以试着关一下

38、防火墙ls -ld NOVA-INST-DIR/instances/挂载成功就可以试着迁移一下了，运行下面命令，查看各个机器上服务状态，需要是enable +:-)都存在。nova-manage service listubuntu10 nova-scheduler enabled :-) 2011-11-04 08:47:56ubuntu10 nova-network enabled :-) 2011-11-04 08:48:00ubuntu10 nova-compute enabled :-) 2011-11-04 08:47:59ubuntu10 nova-volume enabled

39、:-) 2011-11-04 08:47:57ubuntu12 nova-compute enabled :-) 2011-11-04 08:48:02ubuntu12 nova-scheduler disabled XXX 2011-11-02 04:50:16前5个服务是正常的如果ubuntu10和ubuntu12上的compute服务都开启，并且中心控制机ubuntu10上的其他服务都正常，查看一下compute节点上的资源情况nova-manage service update_resource ubuntu12迁移虚拟机nova-manage vm live_migration i-

40、00000003 ubuntu12顺利的话迁移成功。否则，查看nova-scheduler.log和nova-manage.log以及ubuntu12上的nova-compute.log日志，看哪里出错了。首先在测试共享目录的时候在客户机上nova-compute.log可能会出现，permission denied /var/lib/nova/instance/tmp_OXirt而在nfs服务器上的nova-scheduler.logRemoteError: UnboundLocalError local variable filename referenced before assignm

41、ent那么权限问题，修改目录权限共享目录中把权限改了 chmod 777 /var/lib/nova/instances再次运行迁移命令，出现下面但是euca-describe-instances时，发现可能并没有迁移继续查看compute节点上的nova-compute.logunable to set user and group to 107:114 on /var/lib/nova/instanc* Remote I/O error。依然是权限问题，不能够修改文件所属主，解决这个问题就是要配置好idmap服务。然后迁移，又出现错误直接把console.log（/var/lib/nova

42、/instances/instance-*/console.log）文件权限改为777，再次迁移，安装过程中在这一步就可以迁移了。所以这里遗留的问题就是，每次迁移都要修改console.log权限。同属于这一个问题的另一个现象是，当在compute节点上直接开启一个虚拟机时，直接失败，日志中的问题和上面一样。同样更改console.log权限为666，再次reboot该虚拟机，发现虚拟机正常启动起来了。所以这两个问题应该都是权限问题。论坛中也说这是两台机器中用户nova的uid不一样造成的，说是在装openstack时，先安装nova,再安装mysql和rabbitmq就行了，应该是要求两台机

43、器安装的顺序必须是一样的才行。镜像管理openstack提供了自己的镜像服务器glance。这里没有使用glance，用的是默认的镜像服务存储objectstoreopenstack支持自己新建虚拟机镜像，并支持windows镜像，制作镜像目前没有做过任何镜像。openstack的apiopenstack提供了两套api，一个是openstack自己的api,大多都以nova-manage开头，另一个是euca2ools提供的Api，大多以euca-为前缀。输入nova-manage ,会看到还有下面这些二级命令useraccountprojectroleshellvpnfixedfloati

44、ngnetworkvmservicedbvolumeinstance_typeimageflavor从这些命令中，我们可以看到nova-manage都管理了哪些功能。再看一下euca2ools命令：euca-add-group euca-describe-imageseuca-add-keypair euca-describe-instanceseuca-allocate-address euca-describe-keypairseuca-associate-address euca-describe-regionseuca-attach-volume euca-describe-snaps

45、hotseuca-authorize euca-describe-volumeseuca-bundle-image euca-detach-volumeeuca-bundle-vol euca-disassociate-addresseuca-confirm-product-instance euca-download-bundleeuca-create-snapshot euca-get-console-outputeuca-create-volume euca-modify-image-attributeeuca-delete-bundle euca-reboot-instanceseuca-delete-group