告诉你Ubuntu 12.04(“Precise Pangolin”)安装OpenStack Essex-中存储网

2015-06-08 11:26:52 来源：中存储网

这是我参考老外写的英文版本，整理一个中文的版本。也希望随着我的理解深入，不断完善。

我接下来的步骤，也就全部参考原文。

3月27日更新：基本完成文档内容

4月5日更新：重新安装第三次，修改了文档一下小错误。

4月6日更新：完成的nova volume的内容。所有英文文档的内容，已经全部覆盖

4月16号：对文档进行测试，发现当前的glance包有问题，这会导致大家无法使用glance。当你重启glance-registry，glance日志会报错。导致glance index会报错误。已经提交bug ：https://bugs.launchpad.net/ubuntu/+source/glance/+bug/982787 这个不是bug，官方为了日后升级，改成手工创建数据库的表。改变了创建数据库的方式。修复方法看glance 部分。

4月17日：修改了dashborad的配置，以前有错误配置。导致虚拟机管理下拉菜单无法工作。

4月23日：修改vnc。不安装vncproxy，安装nova-consoleauth novnc python-novnc 三个包，并且调整nova.conf vnc的设置。等待明天回去验证。

4月24日：解决vnc的问题，重新安装了一遍。vnc已经正常工作。唯一遗憾就是Dashboard还是缺少js，需要手工copy一下。就只能等这个包更新才行。

5月7号：用ubuntu 12.04，重新验证一次文档。中存储在虚拟机上安装，compute服务不正常。virtualbox和vmware都是一样的情况。

5月10号：用一台物理服务器安装，文档内容，全部通过。不过发现Dashboard默认已经是使用memcache，不需要对dashborad进行任何的修改，就可以使用。另外已经验证，vnc是可以使用。不过没测试volume服务。

硬件要求很简单，双网卡的机器就可以。服务器可以上网。这篇文章档是全部组件安装在一台机器上：nova，glance，keystone，dashboard。不包括swift。

接下来的文档，基本是照抄原文档，不过这是经过我验证过。后续我会附上图。

为了简单和减少失误，你最好全部参考我的文档的设置，等你装成功后，再去变更相关的设置，包括账号的密码。

当前Essex版本已经发布正式版本。源里的包，也基本更新到正式版本。

一：准备系统

1：下载ubuntu 12.04. 服务器版本

ubuntu12.04正式版本，需要4月26号发布，当前是beta2

http://mirrors.ustc.edu.cn/ubuntu-releases/12.04/ubuntu-12.04-server-amd64.iso

2：安装OS

安装系统倒是简单。由于我的服务器是两块硬盘，显得比较简单。因为大家需要一个单独的分区专门给nova-volume使用。这个也可以通过变通的办法实现。

IP地址的设置，可以等装完系统再修改，问题不大。最小化安装，只需要安装ssh server就可以。

装完系统后。

apt-get update

apt-get upgrade

更新源里的包,更新系统。确保你装的是最新版本的包。

3：设置root权限

为了简单，全部都是用root来运行。

sudo passwd

就可以给root设置一个密码。直接用root运行。

4：设置网络

我的网络设置和文档是完全一样。这样也减少错误的几率。
root@node6:~# cat /etc/network/interfaces
# This file describes the network interfaces available on your system
# and how to activate them. For more information, see interfaces(5).

# The loopback network interface
auto lo
iface lo inet loopback

# The primary network interface
auto eth0
iface eth0 inet static
        address 10.42.0.6
        netmask 255.255.255.0
        network 10.42.0.0
        broadcast 10.42.0.255
        gateway 10.42.0.1
        # dns-* options are implemented by the resolvconf package, if installed
        dns-nameservers 114.114.114.114
        dns-search test.com

auto eth1
iface eth1 inet static
address 192.168.22.1
network 192.168.22.0
netmask 255.255.255.0
broadcast 192.168.22.255

重启网络，让修改生效

/etc/init.d/networking restart

5：安装bridge

apt-get install bridge-utils

重启网络或者重启一下机器都可以

/etc/init.d/networking restart

6：设置NTP

apt-get install ntp

编辑 /etc/ntp.conf 在末尾添加接下来3行

server ntp.ubuntu.com iburst
server 127.127.1.0
fudge 127.127.1.0 stratum 10

重启服务
service ntp restart

7：设置Iscsi

apt-get install tgt

重启服务

service tgt start

安装iscsi客户端

apt-get install open-iscsi open-iscsi-utils

8：安装rabbitmq

apt-get install rabbitmq-server memcached python-memcache
apt-get install kvm libvirt-bin

二：安装mysql和创建相关数据库

Openstack的组件：nova，keystone，glance，都需要数据库。不过当前官方建议keystone，采用sqlite存储，而不用mysql存放。所以大家只需要创建nova和glance两个数据库就可以。

1：安装mysql

过程中，会提示你输入root密码。

apt-get install -y mysql-server python-mysqldb

让mysql支持外部访问

sed -i 's/127.0.0.1/0.0.0.0/g' /etc/mysql/my.cnf

重启服务

service mysql restart

2：安装phpmyadmin （可选）

为了方便，可以把phpmyadmin装上，可以比较方便管理数据库

apt-get install phpmyadmin

安装的时候，第一个提示是让你输入root的密码。

3：创建数据库

nova数据库，管理员：novadbadmin，密码是：dieD9Mie

glance数据库，管理员：glancedbadmin，密码是：ohC3teiv

一旦你修改密码，后面很多配置都需要相应更改。

mysql -uroot -p
CREATE DATABASE nova;
GRANT ALL PRIVILEGES ON nova.* TO 'novadbadmin'@'%' IDENTIFIED BY 'dieD9Mie';
CREATE DATABASE glance;
GRANT ALL PRIVILEGES ON glance.* TO 'glancedbadmin'@'%' IDENTIFIED BY 'ohC3teiv';
quit

三：安装和配置keystone

Openstack的各个组件，keystone是最难配置。搞定keystone，后面应该就没啥麻烦。

1：安装keystone

apt-get install keystone python-keystone python-keystoneclient

2：配置keystone

需要修改 /etc/keystone/keystone.conf 两个地方

默认定义的token就是ADMIN，我使用hastexo作为token
[DEFAULT]
bind_host = 0.0.0.0
public_port = 5000
admin_port = 35357
#admin_token = ADMIN
admin_token =hastexo

另外一个地方是

[catalog]
#driver = keystone.catalog.backends.sql.Catalog
driver = keystone.catalog.backends.templated.TemplatedCatalog
template_file = /etc/keystone/default_catalog.templates

重启服务

service keystone restart

3: 导入数据

这个比较有技术含量。通过修改devstack的keystone_data.sh 脚本。实现导入数据。一旦你上面的设置都和我一样，那么其实直接运行这个脚本就可以。

http://www.hastexo.com/system/files/user/4/keystone_data.sh_.txt

下载脚本

wget http://www.hastexo.com/system/files/user/4/keystone_data.sh_.txt
mv keystone_data.sh_.txt keystone_data.sh

让脚本可运行

chmod +x keystone_data.sh

运行脚本, 一旦你修改的默认的用户名和密码，你需要修改脚本。修改两个地方

第一个是登录dashboard的admin的密码

第二个就是keystone的token

#ADMIN_PASSWORD=${ADMIN_PASSWORD:-hastexo}
ADMIN_PASSWORD=${ADMIN_PASSWORD:-admin}
SERVICE_PASSWORD=${SERVICE_PASSWORD:-$ADMIN_PASSWORD}
#export SERVICE_TOKEN="hastexo"
export SERVICE_TOKEN="Centrin"
export SERVICE_ENDPOINT="http://localhost:35357/v2.0"
SERVICE_TENANT_NAME=${SERVICE_TENANT_NAME:-service}

./keystone_data.sh

顺利运行，会什么都没有输出

#echo $?

接下来会输出0 ，表示正常。你就别再运行脚本

keystone --tenant=admin --username=admin --password=hastexo --auth_url=http://127.0.0.1:5000/v2.0 user-list

看到这些，就说明keystone安装正常。

export OS_TENANT_NAME=admin
export OS_USERNAME=admin
export OS_PASSWORD=hastexo
export OS_AUTH_URL="http://localhost:5000/v2.0/"

检查检查

# export | grep OS_
declare -x OS_AUTH_URL="http://localhost:5000/v2.0/"
declare -x OS_PASSWORD="hastexo"
declare -x OS_TENANT_NAME="admin"
declare -x OS_USERNAME="admin"

这个时候，直接运行

四：安装和配置glance

1：安装软件

apt-get install glance glance-api glance-client glance-common glance-registry python-glance

2：配置/etc/glance/glance-api-paste.ini

修改文件最后3行，这些设置都是keystone导入数据的时候设置的。
admin_tenant_name = %SERVICE_TENANT_NAME%
admin_user = %SERVICE_USER%
admin_password = %SERVICE_PASSWORD%

改成

admin_tenant_name = admin
admin_user = admin
admin_password = hastexo

3：设置 /etc/glance/glance-registry-paste.ini

也是修改文件最后3行，和上面是一样的。

admin_tenant_name = %SERVICE_TENANT_NAME%
admin_user = %SERVICE_USER%
admin_password = %SERVICE_PASSWORD%

改成

admin_tenant_name = admin
admin_user = admin
admin_password = hastexo

4：配置/etc/glance/glance-registry.conf

修改

#sql_connection = sqlite:////var/lib/glance/glance.sqlite
sql_connection = mysql://glancedbadmin:ohC3teiv@10.42.0.6/glance

在末尾添加两行
[paste_deploy]
flavor = keystone

5：配置/etc/glance/glance-api.conf

在末尾添加两行
[paste_deploy]
flavor = keystone

6：同步数据库

当前glance 需要手工同步数据库。你装一个phpmyadmin，先确认glance数据库没任何内容。

# glance-manage version_control 0
# glance-manage db_sync
/usr/lib/python2.7/dist-packages/glance/registry/db/migrate_repo/versions/003_add_disk_format.py:47: SADeprecationWarning: useexisting is deprecated. Use extend_existing.
useexisting=True)
重启服务
# service glance-api restart && service glance-registry restart
glance-api stop/waiting
glance-api start/running, process 13321
stop: Unknown instance:
glance-registry start/running, process 13327

7：验证glance服务是否正常

接下来的步骤照做就可以，具体原理可以看英文
export OS_TENANT_NAME=admin
export OS_USERNAME=admin
export OS_PASSWORD=hastexo
export OS_AUTH_URL="http://localhost:5000/v2.0/"

检查检查

# export | grep OS_
declare -x OS_AUTH_URL="http://localhost:5000/v2.0/"
declare -x OS_PASSWORD="hastexo"
declare -x OS_TENANT_NAME="admin"
declare -x OS_USERNAME="admin"

运行

glance index

没有任何的输出。表示正常。

#echo $?

接下来会输出0 ，表示正常。

# glance --version
glance 2012.1

8：下载镜像并上传

Ubuntu官方专门提供image，http://uec-images.ubuntu.com。不过一定要注意

这些镜像，都是必须使用密钥登录，直接用用户名密码是无法的登录的。

下载镜像

http://cloud-images.ubuntu.com/precise/current/

这应该是ubuntu提供的最新的稳定的镜像。

wget http://cloud-images.ubuntu.com/precise/current/precise-server-cloudimg-amd64-disk1.img

上传镜像
glance add name="Ubuntu 12.04 cloudimg amd64" is_public=true container_format=ovf disk_format=qcow2 < /root/precise-server-cloudimg-amd64-disk1.img

这里还有一种方法上传，一旦你没用环境变量。

glance --tenant=admin--username=admin --password=hastexo --auth_url=http://127.0.0.1:5000/v2.0 add name="Ubuntu 11.10 cloudimg amd64" is_public=true container_format=ovf disk_format=qcow2 < /root/precise-server-cloudimg-amd64-disk1.img

上传完镜像后。在运行

glance index

或者

glance --username=admin --password=hastexo --tenant=admin --auth_url=http://127.0.0.1:5000/v2.0 index

就可以看到上传的image。

五：安装配置nova

1:安装nova相关组件

apt-get install nova-api nova-cert nova-common nova-compute nova-compute-kvm nova-doc nova-network nova-objectstore nova-scheduler nova-volume python-nova python-novaclient nova-consoleauth python-novnc novnc

2：配置 /etc/nova/nova.conf

把nova.conf 原来的内容删除掉。直接贴接下来内容。重点需要注意的是，

一旦你是在虚拟机里测试Openstack。你需要把默认的虚拟化引擎从kvm改成qemu。
root@node6:~# cat /etc/nova/nova.conf
--dhcpbridge_flagfile=/etc/nova/nova.conf
--dhcpbridge=/usr/bin/nova-dhcpbridge
--logdir=/var/log/nova
--state_path=/var/lib/nova
--lock_path=/var/lock/nova
--allow_admin_api=true
--use_deprecated_auth=false
--auth_strategy=keystone
--scheduler_driver=nova.scheduler.simple.SimpleScheduler
--s3_host=10.42.0.6
--ec2_host=10.42.0.6
--rabbit_host=10.42.0.6
--cc_host=10.42.0.6
--nova_url=http://10.42.0.6:8774/v1.1/
--routing_source_ip=10.42.0.6
--glance_api_servers=10.42.0.6:9292
--image_service=nova.image.glance.GlanceImageService
--iscsi_ip_prefix=192.168.22
--sql_connection=mysql://novadbadmin:dieD9Mie@10.42.0.6/nova
--ec2_url=http://10.42.0.6:8773/services/Cloud
--keystone_ec2_url=http://10.42.0.6:5000/v2.0/ec2tokens
--api_paste_config=/etc/nova/api-paste.ini
--libvirt_type=kvm
#--libvirt_type=qemu
--libvirt_use_virtio_for_bridges=true
--start_guests_on_host_boot=true
--resume_guests_state_on_host_boot=true

#novnc
--novnc_enabled=true
--novncproxy_base_url= http://10.42.0.6:6080/vnc_auto.html
--vncserver_proxyclient_address=127.0.0.1
--vncserver_listen=127.0.0.1

# network specific settings

--network_manager=nova.network.manager.FlatDHCPManager
--public_interface=eth0
--flat_interface=eth1
--flat_network_bridge=br100
--fixed_range=192.168.22.32/27
--floating_range=10.42.0.32/27
--network_size=32
--flat_network_dhcp_start=192.168.22.33
--flat_injected=False
--force_dhcp_release
--iscsi_helper=tgtadm
--connection_type=libvirt
--root_helper=sudo nova-rootwrap
#--verbose
--verbose=False

3：配置/etc/nova/api-paste.ini

也是修改文件最后3行，

admin_tenant_name = %SERVICE_TENANT_NAME%
admin_user = %SERVICE_USER%
admin_password = %SERVICE_PASSWORD%

改成

admin_tenant_name = admin
admin_user = admin
admin_password = hastexo

4：停止和重启nova相关服务

for a in libvirt-bin nova-network nova-compute nova-api nova-objectstore nova-scheduler novnc nova-volume nova-consoleauth; do service "$a" restart; done

5：同步数据库

以前我运行同步数据库，一旦正确, 当nova.conf

--verbose=False

是没有任何的输出，否则有一堆是输出。

nova-manage db sync

创建网络
nova-manage network create private --fixed_range_v4=192.168.22.32/27 --num_networks=1 --bridge=br100 --bridge_interface=eth1 --network_size=32

设定floating IP

nova-manage floating create --ip_range=10.42.0.32/27

设置权限

chown -R nova:nova /etc/nova

再重启相关服务

for a in libvirt-bin nova-network nova-compute nova-api nova-objectstore nova-scheduler novnc nova-volume nova-consoleauth; do service "$a" restart; done

6：检查nova服务

nova list

nova image-list

nova floating-ip-create

六：创建第一个VM

这是用命令行创建vm，这个步骤可以跳过。我没做。不影响后面的安装。

1: 创建密钥

# ssh-keygen

一路回车，就可以了。

2：上传密钥到数据库

# # nova keypair-add --pub_key .ssh/id_rsa.pub key1

这个时候，就可以查看到上传的key

root@node6:~# nova keypair-list
+------+-------------------------------------------------+
| Name | Fingerprint |
+------+-------------------------------------------------+
| key1 | 00:7e:41:a2:95:68:3d:03:a6:5b:df:84:a5:b9:06:32 |
+------+-------------------------------------------------+

4：开始创建虚拟机

查看image list

nova image-list

查看flavor-list

nova flavor-list

创建虚拟机

~# nova boot --flavor 1 --image 1437c858-dec7-41d3-a97b-d6b7d5714ac9 --key_name key1 superfrobnicator

看图有真相

查看一下创建的虚拟机

nova show superfrobnicator

ssh 访问VM

打开防火墙

nova secgroup-add-rule default tcp 22 22 0.0.0.0/0

nova secgroup-add-rule default icmp -1 -1 0.0.0.0/0

这个时候，就可以直接ssh到虚拟机上。

ssh -i .ssh/id_rsa Ubuntu@192.168.22.35

这样就可以登录服务器。

Floating IP访问

一旦希望访问floating IP

申请floating IP

nova floating-ip-create

关联vm

# nova add-floating-ip superfrobnicator 10.42.0.36

查看虚拟机

nova show superfrobnicator

ssh访问虚拟机

ssh -i .ssh/id_rsa ubuntu@10.42.0.36

查看安全组和规则

# nova secgroup-list

# nova secgroup-list-rules default
ssh访问vm

有用的命令

查看keypair

nova keypair-list

删除keypair

nova keypair-delete

查看vm

nova list

删除vm，vm的ID

nova delete 10d1bc19-b2c4-4eee-a5c8-b256bda3f343

七：安装和配置Dashbaord

1：安装dashbaord

apt-get install libapache2-mod-wsgi openstack-dashboard

这个时候，你就可以登录dashboard

http://10.42.0.6

user:admin

pass:hastexo

5：理解project和user关系

上面需要注意的一个地方，就是 project的含义。以前的版本是tenant，租户意思，基本可以理解成企业。

你可以创建用户，用户属于一个project。创建用户的时候，就需要设置密码。

我创建了一个project ：招商银行，创建了一个用户 chenshake，属于project 招商银行

八：euca2ools 工作

euca2ools这套工具，其实以前是管理亚马逊aws，只要你兼容aws接口，都可以使用。应该Eucalyptus的一套管理工具。这套管理工具也是可以管理Openstack，和Openstack内置的命令，很多是相同的效果。

1：安装euca2ools工具

apt-get install -y euca2ools

2：设置环境变量

export EC2_URL=$(keystone catalog --service ec2 | awk '/ publicURL / { print $4 }')
export CREDS=$(keystone ec2-credentials-create)
export EC2_ACCESS_KEY=$(echo "$CREDS" | awk '/ access / { print $4 }')
export EC2_SECRET_KEY=$(echo "$CREDS" | awk '/ secret / { print $4 }')

3：运行命令

大家可以比较一下列出所有镜像的命令，可以使用euca-describe-images，或者nova image-list

现在Essex对Euca的工具支持应该比Diablo好很多。

列出运行的虚拟机，可以用 nova list 或者 euca-describe-instances

Appendix A: 使用nova-volume

Essex Dashboard可以管理nova-volume。有两种办法来实现

默认nova是直接使用vg名字为nova-volume的卷。这个是可以在nova.conf 定义，你是可以修改的。

1：一旦系统上没有多余的分区做 LVM 的话可以用一个文件来充当硬盘，

新建一个文件来做 LVM：

DD一个设备

# dd if=/dev/zero of=/opt/nova-volumes.img bs=1M seek=100000 count=0

加载一个设备

# losetup -f nova-volumes.img

查看加载情况
# losetup -a
/dev/loop0: [0801]:35127298 (/opt/nova-volumes.img)

创建一个nova-volume的卷

# vgcreate nova-volumes /dev/loop0
No physical volume label read from /dev/loop0
Physical volume "/dev/loop0" successfully created
Volume group "nova-volumes" successfully created

查看卷

#vgdisplay

就可以看到创建好的nova-volume。

创建一个5G的卷，名字为volume1

nova volume-create --display_name "volume1" 5

创建完后，可以

nova volume-list

创建的过程非常慢，看status完成后，才能attach。

一旦希望删除创建的volume，当前我知道的就只能通过

euca-describe-volumes
euca-delete-volume vol-00000001

把卷添加给虚拟机，1，表示ID号

nova volume-attach superfrobnicator 1 /dev/vdb

2：单独一块盘

# pvcreate /dev/sdb1

# pvdisplay

#vgcreate nova-volumes /dev/sdb1

# vgdisplay

这个时候，就把sdb变成了一个nova-volume。这个时候，在dashboard里，就可以直接管理，使用。

参考接下来文档

http://www.vpsee.com/2011/09/openstack-nova-storage-management/

http://hi.baidu.com/chenshake/blog/item/581824db78607378d1164eeb.html

lvm 相关资料http://hi.baidu.com/chenshake/blog/item/6fd327f35595eb4e342acc60.html

Appendix C: Dashboard 创建vm，允许ping，ssh登录

对于没有用过aws的用户，其实会比较困惑。不知道如何在dashbaord里设置，可以ssh访问虚拟机。无法ping虚拟机。

不能ping，是因为关闭icmp包响应，不能ssh，是因为防护墙关闭的22端口。

从Ubuntu下载的image，只能用密钥登录，不能用密码登录。

1：设置安全组 Security group

安全组，其实就是虚拟机前面的防护墙。默认是关闭所有的包。需要打开防护墙。

为了简单，大家把default的防护墙，端口全部打开。生产环境就不要这样操作。

默认是default规则，直接修改default就可以。默认default，是阻止所有的访问。

2：创建密钥

为了安全考虑，ubuntu提供的模板，都是采用密钥登录。简单点说，你创建一对公钥和私钥。私钥下载到本地保存，公钥存放在服务器上，创建虚拟机的时候，会把公钥注入到虚拟机里。

这个时候，你一旦有私钥，就可以直接登录。

下载私钥

点击create keypair，就会提示你下载私钥。私钥是pem后缀。

那么你就参考这个文档，就可以。

3：创建vm

创建vm的时候，你会选择keypair，安全组。

创建完成后，得到其实是一个内网规定IP

4：floating IP

给虚拟机分配一个 floating IP，可以理解成是公网的IP

分配完

关联vm

5：ssh 访问vm

这个看你的客户端是什么，linux，SecureCRT，putty，都有所不同。

对于Ubuntu提供的image，ssh的用户名是：ubuntu，

SecureCRT 6.x版本

对于6.x版本，已经可以直接使用pem后缀的密钥

putty登录

对于putty，需要对密钥进行转换。

http://www.chiark.greenend.org.uk/~sgtatham/putty/download.html

到官方网站下载：PuTTYgen这个工具

PUTTYGEN，通过load，找到刚才下载的私钥，注意，要选择全部文件，才可以找到。通过转换，选择保存私钥就可以

存放到本地。

设置putty使用密钥

linux客户端ssh登录vm

一旦你是linux服务器上，你可以上传密钥到服务器上

ssh -i key_for_openstack.pem ubuntu@192.168.22.34

就可以直接登录虚拟机。

Appendix D：FAQ

1：我登录服务器后，命令都无法运行

~# nova image-list
ERROR: You must provide a username via either --os_username or env[OS_USERNAME]

如何解决。

这个问题，其实还是你的环境变量导致的。
export OS_TENANT_NAME=admin
export OS_USERNAME=admin
export OS_PASSWORD=hastexo
export OS_AUTH_URL="http://localhost:5000/v2.0/"
export EC2_URL=$(keystone catalog --service ec2 | awk '/ publicURL / { print $4 }')
export CREDS=$(keystone ec2-credentials-create)
export EC2_ACCESS_KEY=$(echo "$CREDS" | awk '/ access / { print $4 }')
export EC2_SECRET_KEY=$(echo "$CREDS" | awk '/ secret / { print $4 }')

这样就可以了。ecua 和nova的命令都可以使用。

一旦不希望每次ssh登录，都需要运行这个。可以直接修改 /etc/profile, 在最后面加上上面几行。这样运行命令就不会再出错。

http://bbs.chinaunix.net/thread-1958386-1-1.html

2：如何用curl去测试keystone

替换红色部分，就可以了

# curl -d '{"auth": {"tenantName": "admin", "passwordCredentials":{"username": "admin", "password": "hastexo"}}}' -H "Content-type: application/json" http://10.42.0.6:35357/v2.0/tokens | python -mjson.tool

继续阅读