openstack-虛擬機在線遷移失敗問題及解決辦法

原創 ztejiagn 2020-02-20 13:02

原博客地址：http://blog.csdn.net/lynn_kong

內容系本人學習、研究和總結，如有雷同，實屬榮幸！


更新歷史；

2013.07.17  該問題在最新的主幹分支中不存在了，因爲nova-scheduler中的代碼有部分重構過，不知是無意還是有意，修復了這個bug

/、雖然修改了，通過這個學習可以瞭解更多


version：OpenStack Grizzly 2013.1.2

hypervisor：KVM

shared  storage: no


1、問題描述

我的環境上有一臺虛擬機，信息如下：

[plain] view plaincopy
  1. root@controller:~# nova show ubuntu_bdm_with_keypair  
  2. +-------------------------------------+----------------------------------------------------------+  
  3. | Property                            | Value                                                    |  
  4. +-------------------------------------+----------------------------------------------------------+  
  5. | status                              | ACTIVE                                                   |  
  6. | updated                             | 2013-07-11T05:15:46Z                                     |  
  7. | OS-EXT-STS:task_state               | None                                                     |  
  8. | OS-EXT-SRV-ATTR:host                | controller                                               |  
  9. | key_name                            | mykey                                                    |  
  10. | image                               | Attempt to boot from volume - no image supplied          |  
  11. | hostId                              | 6c1b0e7f432cdca4fe62380f271d7b83999b3aeee6e6893cc90db44a |  
  12. | OS-EXT-STS:vm_state                 | active                                                   |  
  13. | OS-EXT-SRV-ATTR:instance_name       | instance-00000005                                        |  
  14. | OS-EXT-SRV-ATTR:hypervisor_hostname | controller.konglingxian.com                              |  
  15. | flavor                              | kong.flavor (6)                                          |  
  16. | id                                  | 6cd558d9-e924-4598-8e63-e86a20929bd9                     |  
  17. | security_groups                     | [{u'name': u'default'}]                                  |  
  18. | demo_net1 network                   | 10.1.1.2, 128.3.11.101                                   |  
  19. | user_id                             | 9bfc5979e8774ea99f54ba78d07c3bc0                         |  
  20. | name                                | ubuntu_bdm_with_keypair                                  |  
  21. | created                             | 2013-07-10T07:48:04Z                                     |  
  22. | tenant_id                           | d9a9b59b0be94489a85f51ba3ced15ce                         |  
  23. | OS-DCF:diskConfig                   | MANUAL                                                   |  
  24. | metadata                            | {}                                                       |  
  25. | accessIPv4                          |                                                          |  
  26. | accessIPv6                          |                                                          |  
  27. | progress                            | 0                                                        |  
  28. | OS-EXT-STS:power_state              | 1                                                        |  
  29. | OS-EXT-AZ:availability_zone         | nova                                                     |  
  30. | config_drive                        |                                                          |  
  31. +-------------------------------------+----------------------------------------------------------+  
環境上兩個節點：

[plain] view plaincopy
  1. root@controller:~# nova hypervisor-list  
  2. +----+-----------------------------+  
  3. | ID | Hypervisor hostname         |  
  4. +----+-----------------------------+  
  5. | 1  | compute.konglingxian.com    |  
  6. | 2  | controller.konglingxian.com |  
  7. +----+-----------------------------+  
虛擬機正常運行，對虛擬機執行live-migration操作：

[plain] view plaincopy
  1. nova live-migration --block-migrate 6cd558d9-e924-4598-8e63-e86a20929bd9  

返回的異常信息如下：

[plain] view plaincopy
  1. {  
  2.     "badRequest": {  
  3.         "message": "Live migration of instance 6cd558d9-e924-4598-8e63-e86a20929bd9 to host controller failed",  
  4.         "code": 400  
  5.     }  
  6. }  


2、問題分析

先查看日誌中的異常堆棧：

[plain] view plaincopy
  1. 2013-07-10 15:07:44.979 32348 TRACE nova.api.openstack.compute.contrib.admin_actions Traceback (most recent call last):  
  2. 2013-07-10 15:07:44.979 32348 TRACE nova.api.openstack.compute.contrib.admin_actions   
  3. 2013-07-10 15:07:44.979 32348 TRACE nova.api.openstack.compute.contrib.admin_actions   File "/usr/lib/python2.7/dist-packages/nova/openstack/common/rpc/amqp.py", line 430, in _process_data  
  4. 2013-07-10 15:07:44.979 32348 TRACE nova.api.openstack.compute.contrib.admin_actions     rval = self.proxy.dispatch(ctxt, version, method, **args)  
  5. 2013-07-10 15:07:44.979 32348 TRACE nova.api.openstack.compute.contrib.admin_actions   
  6. 2013-07-10 15:07:44.979 32348 TRACE nova.api.openstack.compute.contrib.admin_actions   File "/usr/lib/python2.7/dist-packages/nova/openstack/common/rpc/dispatcher.py", line 133, in dispatch  
  7. 2013-07-10 15:07:44.979 32348 TRACE nova.api.openstack.compute.contrib.admin_actions     return getattr(proxyobj, method)(ctxt, **kwargs)  
  8. 2013-07-10 15:07:44.979 32348 TRACE nova.api.openstack.compute.contrib.admin_actions   
  9. 2013-07-10 15:07:44.979 32348 TRACE nova.api.openstack.compute.contrib.admin_actions   File "/usr/lib/python2.7/dist-packages/nova/scheduler/manager.py", line 117, in live_migration  
  10. 2013-07-10 15:07:44.979 32348 TRACE nova.api.openstack.compute.contrib.admin_actions     context, ex, {})  
  11. 2013-07-10 15:07:44.979 32348 TRACE nova.api.openstack.compute.contrib.admin_actions   
  12. 2013-07-10 15:07:44.979 32348 TRACE nova.api.openstack.compute.contrib.admin_actions   File "/usr/lib/python2.7/contextlib.py", line 24, in __exit__  
  13. 2013-07-10 15:07:44.979 32348 TRACE nova.api.openstack.compute.contrib.admin_actions     self.gen.next()  
  14. 2013-07-10 15:07:44.979 32348 TRACE nova.api.openstack.compute.contrib.admin_actions   
  15. 2013-07-10 15:07:44.979 32348 TRACE nova.api.openstack.compute.contrib.admin_actions   File "/usr/lib/python2.7/dist-packages/nova/scheduler/manager.py", line 96, in live_migration  
  16. 2013-07-10 15:07:44.979 32348 TRACE nova.api.openstack.compute.contrib.admin_actions     block_migration, disk_over_commit)  
  17. 2013-07-10 15:07:44.979 32348 TRACE nova.api.openstack.compute.contrib.admin_actions   
  18. 2013-07-10 15:07:44.979 32348 TRACE nova.api.openstack.compute.contrib.admin_actions   File "/usr/lib/python2.7/dist-packages/nova/scheduler/driver.py", line 196, in schedule_live_migration  
  19. 2013-07-10 15:07:44.979 32348 TRACE nova.api.openstack.compute.contrib.admin_actions     ignore_hosts)  
  20. 2013-07-10 15:07:44.979 32348 TRACE nova.api.openstack.compute.contrib.admin_actions   
  21. 2013-07-10 15:07:44.979 32348 TRACE nova.api.openstack.compute.contrib.admin_actions   File "/usr/lib/python2.7/dist-packages/nova/scheduler/driver.py", line 272, in _live_migration_dest_check  
  22. 2013-07-10 15:07:44.979 32348 TRACE nova.api.openstack.compute.contrib.admin_actions     filter_properties)[0]  
  23. 2013-07-10 15:07:44.979 32348 TRACE nova.api.openstack.compute.contrib.admin_actions   
  24. 2013-07-10 15:07:44.979 32348 TRACE nova.api.openstack.compute.contrib.admin_actions   File "/usr/lib/python2.7/dist-packages/nova/scheduler/filter_scheduler.py", line 146, in select_hosts  
  25. 2013-07-10 15:07:44.979 32348 TRACE nova.api.openstack.compute.contrib.admin_actions     request_spec, filter_properties, instance_uuids)]  
  26. 2013-07-10 15:07:44.979 32348 TRACE nova.api.openstack.compute.contrib.admin_actions   
  27. 2013-07-10 15:07:44.979 32348 TRACE nova.api.openstack.compute.contrib.admin_actions   File "/usr/lib/python2.7/dist-packages/nova/scheduler/filter_scheduler.py", line 336, in _schedule  
  28. 2013-07-10 15:07:44.979 32348 TRACE nova.api.openstack.compute.contrib.admin_actions     filter_properties)  
  29. 2013-07-10 15:07:44.979 32348 TRACE nova.api.openstack.compute.contrib.admin_actions   
  30. 2013-07-10 15:07:44.979 32348 TRACE nova.api.openstack.compute.contrib.admin_actions   File "/usr/lib/python2.7/dist-packages/nova/scheduler/host_manager.py", line 342, in get_filtered_hosts  
  31. 2013-07-10 15:07:44.979 32348 TRACE nova.api.openstack.compute.contrib.admin_actions     hosts, filter_properties)  
  32. 2013-07-10 15:07:44.979 32348 TRACE nova.api.openstack.compute.contrib.admin_actions   
  33. 2013-07-10 15:07:44.979 32348 TRACE nova.api.openstack.compute.contrib.admin_actions   File "/usr/lib/python2.7/dist-packages/nova/filters.py", line 53, in get_filtered_objects  
  34. 2013-07-10 15:07:44.979 32348 TRACE nova.api.openstack.compute.contrib.admin_actions     return list(objs)  
  35. 2013-07-10 15:07:44.979 32348 TRACE nova.api.openstack.compute.contrib.admin_actions   
  36. 2013-07-10 15:07:44.979 32348 TRACE nova.api.openstack.compute.contrib.admin_actions   File "/usr/lib/python2.7/dist-packages/nova/filters.py", line 39, in filter_all  
  37. 2013-07-10 15:07:44.979 32348 TRACE nova.api.openstack.compute.contrib.admin_actions     if self._filter_one(obj, filter_properties):  
  38. 2013-07-10 15:07:44.979 32348 TRACE nova.api.openstack.compute.contrib.admin_actions   
  39. 2013-07-10 15:07:44.979 32348 TRACE nova.api.openstack.compute.contrib.admin_actions   File "/usr/lib/python2.7/dist-packages/nova/scheduler/filters/__init__.py", line 30, in _filter_one  
  40. 2013-07-10 15:07:44.979 32348 TRACE nova.api.openstack.compute.contrib.admin_actions     return self.host_passes(obj, filter_properties)  
  41. 2013-07-10 15:07:44.979 32348 TRACE nova.api.openstack.compute.contrib.admin_actions   
  42. 2013-07-10 15:07:44.979 32348 TRACE nova.api.openstack.compute.contrib.admin_actions   File "/usr/lib/python2.7/dist-packages/nova/scheduler/filters/image_props_filter.py", line 78, in host_passes  
  43. 2013-07-10 15:07:44.979 32348 TRACE nova.api.openstack.compute.contrib.admin_actions     image_props = spec.get('image', {}).get('properties', {})  
  44. 2013-07-10 15:07:44.979 32348 TRACE nova.api.openstack.compute.contrib.admin_actions   
  45. 2013-07-10 15:07:44.979 32348 TRACE nova.api.openstack.compute.contrib.admin_actions AttributeError: 'NoneType' object has no attribute 'get'  
  46. 2013-07-10 15:07:44.979 32348 TRACE nova.api.openstack.compute.contrib.admin_actions   
  47. 2013-07-10 15:07:44.979 32348 TRACE nova.api.openstack.compute.contrib.admin_actions   
  48. 2013-07-10 15:07:44 INFO [nova.api.openstack.wsgi 673] [32348] HTTP exception thrown: Live migration of instance 6cd558d9-e924-4598-8e63-e86a20929bd9 to another host failed  

原來問題出在調度上，日誌說的很明顯了，是在image_props_filter中出現異常，spec.get('image', {})返回了None，導致python異常。那麼spec.get('image', {})爲什麼返回None呢？從代碼追溯一下spec中的image屬性從何而來：

[python] view plaincopy
  1. if not instance_ref['image_ref']:  
  2.     image = None  
  3. else:  
  4.     image = self.image_service.show(context,  
  5.                                     instance_ref['image_ref'])  
  6. request_spec = {'instance_properties': instance_ref,  
  7.                 'instance_type': instance_type,  
  8.                 'instance_uuids': [instance_ref['uuid']],  
  9.                 'image': image}  
再回頭看一下虛擬機信息，發現這個虛擬機是一個後端卷啓動的虛擬機（boot from volume），至此，問題根因分析清楚。


3、問題解決

有兩種解決方法：
1）修改在線遷移虛擬機的命令參數，強制指定目的主機，跳過schedule的階段，改成如下（注意，如果是後端卷啓動，就不能加--block-migrate參數，詳細原因請參見：http://blog.csdn.net/lynn_kong/article/details/9186201）：
[plain] view plaincopy
  1. nova live-migration 6cd558d9-e924-4598-8e63-e86a20929bd9 compute  
2）修改Nova的配置項scheduler_default_filters（默認配置是['RetryFilter', 'AvailabilityZoneFilter', 'RamFilter', 'ComputeFilter', 'ComputeCapabilitiesFilter', 'ImagePropertiesFilter']），將其中的ImagePropertiesFilter刪除，重啓nova-scheduler進程後再次執行遷移，成功。
ztejiagn
發佈了108 篇原創文章 · 獲贊 13 · 訪問量 43萬+
他的留言板 關注
發表評論
所有評論
還沒有人評論，想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章

OpenStack服務器節點遷移（修改IP）後引發的nova-compute不啓動

前些日子一直在忙活將OpenStack的那幾臺服務器從部門機房搬遷到集團的大機房去，由於要修改節點的public_ip，出現了許多問題，也是經過了2個不免之夜，終於將問題都解決了，在這裏將過程記錄一下，和大家分享。 原IP爲 auto l

Ethan_熠森张 2020-07-05 11:51:05

OpenStack安裝安裝Mariadb數據庫報錯

第一步：執行# yum -y install mariadb mariadb-server python2-PyMySQL 報錯如下： 解決：執行 yum clean all ; yum makecache 第二步：上面命令執行完

liqunhua4413 2020-07-05 17:44:57

OpenStack-Nova組件理解

Nova是OpenStack雲中的計算組織控制器。支持OpenStack雲中實例（instances）生命週期的所有活動都由Nova處理。這樣使得Nova成爲一個負責管理計算資源、網絡、認證、所需可擴展性的平臺。但是，Nova自身並沒有提

椰子哥·天行者 2020-07-08 11:49:03

Swift源碼分析----swift-object-updater

感謝朋友支持本博客，歡迎共同探討交流，由於能力和時間有限，錯誤之處在所難免，歡迎指正！ 如果轉載，請保留作者信息。博客地址：http://blog.csdn.net/gaoxingnengjisuan郵箱地址：dong.liu@sia

溜溜小哥 2020-07-06 23:56:31

Ceilometer項目源碼分析----ceilometer-agent-compute服務的初始化和啓動

感謝朋友支持本博客，歡迎共同探討交流，由於能力和時間有限，錯誤之處在所難免，歡迎指正！如果轉載，請保留作者信息。博客地址：http://blog.csdn.net/gaoxingnengjisuan郵箱地址：[email protected]

溜溜小哥 2020-07-06 23:56:20

RYU控制器的學習筆記（二）

楔子：openflow1.3的狀態轉移圖 0.SDN交換機的TCP主動連接 8s一個包, 同樣的，tcp連接成功後，馬上發送hello包 之後8s一個Hello包 如果沒收到hello的回覆包，是不會進入下一狀態的，會一直重傳hel

__fool__ 2020-07-06 14:38:59

openstack（queens）安裝（一）：基礎環境配置安裝

 1. 拓撲 每一臺服務器都爲雙網卡，管理網卡爲eth0，業務網卡爲eth1，服務器最低配置如下： 節點 cpu 內存 磁盤 controller 2 4GB 5GB compute 2 4G 5G storage 2 4G 50 其中

爆破小能手 2020-07-06 01:24:02

openstack（queens版本）安裝（二）：安裝keystone服務

keystone服務安裝在controller節點上，通過restful接口爲其它節點提供認證。 1.創建數據庫 CREATE DATABASE keystone； GRANT ALL PRIVILEGES ON keystone.*

爆破小能手 2020-07-06 01:24:02

openstack創建實例報錯

1.報錯信息： 錯誤: Host ‘compute1’ is not mapped to any cell] 解決方法：在控制節點上執行nova-manage cell_v2 discover_hosts --verbose 2.

爆破小能手 2020-07-06 01:24:02

基於py-amqp編寫生產者和消費者代碼

在介紹erlang的dbg調試RabbitMQ源碼之前，首先介紹基於py-amqp編寫RabbitMQ的生產者和消費者代碼，其中py-amqp的安裝包可在以下鏈接下載：https://pypi.org/project/amqp/ 1 公共

gj4990 2020-07-05 08:58:53

OpenStack Horizon創建虛擬機時增加虛擬機OS用戶

背景 　　通過OpenStack的Horizon使用鏡像創建虛擬機（以Ubuntu爲例），如果不知道鏡像的用戶名和密碼，在創建好虛擬機之後，無法登錄虛擬機的OS。因此，我們需要一種方法，創建虛擬機時增加用戶。 方法 　　Hor

styshoo 2020-07-04 22:05:59

openstack批量創建虛擬機

作者：【吳業亮】 博客：https://wuyeliang.blog.csdn.net/ openstack批量創建虛擬機 老版本 nova boot --flavor 2 --image 1c520c07-3728-4bd7-a

Yeliang Wu 2020-07-03 23:56:55

OpenStack非但沒涼，革新U版本竟燃起來，原來還有TA的功勞？

文章來源：https://www.qbitai.com/2020/06/15377.html 近日，OpenStack非但沒“涼”，還趁勢上新了U版本。 就在剛剛過去的五月，OpenStack社區爆出最新版本發佈，編號21，名叫Ussur

科技星象 2020-07-03 15:37:56

實驗記錄：Legacy router 數據轉發過程

拓撲： 創建網絡 neutron net-create net-1 neutron net-create net-2 neutron subnet-create --name subnet-1 net-1 11.0.0.0/

某呆啊 2020-07-03 14:17:02

Openstack J版本 NUMA特性相關分析（一）

聲明： 本博客歡迎轉載，但請保留原作者信息! 作者：黃堆榮 團隊：華爲杭州OpenStack團隊 1、簡介         Openstack在J版本中新增NUMA特性，用戶可以通過將虛擬機只能的CPU和內存綁定到物理機的NU

米粒之光 2020-07-04 03:55:48