Интересно - Невозможно сделать клон работающего контроллера домена Active Directory на ESX.

Недавно при подготовке тестового стенда столкнулся с невозможностью сделать клон контроллера домена, выдавалась ошибка:

Cannot create a quiesced snapshot because the snapshot operation exceeded the time limit for holding off I/O in the frozen virtual machine

а как оказалось в дальнейшем и снапшот. Контроллер домена уже давно был виртуальным. При выяснении этой проблемы с технической поддержкой VmWare, оказалось что действительно есть такая проблема, но она по большей части на стороне Windows(была Windows 2008 R2). Проблема не связана с Volume Shadow Provider и его WMI writers.
Узнать состояние Writer-ов зарегистрированных в системе можно командой

vssadmin list writers

Дело в том, что база Active Directory, расположенная в файле .dit подвержена постоянной нагрузкам по чтению записи и интервал времени необходимый для снятия образа превышает допустимый тайм аут в течении которого в базу .dit не может быть слит лог файл этой базы. В моем случае ошибка выпадала после 10 минут клонирования.

Ссылки по теме:
(причина):
http://social.technet.microsoft.com/Forums/en-US/windowsserver2008r2virtualization/thread/2e913d5c-899b-46b2-88a2-a7bf7a0a584d

(методы борьбы):
http://kb.vmware.com/selfservice/microsites/search.do?language=en_US&cmd=displayKC&externalId=1018194

vStorage API на ESX и CLARiiON CX4-120 где увидеть?

Как известно из отсюда, vStorage API доступна в ESX с версии Essentials, но как его увидеть в действии?

Идем на CLARiiON.
(предварительно настраиваем в свойствах хоста - любого один раз делается, поключение к хостам от CLARiiON-ов)
В свойствах хоста видим его виртуальные машины на данной системе хранения:

В свойствах стораджа видим виртуалки раположенные на нем:

ESX миграция с vCenter 2.5(ESX 3.5) на vSphere (ESX 4.1)

Как оказалось ничего сложного только много времени ушло.
Возможно есть другие схемы миграции...
Я делал следующим образом:
1.Поднял новый vCenter (на кластере - см. предыдущие посты)
2.Подняли хосты ESX 4.1 и добавили в vCenter.
3.удаление машин из Inventory
4.Переподключение дискового луна со старых хостов ESX на новые.



5.Добавление машин в Inventory.
6.Установка новых VM tools.

Поначалу я клонировал виртуальные машины на другой LUN, удалял виртуалки из Inventory, затем переподключал LUN к новому ESX, а там уже добавлял эти виртуалки, но это занимает много времени.

Позднее решил переподключать боевые LUNы, предварительно удалив машины из Inventory.

Непосредственно миграция заняла 2-3 дня с установкой VM tool.

Решил переформатировать все дисковые хранилища, так у ESX 4.1 Более новая VMFS 3.46(у старого VMFS 3.31 ) и привести к одинаковому виду Block size, памятуя о статье.

Заметил что при миграции некоторых виртуальных машин на ESX с одного диска на другой размер не уменьшается, хотя выставлял сжимать диск, а вот и ответ такому поведению:

http://blog.vadmin.ru/2011/02/vmfs.html

Развертывание VmWare vCenter в windows 2008 кластере

Поставил перед собой задачу развернуть VmWare vCenter 4.1 в Windows кластере для управления двумя хостами ESX4.

В моём распоряжении оказался дистрибутив VMware-VIMSetup-all-4.1.0-345042

Перед началом работ имеется:
Географически распределенный кластер Windows 2008 (на мой взгляд с Windows 2008 R2 было бы то же самое) с двумя узлами. Кластер единой копии, но с оговоркой (в данном случае это но важно) на самом деле Single Copy достигается за счет EMC Cluster Enabler, который управляет репликой между двумя независимыми хранилищами CLARiiON CX4-120 на которых реплицируются луны(Logical Unit Number) между хранилищами, и в каждый момент времени активная нода видит необходимый том на луне со своей (расположенной рядом - на том же сайте) системы хранения.
Тип кластера - набор узлов большинства (Majority node set) c file whitness share (файловым свидетелем - специальная сетевая папка) на третьем сервере, не входящем в кластер.

Шаги установки.
1.Подготавливаем SQL базу.
На SQL сервере создал пустую базу, а также создал пользователя с SQL авторизацией и предоставил ему право db_owner.

2.Настройка ODBC.
На обоих нодах кластера в ODBC( «start»->«control panel»->«administrative tools»->«Data Sources (ODBC)»->tab(«Systerm DSN») ) создаем источник данных с использованием SQL Native Client (его необходимо установить если не установлен) и проверяем подключение из под SQL пользователя к созданной базе на 1-м шаге.

3.Подготовка общего диска для кластерной группы VCenter-а.Рассмотрим на примере SAN+EMC Cluster Enabler
3.1.На данном этапе на обоих системах хранения необходимо создать одинаковые LUN-ы (одинаковый размер и одинаковый владелец Storage Processor - на обоих системах хранения должен быть либо A-процессор, либо B-процессор).
3.2.Далее необходимо включить зеркалирование этих LUNов с начальной инициализацией или без неё - решать Вам, но в любом случае нам придется LUN-источник отформатировать, что автоматически прозеркалируется на 2-й системе хранения на зеркальном луне.
3.3.Презентовать обоим узлам кластера Windows LUN с одной системы хранения (первой или 2-й не важно -главное потом следить от какой системы мы будем де-презентовать(отнимать) LUN) через обе SAN-фабрики, если таковые имеются. Этот шаг очень важен так как он нам позволит "обмануть" Windows кластер и позволит добавить новый общий диск в пул дисков Windows-кластера, а в дальнейшем мы его добавим в группу ресурсов кластера vCenter.
3.4.На активном узле Windows кластера, а точнее на том узле кластера Windows, который держит диск доступным в настоящий момент отформатировать его, задать букву и т.п. Здесь необходимо сделать так, что бы узел кластера, который является текущим владельцем диска был от узел, который находиться на одном сайте (рядом) с той же системой хранения на которой расположен этот LUN, это легко проверить, убедившись, что этот LUN-источник находиться на том же сайте что и текущий узел - держатель раздела диска Windows кластера.
3.5.В оснастке «Failover Cluster Management» на разделе «Storage» кластера Windows выбрать «Add disk» и добавить новый диск в ресурсы кластера Windows.

4.Создание кластерного ресурса.
На данном шаге через оснастку «Failover Cluster Management» необходимо создать имя (пусть в нашем случае это будет «virtualcenter.mydomain.ru») и IP-адрес виртуального узла «virtualcenter.mydomain.ru» для этого идем в «Services and Applications» - хлопаем правой кнопкой мыши и выбираем «Configure Service or Application...» далее выбираем «Generic Service» далее выбор служб для кластерного ресурса (пока можно выбрать любой сервис - потом удалим его) и указание IP-адреса кластерной группы ресурсов. Далее добавляем сюда же диск подготовленный в п.3

5.Дальнейшая подготовка кластерного диска
5.1.Отключить или деперезентовать LUN от той ноды кластера, которая находиться на другом сайте (удалена) по сравнению с сайтом активного LUNa-источника (CLARiiON-а). Нода в это время должна быть пассивной
5.2.Подключить или презентовать на другом сайте (отличном от сайта LUNа-источника) узлу кластера, от которого отключили LUN-источник на шаге 5.1, LUN-приемник зеркальной пары LUN-ов на разных CLARiiON-ах.
5.3.В оснастке EMC MirrorView/Cluster Enabler (не нужно говорить что «EMC MirrorView/CE»+«EMC Solution Enabler» с опцией EMC Base Demon» или что то в этом роде точно не помню»+«EMC Power Path»+«Navisphere Agent»+«Navisphere CLI» должны быть установлены на обоих узлах кластера Windows, а через symlmf добавлены лицензии Solution enabler-а и прописаны учетные данные со сторадж процессорами обоих CLARRiiON-ов командой вида symcfg auth add -hostname clariion-main-spa -username administrator -password password что в итоге должно проверятся symcfg auth list ) запускаем «Configure» и если у нас не было ранее сконфигурированных групп для EMC конфигурируем весь windows кластер, если жы были, то на нашей кластерной группе vCenter-а говорим «Configure CE». После чего можно проверять перебегание подготовленной кластерной группы с диска между нодами кластера Windows.

6.Установка VmWare vCenter на активный узел кластера.
Там где в настоящее время доступен подготовленный общий диск кластера vCenter. Пусть этот диск будет иметь букву N. Из шагов установки здесь нужно обратить внимание на то, что необходимо точно указывать имя ODBC источника данных, подготовленного на шаге 2 и установку производим на общий диск N.

7.Редактирование реестра.
Запускаем regedit переходим в ветку реестра «[HKEY_LOCAL_MACHINE\SOFTWARE\VMware, Inc.\VMware VirtualCenter]» и:
7.1.Находим параметр с именем «VCInstanceId» в значение которого вносим имя кластерной группы vCenter, в нашем случае это будет имя «virtualcenter.mydomain.ru»
7.2.Создаем параметр типа с именем «managedip», куда вносим IP-адрес кластерного ресурса «virtualcenter.mydomain.ru», подготовленного на 4-м шаге

8.Правка LDAP VmWare.
Для этого понадобиться оснастка ADSIEdit.msc, подключаемся к узлу кластера, указав имя узла кластера Windows, куда установили на 6-м шаге VmWare(служба «VMwareVCMSDS» должна быть на нем запущена) и подключаемся к контексту «dc=vitrualcenter,dc=vmware,dc=int», надо заметить что имя контекста «dc=vitrualcenter» не имеет никакого отношения к имени кластерной группы ресурсов «virtualcenter.mydomain.ru», это просто встроенное имя контекста LDAP каталога VmWare.



Здесь необходимо поправить во всех обведенных корневых и вложенных ветках рисунка:


во всех значениях атрибутов «vmw-vc-HealthComponentName» и «vmw-vc-URL» имя узла кластера на имя виртуального центра - «virtualcenter.mydomain.ru», если же указан localhost, то ничего менять не нужно.

9.Правка конфигурационных файлов VmWare, расположенных в «C:\Users\All Users\VMware\VMware VirtualCenter».
9.1.Файл «vpxd.cfg» открываем и внутри секции сразу после её открытия вставляем:
XXX.XXX.XXX.XXX
где XXX.XXX.XXX.XXX - это IP-адрес для «virtualcenter.mydomain.ru», сконфигурированный на шаге 4.
9.2.Файл «proxy.xml» где необходимо поправиться имя узла кластера на имя «virtualcenter.mydomain.ru», также я поправил IP-адрес в одной из секций на IP-адрес от «virtualcenter.mydomain.ru», вообще если там есть ещё другие IP-адреса то можно их удалять целиком секцией с тегом, только при этом поправить нумерацию с нуля id="0" до нужного числа в секциях и выставить правильное число секций в начальном теге _length
10.Добавление служб VmWare в кластерную группу ресурсов virtualcenter, сюда добавляем службы:
10.1.«VMwareVCMSDS» - с зависимостью от диска кластерной группы, имени virtualcenter и IP=адреса - куда установили vCenter на шаге 6.
10.2.«VMware VirtualCenter Server» - с зависимостью от службы «VMwareVCMSDS».
10.3.«VMware VirtualCenter Management Webservices» - с зависимостью от службы "VMware VirtualCenter Server».

11.На 2-м и последующих узлах кластера необходимо проделать следующее:
11.1.Установить VmWare на тот же общий диск кластера по тому же пути, остановив кластерные службы VmWare, но не весь кластер virtualcenter. Я так сделал предварительно переименовав имевшуюся уже там папку, а потом удалил новую - установленную и переименовал обратно старую.
11.2.Импортировать с первого узла всю ветку реестра «[HKEY_LOCAL_MACHINE\SOFTWARE\VMware, Inc.]», возможно что достаточно только ключа

[HKEY_LOCAL_MACHINE\SOFTWARE\VMware, Inc.\VMware VirtualCenter\volatile]
"UUIDHost"="34 38 37 33 36 32 47 42-38 39 33 38 34 30 4d 52"

Но я не заморачивался с этим
11.3.Скопировать весь каталог «C:\Users\All Users\VMware\VMware VirtualCenter» с первого узла Windows кластера в соответствующий каталог (можно предварительно сделать резервную копию) второго и последующих узлов Windows кластера, предварительно удалив там всё. На самом деле достаточно только файлы «vpxd.cfg и «proxy.xml», а также каталог SSL, но надо учитывать что без замены каталога «SSL» и реестра узлы будут работать как два независимых виртуальных центра и ESX-хосты будут теряться при перебегании vCenter-а.

12.Проверяем перебегание - всё должно работать.

Ссылки по теме
vpxd.cfg Advanced Configuration

Установка VMware Infractructure

Enabling server-certificate verification for Virtual Infrastructure Clients

Альтернативное решение от VMware vCenter Server Heartbeat

Установка vCenter на Windows 2008 R2

Supported vCenter Server high availability options

Increase the availability of vCenter Server

Trusted SSL certificates - request for peer review

Установка VMware vCenter Server 4.0 на кластер под управлением Windows Server 2008 R2

Использование MSCS для кластеризации VirtualCenter и виртуальных машин на VMware ESX.

Changing the Name of the vCenter Server

ESX 4.1 нормально поддерживает диски от ESX 3.5

Приятной неожиданностью было при тестовом перезде LUN-ов:

Отзеркалировал луны презентованные ESX 3.5 на луны таких же размеров, и подал копии "боевых" лунов на ESX 4.1 после чего на хосте в разделе Configuration -> Storage -> Datastorage диски не появились, но были видны как LUN-ы на в Configuration -> Storage Adapters, внимание тут кажется что ESX 4.1 поведет себя привычным образом при нажатии на "Add Storage..." (в Configuration -> Storage -> Datastorage), типа покажет, что видит все луны и предложит их отформатировать как ранее не использовавшиеся (галки "Scan for New Storage Devices" и "Scan New VMFS Volumes" были выставлены при пересканировании естественно, но VMFS тома не обнаруживались всё-равно).

Все, на самом деле будет не так:
Жмем "Add Storage..." далее выбираем "Disk/LUN", и..., вот тут самое интересное:



видим, что они насамом деле понимаются с файловой системой... Next



а тут, самый ожидаемый выбор, что делать с обнаруженной сигнатурой...





После этого хранилище становиться доступным



Жмем "Browse DataStore" и добавляем гостя (виртуальную машину) в Inventory, который уже был на хранилище. Все настройки машины сохранены, вплоть до сети(vmx-файл никто не менял же ))

Изменение размера диска виртуальной машины в ESX

Столько способов я точно не знал:

http://vmind.ru/2009/07/17/izmenenie-razmera-virtualnogo-zhestkogo-diska/

http://www.itpad.ru/?p=806&action=lostpassword

http://www.vmware.com/support/developer/vcli/

Перебегание виртуалной машины Directum с одного ESX-хоста на другой

При перебегании с одного ESX-хоста на другой ESX-хост тестовой виртуальной машины на ESX-кластере обычно "пропадает" один "пинг"( Echo icmp request - ping), так как происходит переключение с одного виртуального коммутатора на первом ESX-хосте на такой же виртуальный коммутатор, с такими же настройками vlan-ов на другом ESX-хосте, обновляется таблица MAC-адресов и пакеты направлявшиеся в это время на виртуальную машину просто отбрасываются на виртуальном коммутаторе первого ESX-хоста если они уже пришли в vlan, потому что гостя там уже нету просто там где он был.

Что собственно и получили при перебегании виртуального тестового сервера Directum:



По идее подобного рода "разрывы" должны корректно разруливаться самим прикладным приложением, например, отправкой повторного запроса try catch on error rise exception, но с клиентом Directum версии:



это видимо не судьба пока что.

Подробнее по vSwitch можно почитать здесь:

http://blog.vadmin.ru/2010/10/standard-vswitch-1.html

и здесь:

http://blog.vadmin.ru/2010/10/standard-vswitch-2.html

ESX гость занимает два хранилища - не понятно почему

ESX гость занимает два хранилища - не понятно по какой причине:



Уже решал это проблему, но забыл. Коллега обнаружил, что у гостя, просто, было подключено медиа (CD/DVD) на машине со 2-го storage. В свойствах гостя. Отключаем - и ... Вуаля - всё - в свойствах только один storage.

после переноса виртуальной машины на ESX остается .vmss файл

Переносили плагином svmotion на ESX виртуальные машины между дисками без выключения, при этом решил убедиться, что все файлы машин перенеслись полностью, поскольку диск располагался на системе хранения через SAN и планировалось удалить поданный LUN с целью переделки RAID-а. Оказалось, что у одной из машин не перенесся файл .vmss

Поскольку машина была в работе - на всякий случай выключил её.

Файлы вида .vmss нужны для того что бы машина находилась в состоянии "Приостановлено" ("Suspend"), и только для этого, если машина включена или выключена, то этот файл можно смело удалять. Если же машина находиться в приостановленном состоянии и вы удалите этот файл, то после запуска машина просто начнет загрузку ОС с начала и всё.

На всякий случай проверил отсутствие snapshot-ов у машины, после чего удалил файл .vmss и запустил виртуальную машину. Машина запустилась без ошибок.

Очень удобный плагин для vCenter ESX

Очень удобный плагин для миграции гостей(виртуальных машин) на хостах(серверах виртуализации) между хранилищами:

vip-svmotion-1.0

по крайней мере на ESX 3.5, пользуюсь уже около года, бывают конечно глюки и не всегда он может несколько машин сразу настроить на миграцию, приходиться настраивать по-отдельности, но не заменимая вещь - без остановки гостя переместить с одного диска на другой.

Порадовал vSphere 4.1 новыми плюшками:

http://www.vm4.ru/2010/07/vsphere-41.html?utm_source=feedburner&utm_medium=feed&utm_campaign=Feed%3A+vm4ru+%28vm4ru.+VMware+ESX%2C+Virtual+Center%2C+vSphere%2C+MS+Hyper-V%2C+Xen%2C+etc...%29&utm_content=Google+Reader

Решение проблемы с "замороженной" виртуальной машиной ESX

Помогла статья:

http://www.vmgu.ru/articles/how-to-kill-frozen-vm-esx-vsphere

http://itknowledgeexchange.techtarget.com/virtualization-pro/killing-a-frozen-vm-on-a-vsphere-esx-host/

Версия ESX 3.5

Один сервер (гостевая машина) после перезапуска оказалась в состянии когда она была запущенна, но к ней нельзя было ни подключиться, ни выключить её, ни пропинговать - ничего, хотя она был в состоянии on.

Первый способ, описанный в статье - не помог:

надо сказать, что пользователь с ролью admin не смог выполнить команду, выдалась ошибка:
VMware ESX Server Support Script 1.30
You must be root to run this script.

1-й способ:
В сервисной консоли VMware ESX нужно выполнить следующие команды:
vmware-cmd <путь к vmx-файлу виртуальной машины> getstate

для того, чтобы узнать состояние виртуальной машины (запущена / остановлена).

vmware-cmd <путь к vmx-файлу виртуальной машины> stop hard

для того, чтобы принудительно выключить ВМ.
В результате возникла ошибка:
VMControl error -999: Unknown error: SoapError: ServerFaultCode(0) : (Operation failed since another task is in progress.)

2-й способ:
помог:
В сервисной консоли VMware ESX выполнить команду:

vm-support -x

для того, чтобы вывести идентификаторы всех запущенных виртуальных машин (virtual machine IDs, VMID) и их соответствие именам ВМ.
Далее нужно ввести команду:

vm-support -X

для того, чтобы завершить виртуальную машину с заданным идентификатором и сделать дамп с отладочной информацией.
здесь ответил n + , n + , y +
Что интересно - достаточно долго (минут 10) делались всякие дампы, но в результате гостевая машина выключилась и поднялась нормально уже.
3-й способ не пробовал:
В сервисной консоли ESX выполните команду:
ps auxfww grep <имя виртуальной машины>

В результате будет выведена информация по виртуальной машине, где во второй колонке будет идентификатор процесса, реализующего ВМ (PID).
Далее нужно просто завершить процесс командой kill:

kill -9

Проблема с общим диском у нод ESX - нет проблемы

Суть проблемы собственно:

Диск подан через SAN но ноды кластера (HA и DRS) не могут переместить на него виртуальные машины, даже если Гостевая ОС в offline.

При этом при ближайшем рассмотрении оказалась картина немного другая:

У Обоих нод, диск не сконфигурирован как Storage, т.е. WWN его виден на серверах, при этом, если смотреть хранилища на кластере, через меню Databases (там где Inventory и т.д.), то там хранилище присутствует, мало того, на нем располагается один из шаблонов виртуальных машин. но при просмотре самого хранилища - на нем вообще нет ни одного файла.

После удаления шаблона из Inventory хранилище само пропало. (ESX 3.5).

Добавил отформатировал и добавил его заново.

Предполагаю что глюк был связан с тем, что ранее менял тип RAID-а для этого дискового ресурса на CLARiiON, и когда отключал, просто не заметил что в инвентори хранилище присутствует, а оно присутствовало, скорее всего, по причине шаблона. Шаблон думал что он на хранилище, а хранилища не было уже; и, когда стал подавать его заново на ноды, просто не добавил как хранилище, а только презентовал через SAN.

Просто добавил его заново.

Локальные диски на ESX 4.0 без Raw device mapping

Как бы этого не хотелось, но на ESX 4.0 с лицензией уровня Entrprise нельзя получить Raw device mapping для локального диска сервера ESX, такая возможность просто не предусмотрена интерфейсом, и видимо эта фича не зависит от лицензий.
Ссылки по теме:
http://wiki.vm4.ru/InstDetails/rdm
что интересно в примере:
http://www.vmware.com/files/pdf/performance_char_vmfs_rdm.pdf
Они используют металун - объединенный из двух лунов, один из которых состоит из 15-ти дисков. НИКОГДА НЕ ДЕЛАЙТЕ ТАК НА СИСТЕМАХ CLARiiON c 15-ти Дисковыми полками, это BAD PRACTICE, на каждой полке обязательно должен присутствовать хотя бы один Hot spare disk, исключение составляет случай если у вас есть две полки и каджая является плечом для RAID1 для другой полки.

Миграция базы данных Virtual Center c SQL Server 2005 на SQL Server 2008

Сделал практически все что написано здесь, т.е.:
VCenter 2.5.0
1.Остановил службу "VMware VirtualCenter Server"
2.Отключил базу на SQL 2005 сервере - Take Offline.
3.Скопировал файлы базы данных на новый сервер SQL 2008.
4.На новом SQL 2008 сервере примонтировал базу Attach, выбрав файл .mdf
5.У меня был сохраненный пароль пользователя с SQL аутентификацией со старого сервера - создал аналогичного, назначил ему роль sa на сервер. Если у вас отсутствует пароль на поьлзователя, то можно просто через установку удаление програм запустить Modify для "VMware VirtualCener Server", где можно заново назначить базу с новыми настройками.
6.Настройка ODBC на новый сервер:(для Native Client) Start->Administrative Tool->Data Source (ODBC)->System DSN->choose "Vmware VirtualCenter"->Press button "Configure..." -> сменить "имя сервера" на "новое имя сервера"\"имя инстранса SQL" - здесь имя инстанса не нужно указывать если оно имя по-умолчанию (типа к службе SQL в службах идет примиска MSSQLSERVER) ->Press "Next" and insert "Login ID" and "Password"->Press "Next" set CheckBox "Cnange the default database to:" and choose youre database name->Press "Next"->Press "Finish"->Press "Test Data Source..." must see "TESTS COMPLETED SUCCESSFULLY!"->Ok->Ok->Ok
7.Запустил службу "VMware VirtualCenter Server"

через "SQL Server Management Studio" видим в "Processes", что есть подключения к базе

после того как всё заработало подключил базу в настройка ODBC не через имя сервера, а через DNS алиас - всё так же запустилось