Проблема отловилась следующая.
Жирные блейды HP. 256 памяти на хосте. Блейдов 10 штук, виртуалок мало, сфера рапортует, что всё хорошо и памяти до дури. По её отчетам занято максимум по 40 гб на ноде.
Короче всё красиво:
Выключаем виртуалку. Пытаемся её включить - хрен. Рапортует следующее:
An error was received from the ESX host while powering on hostname.
Heap globalCartel-1 already at its maximum size of 7869288. Cannot expand.
Could not start VMX: msg.vmk.status.VMK_NO_MEMORY
Выглядит так:
Уже хорошо. Едем дальше.
Миграция с ноды на ноду обламывается на 14% с отлупом по таймауту - Operation timed out.
Выглядит так:
Те самые 14%
При попытке подключиться консолью сферы к виртуалке через раз получаем отлуп: Unable to connect to the MKS: Failed to connect to server
И дальше. Идём на хост по ssh.
Видим либо красивую картинку /bin/sh can't fork
Либо при попытке любого действия, хоть ls - отлуп can't fork
Ещё лучше:
Мониторинг хоста показывает, что из 256 гб памяти занято 250.
Перезагрузить хост через сферу - невозможно, уходит в ребут бесконечно. Перезагрузить по ssh - аналогично, не даёт, висит со стандартной желтой картинкой esxi "я ребутаюсь".
Вывести с ноды все виртуалки и опять же хоть перезагрузить попробовать - бесполезно, память занята.
Перевод хоста в режим обслуживания и обратно - без толку. Перезагрузка хоста руками - без толку, за неделю утекает всё, что уже не занято работающими виртуалками.
Путём исключений упираемся в hp-ams.
Обновление по рекомендации до 10.x ничего не даёт. Остановка ams тоже не особо спасает.
Единственное, что помогает - удалить vib целиком.
Сначала ребут любым способом, чтобы хоть shell-ом пустило.
Потом:
/etc/init.d/hp-ams.sh stop
esxcli software vib remove -n hp-ams
