Ошибка во внутреннем ПО вызвала остановку работы Google Cloud Engine на несколько часов

Утром 19 февраля нынешнего года работа сервиса Google Cloud Engine (GCE) была внезапно остановлена. Пользователи GCE испытывали серьезные трудности в работе в течение примерно двух с половиной часов.

Google присвоила инциденту порядковый номер 15045 и  описала  его на своем сайте. Указывается, что проблемы начались 18 февраля в 22:59 по западноамериканскому времени (10:00 МСК 19 февраля) и продлились до 01:31 19 февраля (12:30 МСК). В этом время виртуальные машины сервиса не могли подключиться к интернету.

Инженеры Google пришли к предварительному заключению по причинам происшествия. По их версии, внутреннее ПО по программированию виртуальной сети GCE для исходящего трафика виртуальных машин внезапно прекратило обновлять информацию по маршрутизации. Кэшированная информация временно сохраняла работоспособность сервиса, но по мере истечения ее срока годности проблемы проявлялись все сильнее.

Google считает уровень доступности сервисов GCE на протяжении последних 24 часов неприемлемым. Компания заверила клиентов, что инженеры работают над устранением причин неисправности и недопущением повторения подобных ситуаций в будущем.