Во время пролета радио не работало, и персонал в Хьюстоне не имел возможности узнать, все ли в порядке. Прошло три минуты, но сигнала не было. Потом еще минута. В ЦУПе воцарилась напряженная тишина. Когда они увидели, как космический корабль опускается в воду с тремя парашютами, многие плакали от радости. Но еще более счастливыми были те, кто приземлился.
«Хьюстон, у нас проблема!»
Пятьдесят лет назад, 17 апреля 1970 года, экипаж корабля «Аполлон-13» успешно приземлился в Тихом океане. Они должны были высадиться на Луну, но в результате аварии руководители миссии были вынуждены прервать полет и организовать сложную операцию по спасению астронавтов. Хотя возвращение из космоса завершилось благополучно, очевидная неудача серьезно повлияла на политику дальнейшей внеземной экспансии и привела к тому, что многие амбициозные планы были пересмотрены.
Триумфальная высадка астронавтов «Аполлона-11» Нила Армстронга и Эдвина (Базза) Олдрина на Луну в июле 1969 года завершила многолетние усилия Соединенных Штатов по достижению превосходства в космической гонке. Долгожданный успех был встречен с большим одобрением во всем мире и вызвал безграничный энтузиазм среди американских граждан, которые наконец-то смогли убедиться, что их страна остается ведущей державой, определяющей контуры будущего.
Миссия Apollo 12 в ноябре того же года закрепила успех: полноценная научная миссия побывала на Луне, собрала множество интересных образцов и оставила на лунной поверхности ALSEP No. 1 (Apollo Lunar Surface Experiments Package). Астронавты Чарльз Конрад и Алан Бин совершили два выхода и сняли части для дальнейшего исследования с космического корабля Surveyor 3, который прибыл туда 20 апреля 1967 года.
Во второй половине 1969 года Национальное управление по аэронавтике и исследованию космического пространства (НАСА) осознало, что программа «Сатурн-Аполлон» не будет успешной из-за сокращения финансирования: В США разразился финансовый кризис, и правительство искало пути сокращения расходов. Более того, главная политическая цель программы — опередить Советский Союз в завоевании исторических приоритетов — уже была достигнута благодаря полету «Аполлона-11», поэтому интерес к дальнейшим лунным миссиям начал ослабевать.
Жители Нью-Йорка приветствуют экипаж космического корабля «Аполлон-11», возвращенного НАСА с Луны 13 августа 1969 года. S70-17433
О завершении «космической гонки» заявили и советские эксперты. Конструктор пилотируемых космических кораблей и космонавт Константин Петрович Феоктистов, посетивший США с официальным визитом в октябре 1969 года, подвел итоги десятилетия:
«Это был первый этап космического полета. Я думаю, что программы освоения космоса вступили во вторую фазу, и, наверное, можно сказать, что на этом этапе советские и американские ученые активно помогают друг другу.
Конечно, до полноценного международного сотрудничества было еще далеко, но ситуация менялась, и все громче звучали голоса критиков, осуждавших требования НАСА и призывавших сократить расходы, в том числе за счет привлечения иностранных партнеров, заинтересованных в коммерческом использовании космоса. К сожалению, программа «Сатурн-Аполлон» теряла все больше и больше общественной поддержки. Если летом 1965 года только треть американцев выступала против развития внеземной экспансии на Луну, то четыре года спустя, во время ее величайшего триумфа, 53% налогоплательщиков отказались поддержать расходы на новые проекты, включая подготовку к полету на Марс.
Третья экспедиция
Астронавты «Аполлона-13» должны были приземлиться возле древнего кратера Фра Мауро в северо-восточной прибрежной области Маре Когнитум, входящей в состав Океана Процелларум.
Состав экипажа для полета несколько раз менялся и был окончательно утвержден 6 августа 1969 года. В основной экипаж входили Джеймс (Джим) Ловелл, Томас (Кен) Маттингли и Фред Хейс; в резервный — Джон Янг, Джон (Джек) Свайгерт и Чарльз (Чарли) Дюк. Запуск «Аполлона-13», запланированный на март 1970 года, был отложен на месяц, чтобы учесть сокращение бюджета и более тщательно организовать миссию.
Подготовка уже шла полным ходом, но за неделю до запуска астронавт Чарльз Дьюк из резервного экипажа заболел краснухой, которой он случайно заразился от друга своего сына. Поскольку шесть астронавтов находились в постоянном контакте друг с другом, необходимо было проверить их иммунитет. Оказалось, что у Томаса Маттингли его не было. Из-за особенностей ситуации не было возможности заменить весь экипаж запасными, как это принято в космических полетах, поэтому вместо Мэттингли сразу же полетел Свайгерт. Стоит отметить, что Ловелл не согласился с этим решением и предложил отложить полет еще на месяц, чтобы медицинская бригада могла проверить работу пилота, но руководство НАСА отклонило эту идею, поскольку отсрочка обошлась бы в дополнительные 800 000 долларов. Вопреки опасениям, Маттингли не заболел и позже принял участие в миссии «Аполлон-16».
Первоначальный состав экипажа «Аполлона-13» (слева направо): командир Джеймс Лавелл, пилот командного модуля Томас Маттингли и пилот лунного модуля Фред Хейс, декабрь 1969 года, НАСА. S69-62224
Последний экипаж космического корабля «Аполлон-13», слева направо: командир Джеймс Лавелл, пилот лунного модуля Джон Швайгерт и пилот лунного модуля Фред Хейс, апрель 1970 г. НАСА. S70-36485
Ракета «Сатурн-5» (#SA-508), построенная для миссии «Аполлон-13», была идентична своим предшественникам, но имела некоторые отличия. Эксперты хотели проверить возможность увеличения заправки с учетом более масштабной миссии на следующем этапе, поэтому масса всей сборки была немного увеличена, а тяга двигателей первой ступени, напротив, уменьшена в пределах нормы.
Apollo 13 состоял из командно-сервисного шаттла Odyssey (CSM-109) и лунного модуля Aquarius (LM-7). Названия модулей были выбраны Ловеллом, который хотел объединить древнюю мифологию с современностью в символизме миссии. Происхождение образа Водолея иногда связывают с египетским богом Хапи, который олицетворял ежегодный разлив Нила и, согласно одному из мифов, передавал сельскохозяйственные знания жителям берегов Нила. Одиссей — знаменитый древнегреческий герой, воспетый Гомером и известный своим опасным десятилетним путешествием. Ловелл также указал на недавний выход фильма Стэнли Кубрика «2001 год: космическая одиссея», основанного на одноименном фантастическом романе Артура Кларка.
Взрыв бака
Проблемы с оборудованием в отсеке экипажа Odyssey начались на третий день полета, утром 13 апреля, через 47 часов после взлета. Когда экипаж отоспался и вернулся к работе, ЦУП приказал выполнить стандартную процедуру смешивания содержимого водородных и кислородных баллонов. Проблема заключается в том, что сжиженные газы расслаиваются в условиях невесомости, поэтому датчики уровня дают ошибочные и обычно хаотично колеблющиеся данные. В каждом резервуаре находились нагреватели и две электрические воздуходувки для перемешивания содержимого, отделения газовой фазы от жидкой и доведения показаний до нормального уровня.
После процесса смешивания сработал датчик максимального давления в кислородном баке 2, что было зафиксировано на приборной панели «Одиссея» и на мониторах в рубке управления. Однако аналоговые датчики давления и температуры продолжали выдавать нормальные показания, поэтому отказ был признан некритичным.
Камера обслуживания командно-контрольного модуля НАСА «Аполлон» MSFC 68-MS-G 1336E
Расположение баков для водорода (водородный бак) и кислорода (кислородный бак) и топливных элементов (топливный элемент) в служебном отсеке космического корабля «Аполлон» Раздел 4 history.nasa.gov.
В диспетчерской работали операторы белой смены под руководством очень опытного Юджина (Джина) Кранца, человека, которому вскоре предстояло организовать спасение астронавтов, что сделало его одним из самых известных людей в США.
На пятьдесят шестом часу полета, в 20:24 по хьюстонскому времени, экипаж «Аполлона-13» выступил по телевидению, чтобы рассказать о своей жизни на борту, который к тому времени преодолел 330 000 километров. Однако усилия астронавтов оказались тщетными: никто из приглашенных вещателей не захотел прерывать регулярную трансляцию ради очередного полета на Луну. Например, NBC показал комедийное шоу Rowan & Martin`s Laugh-In, а CBS — повторный показ I Love Lucy.
В этот момент сотрудники «белой» смены решили провести еще один полный микс в баках сервисного отсека в конце шоу. Джон Свайгерт возглавил процесс в 55:53 полетного времени. Через несколько секунд астронавты услышали взрыв, сопровождаемый сотрясением корабля.
Сначала Лоуэлл подумал, что Хейс открыл декомпрессионный клапан, выравнивающий давление между командным и служебным блоками и лунным блоком, как он часто делал ради забавы, испугав своих коллег громким шипением кислорода. Но теперь Фред был в таком же замешательстве, как и его товарищи.
«Я думаю, у нас здесь проблема». «, — сказал Свайгерт. MCC ответил: «Это Хьюстон. Повторите, пожалуйста». Ловелл взял управление на себя и сообщил: «Хьюстон, у нас проблемы!».
Если вы меняете конфигурацию каждые несколько секунд, как в этом примере, это очень медленно. Но во многих случаях на изменение конфигурации или запуск служб уходят минуты — несколько секунд не помогут.
Цитата о любви
1. «Любовь, ты движешь миром».
Эта знаменитая неверно истолкованная цитата относится к известной сказке Льюиса Кэрролла «Алиса в стране чудес». Одна из героинь книги, герцогиня, случайно произносит эту цитату после того, как шлепнула своего ребенка за чихание. В данном контексте автор использовал это мудрое изречение с сарказмом.
«А мораль этой истории такова: «Любовь, любовь, любовь, ты заставляешь мир крутиться», — сказала герцогиня.
Кто-то сказал, что самое главное — не лезть не в свое дело, — прошептала Элис.
Так что это одно и то же», — сказала герцогиня.
Цитаты из фильмов
2. «Элементарно, мой дорогой Ватсон».
Эта фраза известна во всем мире как фраза Шерлока Холмса и считается столь же характерной для знаменитого британского сыщика, как его трубка и шляпа. Однако Холмс не говорил «Элементарно, мой дорогой Ватсон» ни в одном из 56 рассказов и четырех пьес Конан Дойля. В фильмах, однако, эта фраза встречается очень часто.
Слова «Элементарно» и «мой дорогой Ватсон» встречаются в рассказе «Горбатый» в непосредственной близости друг от друга, но не произносятся вместе. В длинном диалоге Ватсон восклицает «Отлично!» после блестящей дедукции Холмса, на что Холмс отвечает «Элементарно!».
Эта фраза впервые появилась в книге «Журналист Псмит» английского писателя П. Вудхауса, а также в фильме «Шерлок Холмс» 1929 года, возможно, для того, чтобы сделать персонажей более запоминающимися.
3. «Хьюстон, у нас проблема».
В субботу 11 апреля 1970 года астронавты Джим Ловелл, Джон Свигерт и Фред Хейс были выведены на орбиту на космическом корабле «Аполлон-13». Через несколько дней произошла авария, в результате которой экипаж лишился источника света, воды и энергии.
Члены экипажа сообщили о технических проблемах на базу в Хьюстоне: «Хьюстон, у нас проблема».
В фильме, основанном на этих событиях, фраза была использована в настоящем времени для усиления драматизма. Сейчас оно используется для обозначения любой проблемы, часто с юмористическим смыслом.
Цитаты из Библии
4. «Бог помогает тому, кто помогает себе сам».
Эта фраза цитируется как библейский отрывок, хотя сама фраза никогда не появлялась ни в одном переводе этой книги. Говорят, что эту фразу также произнесли знаменитый американец Бенджамин Франклин и британский теоретик Алджернон Сидни.
Идея заключается в том, что божество не может заменить действия самого человека.
Интересно, что это предложение противоречит тому, что говорит Библия, согласно которой единственное спасение можно найти в Боге, который «спасет беспомощных».
5. «Деньги — корень всех зол».
Это предложение является неправильной интерпретацией фразы «Любовь к деньгам — корень всех зол», приведенной в Новом Завете апостолом Павлом.
Даже это предложение является искаженным переводом греческого предложения, в котором говорится, что жадность может привести к различным проблемам, а не о том, что все зло кроется в любви к деньгам.
Эта цитата, вероятно, приобрела значение во время промышленной революции, когда общество сосредоточилось на накоплении богатства.
«Мы находились на расстоянии 320 000 километров от Земли и знали, что у нас закончился кислород. Последний топливный элемент скоро отключится, и мы потеряем всю энергию. Что вся двигательная система отключится. У нас были большие проблемы», — вспоминает капитан.
Data plane и Control plane
У вас дома наверняка есть электронные устройства, работающие с пультом дистанционного управления, например, телевизор. Экран телевизора — это та часть телевизора, которая непосредственно выполняет функцию. Пульт дистанционного управления представляет собой пользовательский интерфейс — слой управления. Он используется для управления и настройки службы. В облаке мы стараемся разделить уровень данных и уровень управления для тестирования и разработки.
Пользователи обычно не видят сложности слоя управления. Однако ошибки проектирования и реализации являются наиболее распространенными причинами массовых отказов. Именно поэтому мои советы посвящены плоскости управления — иногда явно, иногда нет.
История одной неприятности
В июле 2012 года Северная Вирджиния пережила сильный шторм. В центрах обработки данных есть средства защиты, дизельные генераторы и тому подобное, но по случайному совпадению в одном из центров обработки данных в одной из зон доступности (AZ) в районе Северной Вирджинии пропало электричество. Электричество было быстро восстановлено, но для возобновления работы потребовалось несколько часов.
Я объясню причины этого на примере одной из самых важных служб, Classic Load Balancer (CLB). Работает это просто: когда вы запускаете новый балансировщик нагрузки, в каждой зоне доступности создаются отдельные экземпляры, IP-адреса которых разрешают DNS.
Если один из экземпляров выходит из строя, сообщение отправляется в специальную базу данных.
Затем запускаются следующие процессы: Удаление записей из DNS, запуск нового экземпляра и добавление нового IP в DNS.
Примечание: Так работала система раньше, тогда как сегодня она принципиально иная.
Все очень просто — ломать ничего не нужно. Но при массовом сбое, когда тысячи экземпляров падают одновременно, в базе данных накапливается огромное количество сообщений, которые необходимо обработать.
Но бывает и хуже. Плоскость управления представляет собой распределенную систему. Из-за ошибки появились дубликаты, и тысячи записей в базе данных выросли до сотен тысяч. С ним было очень трудно работать.
Если в одном из них происходит сбой, весь трафик почти сразу переходит на уцелевшие компьютеры, и нагрузка удваивается (в примере для простоты приведены только две зоны доступности).
Если ресурсов не хватает, количество живых случаев автоматически увеличивается. Этот процесс занимает относительно много времени. Все происходит в большом количестве и одновременно с огромным числом экземпляров — свободные ресурсы зоны доступности исчерпаны. Начинается «гонка» за ресурсами.
В Северной Вирджинии автоматизация не смогла устранить массовое отключение, и технические специалисты восстанавливали услуги вручную (с помощью скриптов). Такие аварии случаются редко. Во время брифинга были заданы вопросы о причине перебоев в работе, и было принято решение о том, что ситуация не должна повториться, а весь сервис должен быть изменен.
Восемь паттернов, о которых я расскажу, являются ответами на некоторые из этих вопросов.
Примечания. Это наш опыт проектирования услуг, а не универсальная мудрость для всеобщего использования. Закономерности применимы к конкретным ситуациям.
Некоторые схемы могут противоречить друг другу — это нормально. Даже внутри AWS разные команды разработчиков используют принципиально разные подходы к решению схожих задач. Основная идея статьи — показать, как это происходит. Выбор всегда остается за вами. Если у вас другая ситуация, просто не слушайте наши советы. Используйте или критикуйте шаблоны с пользой для дела!
Изоляция и регулирование
Существует множество подходов к минимизации последствий сбоев. Один из них — ответ на вопрос «Как сделать так, чтобы во время сбоя и устранения проблемы пользователи, которые не знали о проблеме, не узнали о ней?».
Наш огромный бэклог содержит не только сообщения об ошибках, но и другие сообщения, например, о масштабировании или запуске нового балансировщика. Эти сообщения необходимо разделить по функциональным группам: отдельная группа сообщений о восстановлении после сбоя, отдельная группа сообщений о запуске нового балансировщика.
Предположим, что десять пользователей обнаружили проблему — один из узлов балансировщика вышел из строя. Службы как-то работают с оставшимися ресурсами, но проблема заметна.
У нас есть десять недовольных пользователей. Появляется одиннадцатый — он не знает о проблеме, а просто хочет новый балансир. Если его запрос находится в очереди, он, вероятно, не будет ждать. После завершения других процедур обработки запрос считается исчерпанным. Вместо десяти разочарованных пользователей у нас будет одиннадцать.
Чтобы предотвратить это, определенные запросы приоритезируются, т.е. ставятся в начало очереди, например, запросы на создание новых ресурсов. В случае массового сбоя относительно небольшое количество таких запросов не повлияет на время восстановления ресурсов других клиентов. Но в процессе восстановления мы ограничим количество пользователей, которых затронула проблема.
