Проект KDE чудом не потерял содержимое всех Git-репозиториев
25 марта 2013 года
Один из администраторов инфраструктуры проекта KDE описал (Архивная копия от 27 марта 2013 на Wayback Machine) подробности произошедшего несколько дней назад инцидента, который мог бы быть назван "Великим бедствием KDE 2013 года". В результате случившегося, разработчики KDE чуть было не потеряли содержимое 1500 Git-репозиториев проекта.
Всё началось с повреждения содержимого файловой системы Ext4 на первичном Git-сервере после неудачного перезапуска виртуальной машины после применения обновлений на одном из серверов проекта. В результате сбоя файловой системы оказалась нарушена целостность первичного Git-репозитория, содержимое которого было разрушено и данные многих репозиториев потеряны. Ситуация стала напоминать катастрофу, когда администраторы приступили к восстановлению данных из резервных копий. Дело в том, что для резервного копирования применялась практика зеркалирования Git-репозитория. Перебирающих зеркала администраторов охватил ужас - система зеркалирования успела автоматически синхронизировать ошибочные данные на все вторичные серверы, содержимое репозиториев на которых также пришло в негодность или было удалено.
История оказалась со счастливым концом - была найдена копия информации и содержимое репозиториев удалось полностью восстановить. Если бы не стечение обстоятельств, данная копия вполне могла бы не появиться и восстанавливать данные пришлось бы по крупицам. Дело в том, что за день до инцидента, в рамках переноса содержимого одного из серверов на новое оборудование, была дополнительно настроена система клонирования Git-репозиториев на ещё не введённый в эксплуатацию новый сервер. При этом синхронизация была настроена на запуск раз в 20 минут и начало очередного цикла пришлось на перезагрузку проблемного сервера, что привело к завершению запуска скрипта полной синхронизации по таймауту и выполнению следом только скрипта загрузки последней ревизии из репозитория на сбойном сервере, который также завершился неудачей так как сервер не сумел сформировать корректный набор данных. В результате, на сервере сохранилась копия репозитория в виде до перезагрузки основного Git-сервера.
Главной ошибкой проектирования стало излишнее доверие первичному серверу git.kde.org, который воспринимался в качестве эталонного и в итоге стал единой точкой отказа. Система резервирования была рассчитана на восстановление в случае полной потери данных или краха сервера, но не оценивалась с позиции частичного повреждения данных и метаданных. В итоге разработчики получили хороший урок и поспешили предупредить коллег об опасности излишнего доверия к распределённому характеру Git и использованию "git clone --mirror" в качестве способа резервного копирования.
Оказалось, что механизм самоверификации, работающий при выполнении команд git, не работает для режима "--mirror". При выполнении "git --mirror", зеркалирование выполняется без проверки целостности и без лишних предупреждений даже в случае наличия в репозитории повреждённых объектов коммитов, ошибка выводится только при выполнении git-операций, обходящих всё дерево коммитов, или при запуске "git fsck".
Источники
править- Главная ссылка к новости (http://jefferai.org/2013/03/24...) (Архивная копия от 27 марта 2013 на Wayback Machine)
Любой участник может оформить статью: добавить иллюстрации, викифицировать, заполнить шаблоны и добавить категории.
Любой редактор может снять этот шаблон после оформления и проверки.
Комментарии
Если вы хотите сообщить о проблеме в статье (например, фактическая ошибка и т. д.), пожалуйста, используйте обычную страницу обсуждения.
Комментарии на этой странице могут не соответствовать политике нейтральной точки зрения, однако, пожалуйста, придерживайтесь темы и попытайтесь избежать брани, оскорбительных или подстрекательных комментариев. Попробуйте написать такие комментарии, которые заставят задуматься, будут проницательными или спорными. Цивилизованная дискуссия и вежливый спор делают страницу комментариев дружелюбным местом. Пожалуйста, подумайте об этом.
Несколько советов по оформлению реплик:
- Новые темы начинайте, пожалуйста, снизу.
- Используйте символ звёздочки «*» в начале строки для начала новой темы. Далее пишите свой текст.
- Для ответа в начале строки укажите на одну звёздочку больше, чем в предыдущей реплике.
- Пожалуйста, подписывайте все свои сообщения, используя четыре тильды (~~~~). При предварительном просмотре и сохранении они будут автоматически заменены на ваше имя и дату.
Обращаем ваше внимание, что комментарии не предназначены для размещения ссылок на внешние ресурсы не по теме статьи, которые могут быть удалены или скрыты любым участником. Тем не менее, на странице комментариев вы можете сообщить о статьях в СМИ, которые ссылаются на эту заметку, а также о её обсуждении на сторонних ресурсах.