Перейти к основному содержимому

Архивация и спасение каталогов

Каталог исчезает чаще, чем кажется, и обычно без объявления. В главе о жизненном цикле закрытие описано глазами владельца: что сделать до выключения сервера. Эта глава — о другой стороне. Владелец не позаботился об архиве, решение о закрытии принято не им, или вы пользуетесь чужим каталогом и не уверены, что он доживёт до следующего года.

Главный вывод: веб-архив не спасает каталог сам по себе. Страницы он сохраняет, а описания из программного интерфейса, большие файлы и сайты, закрытые для иностранных адресов, — плохо или никак. Копию нужных наборов делают заранее и целенаправленно.

Как исчезают данные​

В 2017 году Sunlight Foundation описала восемь способов, которыми из государственных сайтов США пропадает информация. Для каталогов важны три: удаление наборов данных, удаление или переделка поисковых порталов и перенос страниц без перенаправлений. На практике это выглядит так.

Тихое удаление. Росимущество в 2023 году убрало раздел открытых данных: 24 набора, около 1 ГБ XML. Ссылки на раздел исчезли со всех страниц сайта, объявления не было. Когда это случилось, удалось установить только по Интернет-архиву: последний снимок страницы сделан в феврале 2022 года.

Выключение решением за несколько дней. Портал открытых данных Московской области data.mosreg.ru вывели из эксплуатации в марте 2019 года. Распоряжение подписали 25 марта, систему выключили 29-го, а само распоряжение опубликовали через два месяца. Архив портала никто не сделал.

«Временно, на время переезда». Российский data.gov.ru закрыли в марте 2023 года для переноса на новую платформу. Новая версия открылась только летом 2025 года и прежние данные не вернула. Подробнее — в главе о жизненном цикле.

Ликвидация владельца. При реорганизации архив переходит к правопреемнику, при ликвидации — никуда. Сайт Уставного суда Санкт-Петербурга закрыли одновременно с ликвидацией суда в 2021 году. При упразднении Ростуризма в 2022 году под угрозой оказались его поддомены, включая портал открытых данных.

Прекращение публикации вместе с архивом. Ведомство решает больше не выпускать ряд и заодно удаляет всё, что выпустило раньше. Так в 2024 году Банк России поступил со статистикой внебиржевого валютного рынка, а Росавиация убрала архив статистики перевозок с 2010 года.

Смена политики. В США в 2025 году с федеральных сайтов массово удаляли данные о климате, здоровье, международной помощи; сайт USAID отключили вместе с порталом данных агентства. Хронологию удалений ведёт Архив национальной безопасности при Университете Джорджа Вашингтона.

Закрытие чужой площадки. Коммерческие и общие хабы тоже закрываются: в 2024 году Microsoft закрыла облачную среду Planetary Computer Hub, где исследователи работали с геоданными, и пользователям пришлось срочно забирать блокноты и файлы. Риски хабов разобраны в главе об облачных хранилищах.

Во всех случаях первым признаком становится не объявление, а пропавшая ссылка.

Почему веб-архив не спасает каталог​

Интернет-архив и национальные веб-архивы обходят сайты краулером: открывают страницу, сохраняют её и идут по ссылкам дальше. Каталог данных устроен так, что этот способ многое теряет.

  • Интерфейс поверх API. Список наборов подгружается скриптом из программного интерфейса, у набора нет отдельной страницы со ссылкой на файл. Краулер видит пустую оболочку. Так был устроен единственный известный портал открытых данных Афганистана на GeoNode: в декабре 2022 года он исчез, а в веб-архиве от него осталась главная страница. Архив бюллетеней Счётной палаты России с 1996 года тоже отдаёт документы через поисковый API, и до самих PDF краулеры не доходят.
  • Большие файлы и архивы. Интернет-архив редко сохраняет ZIP и многогигабайтные файлы, а страницы, на которые мало ссылок, обходит реже.
  • Закрытость для иностранных адресов. С 2022 года многие российские государственные сайты не отвечают на запросы из-за рубежа. В 2023 году сайты Минюста и МВД в Интернет-архиве не обновлялись вовсе, сайт Минсельхоза не сохранялся около трёх лет. Если архив не может открыть сайт, копии не будет, даже если сайт работает.
  • Запрет в robots.txt. Владелец может сам закрыть сайт от архива. «Карта российской науки» так и исчезла в 2017 году: в Интернет-архиве сохранилась только главная страница.
  • Один архив на всех. Почти весь мир полагается на Интернет-архив, у которого нет устойчивого финансирования. В 2025 году у него был многомесячный сбой, и снимки многих сайтов не делались. Часть издателей в 2026 году стала блокировать его краулер, опасаясь, что через архив тексты заберут компании, обучающие модели.

Поэтому копия каталога — это не только снимок страниц в формате WARC. Это ещё выгрузка описаний через API или файл DCAT и скачанные файлы. Как это делает владелец перед закрытием, описано в разделе «Как снять снимок» главы о жизненном цикле. Тот же порядок годится и для чужого каталога.

Как бывает правильно​

Национальный архив хранит сайты государства. В Великобритании веб-архив Национального архива регулярно сохраняет сайты всех государственных органов. Когда статистическая служба ONS переделала сайт и сменила систему хранения рядов, адреса изменились, но данные не пропали: страница инструмента временных рядов ведёт на копию старого сайта в архиве. Пользователь, у которого в статье стоит старая ссылка, находит то, на что ссылался.

Закрытие с предупреждением. Microsoft в марте 2017 года объявила о закрытии хостинга кода CodePlex: с октября сайт работал только на чтение, в декабре закрылся, к закрытию выпустили руководство по переносу. Девять месяцев хватило, чтобы владельцы проектов и волонтёры сохранили всё нужное. В том же году российский сервис рекомендаций Имхонет закрылся за день, без возможности забрать свои материалы.

Копия с доказательством происхождения. Библиотечная лаборатория Гарвардской школы права в 2024–2025 годах сохранила всё, на что ссылался data.gov: около 311 тысяч наборов, 17,9 ТБ. Каждый набор упакован по стандарту BagIt вместе с метаданными из API и цифровой подписью с меткой времени, так что любой может проверить, что файл не изменён после сохранения. Архив лежит в открытом облачном хранилище Source Cooperative, к нему есть поиск, а код для таких архивов открыт.

Даже большие сервисы отступают. Google в 2024 году объявил, что с 25 августа 2025 года перестанут работать все короткие ссылки goo.gl. Волонтёры ArchiveTeam начали обходить их заранее. За несколько недель до срока Google изменил решение и сохранил ссылки, по которым ещё переходили, а отключил только неактивные. Короткая ссылка не постоянный идентификатор: её судьбу решает владелец сервиса, а не тот, кто её поставил в документ. Подробнее — в главе об идентификаторах.

Кто спасает, когда владелец не стал​

Государственные и университетские программы. Проект End of Term Web Archive с 2008 года сохраняет сайты федерального правительства США при каждой смене президента. Архив 2024–2025 годов собрали шесть организаций: Интернет-архив, ArchiveTeam, Common Crawl, гарвардская лаборатория, библиотеки Университета Северного Техаса и Webrecorder. Это 2,29 ПБ сжатых файлов WARC. Они лежат в открытом хранилище AWS под лицензией CC0, сложные интерактивные сайты отдельно доступны для просмотра на GovArchive.us.

Сообщество. ArchiveTeam — добровольцы, которые сохраняют закрывающиеся сервисы распределённым краулером. Data Rescue Project в 2025 году объединил исследовательские организации, которые сохраняют именно данные, а не страницы, и ведёт открытый каталог спасённого. Ещё раньше, в 2017 году, по тем же причинам появились DataRefuge и Climate Mirror.

В России этим занимается Национальный цифровой архив (ruarxive.org) — общественный проект, а не государственная служба. В 2022 году он провёл кампанию архивации порталов открытых данных: к маю собрал 37 сайтов, 43 ГБ в сжатом виде; самые большие слепки — порталы Минкультуры и data.gov.ru. В 2025 году, когда объявили о выводе из эксплуатации системы статистики ЕМИСС, архив сохранил сайты Росстата, его территориальных органов и саму ЕМИСС. Обязательной сдачи сайтов и данных государственных органов в архив в России нет.

У всех этих архивов одна слабость: ими можно воспользоваться, только если о них знают. Копия, о которой нет записи ни в одном каталоге, почти так же недоступна, как удалённый оригинал. Поэтому архивы публикуют вместе с описаниями — в том же формате, что и каталог данных.

Как сохранить каталог, которым вы пользуетесь​

  1. Проверьте, есть ли внешняя копия. Откройте адрес набора в Интернет-архиве и посмотрите, когда был последний снимок и сохранились ли файлы, а не только страница. Проверьте сайт и из другой страны: если он закрыт для иностранных адресов, внешней копии почти наверняка нет.
  2. Снимите описания целиком. У CKAN это постраничный обход /api/3/action/package_search, у многих порталов — общий файл DCAT или /data.json, у научных репозиториев — OAI-PMH. Описания весят мало, а без них архив файлов превращается в папку с непонятными именами.
  3. Скачайте файлы, которые вам нужны. Сохраните рядом адрес, с которого файл взят, дату и контрольную сумму. Если данные отдаются только через API, обычный архиватор их не возьмёт: нужна выгрузка постранично, например инструментом APIBackuper.
  4. Упакуйте с описанием. Для набора файлов подходят BagIt или Frictionless Data Package: в пакете лежат и данные, и манифест. Для страниц сайта — WARC или его упакованный вариант WACZ, который открывается в ReplayWeb.page без сервера.
  5. Решите, можно ли публиковать копию. Открытая лицензия на наборы разрешает выложить их копию в открытое хранилище и описать её в каталоге. Но она касается только того, на что её дал владелец. Чужие файлы, на которые портал лишь ссылается, персональные данные и условия использования самого сайта она не покрывает. Копия всего каталога целиком может задеть ещё и особое право на саму базу данных: в ЕС и России оно есть у того, кто вложился в её создание. Такие части проверяют отдельно. Если лицензии нет или она запрещает распространение, копию держат у себя и сообщают о ней архиву или владельцу.

Что из этого следует для владельца​

Если вы ведёте каталог, проще всего не дать ему стать предметом спасательной операции:

  • не закрывайте сайт от архивных краулеров и от иностранных адресов, если на нём открытые данные;
  • держите полную выгрузку описаний и файлов по постоянному адресу: её заберут и агрегатор, и архив;
  • прекращая выпуск ряда, не удаляйте то, что уже опубликовано;
  • о закрытии объявляйте заранее, на месяцы, а не на дни, и оставляйте режим «только чтение»;
  • если в стране есть национальный архив сайтов, договоритесь о сдаче копии, как это делают британские ведомства.

Пункты для чек-листа — в разделе «Перед выключением каталога».

Источники​