Перейти к основному содержимому

Облачные хранилища и общие хабы

Большой файл можно опубликовать без своего портала. Для этого разделяют две задачи: где лежат байты и где лежит страница, по которой файл находят. Открытый бакет решает первую. Общий хаб часто решает обе, но по своим правилам и до своего предела. Общая папка по ссылке не решает ни ту ни другую.

Свой портал нужен, когда публикаторов много или верхний каталог требует роли и сбор чужих описаний. Пока набор один и публикует одна группа, хватает страницы, бакета или хаба. В любом из этих случаев нужны постоянный адрес, лицензия и копия вне той площадки, на которую будут ссылаться. Если хаб — единственное место, где лежит набор, его закрытие равно удалению.

Три места, которые путают​

Бакет — контейнер в объектном хранилище: Amazon S3, Azure Blob Storage, Google Cloud Storage или такая же система на своём сервере (MinIO, Ceph). У каждого файла свой ключ и адрес по HTTP. Место почти не ограничено. Каталога у бакета нет: список ключей — не карточки наборов.

Общий хаб — чужая площадка, куда автор кладёт свой набор: Zenodo, Figshare, Hugging Face, Kaggle, Source Cooperative. Карточка и поиск уже есть. Хаб данных значит другое: несколько каталогов одной организации под общей вывеской. ML-хаб — вид общего хаба, на нём рядом с наборами лежат модели. Zenodo принимает данные любой дисциплины.

Общая папка — Google Drive, Dropbox, «Яндекс Диск» и похожие диски. Ссылка живёт, пока живёт учётная запись того, кто её выдал. Лицензии и постоянного адреса страницы нет, поисковик данных папку обычно не видит. Так данные не публикуют.

Открытый бакетОбщий хабОбщая папка
Что получает читательфайл по адресукарточку и файлфайл, если ссылка ещё жива
Кто платит за место и скачиваниевладелец бакета, если набор не в программе спонсорстваплощадка, пока набор в пределах её правилвладелец учётной записи
DOIнет, его выпускают отдельноу Zenodo, Figshare, Kaggle и по кнопке у Hugging Faceнет
Скачивание без входада, если бакет открыт на чтение всемобычно да; у Kaggle файл отдают после входачасто только после входа
Если это место закроетсяпропадут файлыпропадут файлы и карточкапропадёт вместе с учётной записью

Когда портал сам держит файлы в облаке, читатель этого не видит: он нажимает «Скачать» на странице портала. Здесь другое. Бакета или хаба хватает вместо портала, а страница описания всё равно нужна. Как устроено хранилище внутри портала — в главе о хранилище.

Открытый бакет​

Бакет подходит для снимков, выгрузок и моделей, которые не влезают в Git и в универсальный репозиторий. Рядом с файлами кладут то, без чего папка остаётся свалкой:

  • README.md — что это, за какой период, как обновляется, кто отвечает;
  • файл лицензии на сами данные, тем же текстом, что и на странице;
  • контрольные суммы, файлом SHA256SUMS или в datapackage.json;
  • постоянный адрес по HTTPS. Временная подписанная ссылка для статьи не годится: у Humanitarian Data Exchange она живёт минуты, подробнее в главе о хранилище.

Большие файлы кладут в форматах, которые читают по частям, не скачивая целиком. Таблицу — в Parquet. Снимок — в Cloud Optimized GeoTIFF: программа забирает нужное окно по сети. Многомерный массив, климат или результат модели — в Zarr, набор кусков с тем же свойством. Для снимков в бакет кладут ещё статический каталог STAC: JSON-файлы, по которым программа находит нужный кадр. Отдельный сервер каталога для этого не нужен, см. главу о статических сайтах.

Ссылку из статьи и из разметки schema.org ведут на страницу, которую ведёте вы. В поле прямой ссылки — адрес файла в бакете. Как собрать страницу — в главе «Как сделать публикацию находимой».

Кто платит за скачивание​

Пока бакет просто открыт на чтение, хранение и исходящий трафик оплачивает владелец. Популярный набор на сотни гигабайт может стоить заметных денег именно из-за скачиваний, а не из-за места. Это считают до объявления, а не после первого счёта.

Часть провайдеров забирает эту плату на себя, но по заявке и на срок.

Программа спонсорства открытых данных AWS оплачивает хранение в S3 и передачу данных для принятых наборов. Участие длится два года с даты начала, затем прекращается, если AWS его не продлит. Если участие заканчивают не из-за нарушения условий, на то чтобы забрать данные, дают не меньше 90 дней. Дальше плату за счёт несёте вы. Условия разрешают изменить или закрыть программу. Если в заявке не указана лицензия, данные считаются опубликованными под CC BY 4.0. Условия последний раз обновляли 11 сентября 2025 года. Принятый набор описывают файлом YAML в репозитории Registry of Open Data on AWS: это список, а не портал с карточками. Как устроен такой список — в главе о списках наборов. 14 октября 2026 года в репозитории было 1241 такое описание.

Google Cloud сам размещает короткую витрину публичных наборов и платит за их хранение. Свой набор туда не отправляют формой: документация просит написать на почту программы. Консоль и командная строка Google даже для чужого публичного набора требуют вход, а прямая ссылка API — нет. В BigQuery за хранение публичных наборов тоже платит Google, а запросы сверх первого терабайта в месяц — тот, кто их выполняет. Это удобный способ читать чужие данные внутри облака, а не опубликовать свои.

Режим оплаты трафика читателем (Requester Pays) перекладывает плату за скачивание на того, кто читает. Для открытых данных он ломает публикацию: без учётной записи облака файл не отдают. 14 октября 2026 года из 1241 описания реестра AWS хотя бы один бакет с такой пометкой был у шести наборов, среди них снимки Landsat и NAIP, лидар USGS и часть бакетов Sentinel-2. Ещё у двух наборов, Common Crawl и поездок такси Нью-Йорка, в описании стоит требование учётной записи AWS. Поле в реестре и живой запрос сверяют оба: бакет sentinel-s2-l1c в файле помечен как Requester Pays, но файл GENERAL_QUALITY.xml в тот же день открылся без ключа. Бакет usgs-landsat анонимный запрос отклонил.

Цифровая модель рельефа Copernicus на AWS в тот же день открылась без входа. Файл readme.html в бакете copernicus-dem-30m ответил кодом 200, а кусок вспомогательного файла — кодом 206: сервер умеет отдавать диапазон байтов. Лицензия набора записана в файле реестра.

Общие хабы​

Площадка уместна, когда нужная аудитория уже там, когда нужен DOI, а своего репозитория и договора с DataCite нет, или когда файл больше, чем разумно держать на своём диске. Пределы ниже — на 14 октября 2026 года. Научные репозитории с ценами Dryad и Harvard Dataverse разобраны отдельно, в главе о научных репозиториях. Карточки, Croissant и пустые описания наборов для моделей — в главе о ML-каталогах.

ПлощадкаДля какого набораПределЧто даётЧего не будет
Hugging Faceнаборы и модели, читатели уже на хабеоткрытое место бесплатного аккаунта — по возможности; закрытые наборы — 100 ГБ; один файл не больше 500 ГБкарточка, загрузка из кода, Croissant у части наборов, DOI по кнопкегарантии бесплатных терабайт; старые файлы пропадают, если историю сожмут
Kaggleто же, если набор влезает в предел200 ГБ на набор и столько же на все закрытые наборы аккаунта; в корне не больше 50 файловкарточка, блокноты, Croissant, DOIскачивания без входа
Zenodoданные к статье и выпуск репозитория50 ГБ и 100 файлов на запись; один раз до 200 ГБ по запросуDOI у каждой версииCroissant; приёма набора, разрезанного на записи ради обхода предела
Figshareто же, когда Zenodo малбесплатно 20 ГБ на учётную запись, файл до 20 ГБ, не больше 500 записейDOIбесплатного места на сотни гигабайт
Source Cooperativeбольшие открытые массивы, чаще геоданныев документации площадки — сотни терабайт; публиковать можно по заявкестраница из README.md, скачивание без входаDOI, версий для цитирования, закрытых файлов

У Hugging Face за первыми гигабайтами открытого места просят платный тариф или грант на хранение: площадка прямо пишет, что бесплатное место дают по возможности и защищаются от злоупотреблений. Файл больше 200 ГБ она просит резать на части, жёсткий потолок одного файла — 500 ГБ. История репозитория при этом не архив: место освобождают, сжимая историю, и старые файлы пропадают. DOI имеет смысл включить до того, как на набор начнут ссылаться: после этого удалить запись просто так нельзя. Подробнее — в главе об идентификаторах.

Число записей на Zenodo не ограничено. Один большой набор нельзя разрезать на много записей, чтобы обойти 50 ГБ: правила считают это обходом предела. Поиск через API не отдаёт каталог целиком — не дальше 10 000-й записи одного запроса, полной выгрузки файлом нет. Как забрать описания — в главе об интерфейсах доступа.

Figshare+ берёт разовую плату за объём сверх бесплатных 20 ГБ: 1225 долларов за каждые 250 ГБ, один файл до 5 ТБ. У университетов на своём Figshare пределы другие, их называет администратор репозитория. Для лаборатории без такого договора 500 бесплатных записей — потолок витрины, а не замена университетского репозитория.

Source Cooperative как образец​

Source Cooperative — площадка некоммерческой организации Radiant Earth. На неё стоит смотреть как на образец устройства. Набор здесь называется продуктом: папка в объектном хранилище, открытая на чтение всем, плюс README.md в корне, который сайт показывает как карточку. Что писать в карточке, решает автор. Площадка советует указать описание, лицензию отдельно для текста и для данных, примеры доступа, контакт и DOI, если он уже есть. Сама площадка DOI не выпускает.

Продукт может занимать сотни терабайт. В документации площадки RapidAI4EO указан как пример больше 100 ТБ, а Earth Genome — как публикация больше 60 ТБ обработанных снимков. На GitHub такое не положить. 14 октября 2026 года площадка была в бета-версии: скачивать может любой без регистрации, публиковать — по заявке. Код сайта открыт. Ведёт площадку Radiant Earth, деньги на развитие даёт Taylor Geospatial, место в облаке — вклад AWS и Azure. Новые данные в Azure больше не кладут. Закрыть файл или брать плату за скачивание пока нельзя: документация относит это к будущим возможностям. Продукт можно убрать из поиска сайта, но по прямой ссылке он остаётся открыт.

Версий для цитирования нет. В бакетах включено хранение предыдущих копий файла, но неактуальные копии удаляют через 90 дней. Так страхуются от случайной перезаписи. Выпуск, на который ссылаются в статье, эти копии не сохраняют.

Адрес файла постоянный и открывается без ключа. У архива data.gov, который выложила библиотечная лаборатория Гарвардской школы права, описание лежит по адресу https://data.source.coop/harvard-lil/gov-data/README.md: 14 октября 2026 года оно открылось без входа, тип ответа — текст Markdown. Сама коллекция и то, как она упакована, разобраны в главе об архивации.

Слабое место устройства в том, что у каждого продукта своя структура папок и свои примеры кода. Документацию читают каждый раз. У набора на сотни гигабайт её всё равно читают, и здесь она хотя бы лежит рядом с данными.

Интернет-архив хранит копию сайта и файла надолго, но это архив, а не каталог с поиском по полям. Большие файлы он сохраняет плохо. Как им пользоваться и почему снимка страниц недостаточно — в главе об архивации.

Когда что выбирать​

СитуацияКуда
Таблица меньше 100 МБ, важна история правокGit-репозиторий, см. главу о Git
Данные к статье, до 50 ГБ, своего репозитория нетZenodo
Набор для моделей, читатели уже на хабеHugging Face; Kaggle, если набор не больше 200 ГБ
Сотни гигабайт и терабайты, файлы читают по частямSource Cooperative или программа спонсорства облака; страница — на вашем сайте
Нужен DOI на весь большой массив, а заявку на хаб не принялиFigshare+ или репозиторий организации, который такой объём берёт
Много публикаторов, роли, сбор чужих каталоговсвой портал или уже существующий типовой, см. «Когда портал не нужен»

Пример: массив снимков без своего портала​

Контекст. Научная группа. Один набор производных снимков, около 400 ГБ, в Cloud Optimized GeoTIFF, обновление раз в год. Читатели открывают нужные окна из кода и не скачивают архив целиком. На данные будут ссылаться в статье. Своего сервера, библиотекаря и договора с DataCite нет. Национальный портал собирает описания ведомств и такой массив не разместит.

Варианты. Свой портал. Весь набор в Zenodo. Kaggle. Hugging Face на бесплатном аккаунте. Figshare+. Свой публичный бакет без спонсорства. Заявка в Source Cooperative или в программу спонсорства AWS, страница — на сайте группы.

Критерии. Файл открывается по частям без входа и без счёта читателю. У статьи есть DOI на то, что можно воспроизвести. Группа унесёт данные, если площадка закроется. Плата за трафик не становится сюрпризом. Сопровождение укладывается в работу одного человека.

Решение. Заявка в Source Cooperative: массив открытый, геоданные, читают по частям. Параллельно — страница на сайте группы с разметкой schema.org и прямой ссылкой на продукт. В Zenodo кладут документированный образец до 50 ГБ и в описании прямо пишут, что это образец, а полный массив лежит по адресу страницы. Образец получает DOI, на который ссылается статья.

Почему. В Zenodo 400 ГБ не входят: потолок разового увеличения — 200 ГБ, а резать один набор на записи ради обхода предела правила запрещают. Kaggle ограничен 200 ГБ. Бесплатное место Hugging Face для такого объёма не обещано, аудитория площадки — модели, этот снимок там не ищут. Figshare+ за объём 251–500 ГБ по тарифу октября 2026 года стоит 2450 долларов разово. Это запасной путь, если грант требует DOI на каждый файл. Свой бакет без спонсорства оставляет группу плательщиком каждого скачивания. Свой портал добавляет сервер и не добавляет ни формата файлов, ни читателей.

Когда пересмотреть. Заявку не приняли — считают трафик и подаются в программу AWS или платят Figshare+, если DOI нужен на весь массив. Появилась вторая группа публикаторов, которая не готова вести файлы в облаке. До срока спонсорства, если выбрали AWS, осталось меньше полугода, а продления нет. Читатели не могут открыть файл без учётной записи облака.

Чем это рискует​

Площадка меняет тариф, предел или правила, а иногда закрывается. Это уже случалось.

  • QRI, публичный каталог данных, в январе 2022 года объявил о закрытии. Сайт qri.cloud перестал принимать наборы, 1 апреля 2022 года его обещали отключить, пользователей попросили заранее забрать данные.
  • data.world начинался как открытый облачный каталог. Потом компания сделала ставку на корпоративный каталог, в 2025 году её купила ServiceNow, а 13 июля 2026 года открытое сообщество закрыли. Наборы сообщества больше нельзя скачать, данные участников удаляют. Корпоративный каталог при этом продолжил работать.
  • Microsoft 6 июня 2024 года закрыла Planetary Computer Hub — среду, где исследователи считали в блокнотах на инфраструктуре проекта. Каталог данных и программный интерфейс остались. В том же обсуждении Microsoft писала, что продолжает размещать больше 50 ПБ. Блокноты и файлы из личных папок хаба нужно было забрать самим: 4 сентября 2024 года оставшиеся пользовательские данные удалили.
  • Zenodo не закрывался, но в 2024 году ограничил глубину одного поискового запроса. Для того, кто хочет забрать все описания сразу, это тоже смена правил.

Четыре привычки заводят до загрузки:

  • лицензия написана в карточке и в файле рядом с данными, одним и тем же текстом, а не «как принято на сайте»;
  • выпуск, на который ссылаются, имеет DOI или другую копию вне площадки;
  • адрес страницы, которую вы считаете постоянной, ведёте вы сами, а хаб указан как место скачивания;
  • до загрузки проверено, что свои наборы можно выгрузить целиком, а не по одному, и что чужой человек скачивает файл без входа.

Описание остаётся открытым и тогда, когда сам файл большой и лежит в облаке. Срок спонсорства, если место оплачивает провайдер, записывают в карточку решения: два года AWS кончаются в известный день, а не «когда-нибудь».

Как проверить​

Проверка занимает несколько минут и не требует учётной записи облака. Ожидаемые ответы ниже получены 14 октября 2026 года.

# Открытый бакет: описание читается без ключа, ответ 200
curl -sI "https://copernicus-dem-30m.s3.eu-central-1.amazonaws.com/readme.html"

# Файл отдают по частям: ответ 206 и заголовок Content-Range
curl -sI -H "Range: bytes=0-100" \
  "https://copernicus-dem-30m.s3.eu-central-1.amazonaws.com/Copernicus_DSM_COG_10_N00_00_E006_00_DEM/AUXFILES/Copernicus_DSM_10_N00_00_E006_00_ACM.kml"

# Оплата читателем: анонимный запрос отклонён
curl -s "https://usgs-landsat.s3.us-west-2.amazonaws.com/?list-type=2&max-keys=1"

# Пометка в реестре и живой доступ могут разойтись: файл открылся без ключа
curl -sI "https://sentinel-s2-l1c.s3.eu-central-1.amazonaws.com/GENERAL_QUALITY.xml"

# На хабе описание лежит рядом с данными и открывается без входа
curl -sI "https://data.source.coop/harvard-lil/gov-data/README.md"

В первом ответе смотрят код 200 и тип содержимого. Во втором — код 206: так устроены форматы, которые читают по частям. В третьем сервер отвечает отказом и прямо пишет, что анонимные запросы к бакету с оплатой читателем не принимаются. Четвёртый запрос в тот день вернул 200, хотя в файле реестра бакет помечен Requester Pays: поэтому верят запросу без ключа, а не только полю в чужом списке. Пятый ответ — текст Markdown длиной несколько килобайт.

Дальше открывают страницу набора в браузере, где вы не вошли в площадку. Если файл не скачался, для открытых данных это уже ответ, даже когда карточка красивая. Лицензию сверяют в трёх местах: файл рядом с данными, карточка хаба, страница, на которую ведёт ссылка из текста. Расхождение этих трёх уже ломало публикацию без портала, пример — в главе «Когда портал не нужен».

Источники​