Перейти к основному содержимому

ML-каталоги

ML-каталог публикует наборы данных для обучения и проверки моделей машинного обучения, а часто и сами модели. Набор здесь нужен не для того, чтобы его прочитал человек или на него сослались в статье, а чтобы его загрузил в код другой исследователь и сравнил свою модель с чужими на тех же данных.

Главный практический вывод главы: почти всем, кто публикует такой набор, свой каталог не нужен. Наборы ищут на нескольких больших площадках, и туда же смотрят конференции, библиотеки и поисковики. Свой каталог оправдан, когда данные нельзя отдать на чужую площадку, а копию выпуска для долгого хранения кладут в научный репозиторий.

Масштаб это подтверждает. 12 октября 2026 года на Hugging Face было 1 085 895 наборов и 3 143 746 моделей, на OpenML — 6434 действующих набора, в архиве UCI — 689. В реестре dataportals-registry (выпуск 1.27.0 от 15 октября 2026 года) ML-каталогов всего 100. Реестр считает сайты, а не наборы: Hugging Face и Kaggle в нём — по одной записи на огромные площадки, рядом с сайтами одного бенчмарка из нескольких наборов. По числу строк реестра о размере этого мира судить нельзя.

Что делает каталог ML-каталогом​

От портала открытых данных и научного репозитория ML-каталог отличают пять вещей.

  • Набор разбит на части. Обучающая часть (train) нужна, чтобы обучить модель, проверочная (validation) — чтобы подобрать настройки, тестовая (test) — чтобы честно измерить результат. Разбиение фиксируют заранее, иначе результаты разных авторов несравнимы.
  • Набор загружают из кода. Вместо ссылки на архив на странице набора — строка кода, которая загружает его библиотекой: datasets у Hugging Face, kagglehub у Kaggle, openml у OpenML.
  • У набора есть карточка. Это описание состава, способа сбора, известных перекосов и ограничений: на каких данных модель будет работать хуже и для чего набор не годится.
  • Лицензия отвечает на вопрос об обучении. Можно ли обучать на наборе коммерческую модель, можно ли выкладывать производные наборы, нужно ли указывать источник.
  • Рядом модели и результаты. Какие модели обучены на наборе, какие результаты они показали на тестовой части. Набор, по которому ведут общую таблицу результатов, называют бенчмарком.

Если ничего из этого нет, перед вами обычный каталог, где среди прочего лежат наборы, пригодные для машинного обучения. Так бывает с порталами открытых данных: на них много таблиц, на которых учат модели, но разбиения на части и карточки с перекосами там нет.

Виды ML-каталогов​

Сто записей реестра пёстрые: это восемь разных видов сайтов. Разметка ниже сделана для этой книги по названиям и адресам записей, в самом реестре такого поля нет.

ВидЧто этоПримерыЗаписей
Коллекция организацииуниверситет, лаборатория или компания выкладывает свои наборыархив UCI, OpenML, Monash Forecasting, Yandex Research, наборы ВМК МГУ23
Хабобщая площадка, куда любой загружает наборы и моделиHugging Face, Kaggle, ModelScope, OpenDataLab, Roboflow Universe15
Площадка соревнований и бенчмарковзадача, данные, скрытая тестовая часть и таблица результатовCodabench, EvalAI, Grand Challenge, Zindi, DrivenData, Tianchi14
Сайт одного бенчмаркастраница проекта с несколькими наборами и таблицей результатовOpen Graph Benchmark, Therapeutics Data Commons, DataComp14
Государственная платформа данных для ИИнаборы, которые государство собирает или финансирует для своих разработчиковAI Hub (Корея), AIKosh (Индия), NAIRR (США), AI-on-Demand (ЕС), реестр ЦИТ (Россия)13
Каталог библиотекисписок наборов и моделей, которые загружает конкретная библиотекаTensorFlow Datasets, Keras, PyTorch Hub, NVIDIA NGC9
Список и путеводительподборка ссылок на наборы, в основном на других хабахкаталоги наборов Hugging Face по языкам, Open Corpus Registry, Post-Training Data Atlas9
Продавец данныхкомпания продаёт готовые и заказные обучающие наборыDatatang, GTS AI3

От вида зависит, что проверять. У хаба — карточку и лицензию конкретного набора, а не площадки в целом. У площадки соревнований — условия использования данных после окончания соревнования. У каталога библиотеки — откуда библиотека на самом деле скачивает файлы. У государственной платформы — кто вообще может получить данные. Продавцы данных ближе к маркетплейсам, о них — в главе о других типах.

Кто создаёт​

ML-каталоги ведут прежде всего университеты и компании. Государств здесь меньше, чем в других типах, но их доля растёт.

ВладелецЗаписей
Университеты и научные организации37
Компании31
Сообщества16
Центральные органы власти8
Общественные организации5
Регионы2
Международные организации1

По странам треть записей — международные (34). Дальше США (19), Китай (12), Россия (6), Япония и Корея (по 5), Германия и Индия (по 4). У Китая своя экосистема хабов и площадок соревнований: ModelScope компании Alibaba, OpenDataLab и OpenXLab Шанхайской лаборатории ИИ, платформа BAAI, Tianchi, Baidu AI Studio, HeyWhale и WiseModel. Российские записи — наборы Яндекса и лаборатории компьютерной графики ВМК МГУ, московские медицинские наборы MosMedData, раздел наборов портала ИИ Москвы, Medical Data Hub и реестр ЦИТ Минпромторга.

Самописных сайтов среди ML-каталогов 78, ещё 9 сделаны генератором статических сайтов Jekyll на GitHub Pages — это больше половины сайтов отдельных бенчмарков. Программный интерфейс отмечен только у 23 записей. Готовые платформы встречаются в основном у соревнований: CodaLab, Codabench, EvalAI и Grand Challenge.

Что публикуют​

  • Обучающие и тестовые наборы: тексты, изображения, речь, видео, таблицы, графы, молекулы. Большие текстовые наборы для языковых моделей занимают терабайты, табличный набор из архива UCI — килобайты.
  • Модели — файлы весов обученной сети с карточкой модели: на чём обучена, для чего годится, где ошибается. На Hugging Face моделей втрое больше, чем наборов.
  • Задачи и результаты — условия соревнования, метрика, по которой сравнивают модели, и таблица результатов.
  • Производные наборы — подвыборки, переводы, переразметка чужих наборов и синтетические данные, которые сгенерировала другая модель. Сейчас это, пожалуй, самая быстрорастущая часть, и именно у неё хуже всего с происхождением.

Отдельный случай — каталог библиотеки. TensorFlow Datasets или torchvision хранят не данные, а код загрузчика: адрес исходного файла, контрольную сумму и правила разбиения. Файл по-прежнему лежит у автора набора или на зеркале, и когда исходный сайт пропадает, ломается загрузка у всех пользователей библиотеки. Пример — в разделе «Где ломается».

Стандарты​

Карточка набора. Это текст для человека: что в наборе, как и зачем его собрали, кто размечал, какие известны перекосы, для чего набор использовать не стоит. Идею предложили в статье «Datasheets for Datasets» (Гебру и соавторы, 2018 год), похожие шаблоны — Data Cards у Google и карточки моделей (2019 год). На Hugging Face карточка — это файл README.md в репозитории набора. Вверху файла раздел метаданных: лицензия, языки, задачи, размер, а также какие файлы относятся к какой части набора. По этим полям работают фильтры поиска.

Croissant. Машиночитаемое описание ML-набора, которое ведёт консорциум MLCommons. Оно построено поверх schema.org/Dataset и добавляет то, что нужно программе для загрузки: какие файлы входят в набор, какие в них поля и типы, как набор делится на части, где метки. Файл Croissant — это одновременно обычная разметка schema.org, поэтому его читают и поисковики: Google Dataset Search по нему индексирует наборы и умеет показывать только наборы с Croissant.

  • Версия 1.0 вышла в 2024 году, версия 1.1 — 29 января 2026 года. В 1.1 добавлены происхождение данных по словарю W3C PROV-O (из чего и каким процессом получен набор или отдельное поле), условия использования через словари DUO и ODRL (например, «только для исследований, не для коммерции»), правила версий набора и контрольные суммы файлов, пометка для наборов, которые постоянно пополняются.
  • Расширение RAI (Responsible AI, «ответственный ИИ», версия 1.0 от марта 2024 года) описывает ограничения набора, перекосы, чувствительные сведения, назначение, синтетическое ли это данные и из каких наборов он сделан.
  • GeoCroissant 1.0 (январь 2026 года) — расширение для геоданных: система координат, охват, снимки.

Реализации отстают от спецификации. 12 октября 2026 года Hugging Face, Kaggle, OpenML, Harvard Dataverse и расширение ckanext-dcat отдавали описания с пометкой версии 1.0. Если вам нужны поля о происхождении и условиях использования из 1.1, заполните их сами и проверьте, что их не теряет площадка.

Требования конференций. Главная научная конференция по машинному обучению NeurIPS требует файл Croissant в своём треке о данных. В 2026 году трек называется Evaluations & Datasets, и файл нужен у каждой подачи, которая вводит новый набор. К обязательным полям Croissant в том же году добавлены минимальные поля RAI. Предпочтительные площадки по правилам трека — Kaggle, OpenML, Hugging Face и Dataverse: они создают основные поля Croissant сами, а поля RAI автор дописывает. Если набор лежит на своём сайте, файл Croissant автор делает целиком сам. Для каталога это значит, что поддержка Croissant — уже не украшение, а условие, при котором статью с новым набором примут в этот трек.

Форматы. Таблицы на хабах всё чаще хранят в Parquet: в нём есть типы колонок, а программы читают его по частям, не скачивая целиком. Hugging Face сам переводит наборы в Parquet, но не больше 5 ГБ: если набор больше, переведённая копия будет неполной. Описание Croissant Hugging Face создаёт только для наборов, которые удалось перевести, поэтому архив картинок в ZIP останется без него. OpenML исторически хранит таблицы в ARFF, формате программы Weka, и рядом отдаёт Parquet. О форматах в целом — в главе о форматах и единицах публикации.

Лицензии. Кроме обычных Creative Commons и свободных лицензий программ здесь встречаются лицензии с ограничениями использования, например OpenRAIL (запреты на определённые применения модели), пометки «только для исследований» и правила соревнований, которые часто разрешают использовать данные только в рамках соревнования. Лицензия набора не перекрывает права на исходный материал: набор картинок под CC BY не делает свободными сами картинки, если их собрали из интернета.

Раскрытие обучающих данных. С 2 августа 2025 года в ЕС действует обязанность разработчиков моделей общего назначения по закону об ИИ (AI Act, статья 53) публиковать сводку данных, на которых обучена модель. Шаблон Еврокомиссия опубликовала 24 июля 2025 года, использовать его обязательно; для моделей, выпущенных до 2 августа 2025 года, срок — 2 августа 2027 года. В сводке перечисляют основные наборы и другие источники. Чтобы такую сводку можно было составить и проверить, у набора нужны постоянное название, адрес, версия и лицензия — то есть ровно то, что даёт хорошая карточка в каталоге.

DOI. В ML-каталогах это не правило, а исключение. Hugging Face выдаёт DOI через DataCite по кнопке в настройках набора; после этого набор нельзя удалить, переименовать или скрыть без обращения в поддержку. На 12 октября 2026 года у Hugging Face в DataCite 5433 DOI наборов — около половины процента от их числа. Kaggle выдал 66 208 DOI наборов, архив UCI — 693. О том, как DOI устроены, — в главе об идентификаторах.

Платформы​

Здесь два разных выбора: опубликовать набор на чужой площадке или поставить ML-каталог у себя.

Чужие площадки​

ПлощадкаЧто этоЗагрузка в кодCroissantDOIОграничения
Hugging Face Hubоблачный хаб наборов и моделейбиблиотека datasets, API, адреса hf:// в DuckDB, pandas и Polarsсоздаётся сам для наборов, переведённых в Parquetпо кнопке, через DataCiteдоступ по запросу включает автор; бесплатное место для открытых наборов — «по возможности», для закрытых 100 ГБ
Kaggleоблачная площадка наборов, моделей и соревнованийkagglehub, Kaggle APIна странице набора и по адресу /croissant/downloadвыдаёт, префикс 10.34740до 200 ГБ на набор; файл скачивают после входа
OpenMLсвободная платформа наборов, задач и экспериментов (BSD-3)библиотека openml, APIпо адресу /croissant/dataset/ и номер наборав документации не найденв основном таблицы; задача фиксирует разбиение и метрику
Codabenchсвободная платформа соревнований и бенчмарков (Apache-2.0)—нет, это не каталог наборовнеттестовую часть можно скрыть от участников
Zenodoобщий научный репозиторийAPIнету каждой версиидо 50 ГБ на запись бесплатно

Codabench — преемник CodaLab Competitions. CodaLab перестал принимать новые соревнования в сентябре 2025 года и закрыл приём решений 31 декабря 2025 года. Задачи переносятся на Codabench без изменений, а таблицы результатов — нет: решения приходится присылать заново.

Площадки дают то, чего у своего каталога долго не будет: аудиторию, загрузку из кода, предпросмотр таблицы, Croissant и учёт скачиваний. Цена — зависимость от одной компании. О том, чем это рискует и как подстраховаться, — в главе об облачных хранилищах и хабах.

Свой каталог: что в ядре, а что нет​

Свою установку обычно делают на платформе научного репозитория или портала открытых данных и добавляют Croissant. Специальной свободной платформы ML-каталога, которую ставят у себя так же просто, как CKAN или Dataverse, нет. OpenML можно развернуть у себя, но это сложная система для экспериментов, а не только каталог.

ВозможностьHugging FaceKaggleOpenMLDataverseCKAN
Croissantядроядроядроядро с версии 6.10, раньше внешний экспортёррасширение ckanext-dcat, плагин croissant
Разбиение на частиядро: части описаны в карточкенет: только файлы набораядро: задача задаёт разбиениенетнет
Загрузка из кода одной строкойядроядроядронет: API и клиент pyDataverseнет: API и прямые ссылки на файлы
Доступ по запросуядро: автор включает запрос доступанет: только закрытый набор целикомне найденядро: закрытые файлы с запросом доступатолько закрытый набор целиком
DOIядроядроне найденядрорасширение ckanext-doi

Подробности по своим установкам:

  • CKAN. Плагин croissant в расширении ckanext-dcat появился в версии 2.3.0 (февраль 2025 года), последний выпуск расширения — 2.4.4 от 11 августа 2026 года. Описание встраивается в страницу набора и отдаётся по адресу /dataset/<id>/croissant.jsonld. Поля таблицы (RecordSet в терминах Croissant) попадают в описание, только если файл загружен в хранилище таблиц CKAN DataStore. Иначе программа узнает о файле, но не о его колонках. Про само расширение и его совместимость с версиями CKAN — в главе про CKAN.
  • Dataverse. С версии 6.10 Croissant встроен в ядро: в страницу набора встраивается краткая разметка без списка файлов, а полное описание отдаёт выгрузка. Раньше это был внешний экспортёр сообщества GDCC (последний выпуск — 0.1.6), который работал с Dataverse 6.0 и новее и встраивал описание в страницу с версии 6.2; теперь его репозиторий помечен как устаревший. На установках старше 6.10 Croissant по-прежнему ставят этим экспортёром. Harvard Dataverse 12 октября 2026 года отдавал Croissant по запросу к API.
  • GeoNetwork встраивает в страницу записи разметку schema.org. Поля Croissant для схемы ISO 19115-3 добавлены в ветку будущего выпуска 4.4.13, в выпуске 4.4.12 их нет. Это пригодится, если наборы для обучения — снимки и слои.
  • InvenioRDM и Zenodo Croissant не отдают: в коде платформы есть разметка schema.org, Data Package и RO-Crate, но не Croissant.
  • Статический сайт. Девять сайтов бенчмарков в реестре сделаны на Jekyll и лежат на GitHub Pages. Для коллекции из нескольких наборов этого достаточно, если рядом с каждым набором лежит файл Croissant, проверенный валидатором, и сами файлы — на хабе или в репозитории с DOI. Как сделать такой сайт — в главе о статических сайтах.

Государственные платформы данных для ИИ​

Государства всё чаще строят свои ML-каталоги: собирают наборы на национальных языках, по медицине, транспорту и промышленности и отдают их своим разработчикам. Устроены они иначе, чем хабы, и ближе к каталогам микроданных: главное в них — кто имеет право получить данные.

  • AI Hub, Корея. Ведёт Национальное агентство информационного общества (NIA) по заказу Министерства науки и ИКТ. На страницах наборов прямо сказано, что заявку на данные могут подать только граждане Кореи. Иностранной организации нужен отдельный договор с исполнителем и NIA, вывоз данных за границу — тоже по договору. Медицинские данные открывают в «безопасной зоне»: на сервере NIA без скачивания, а обученную модель выдают после проверки.
  • AIKosh, Индия. В 2026 году — больше 12 тысяч наборов и моделей. У набора есть оценка качества и условия использования, скачивание — после регистрации, лицензия обычно запрещает коммерческое использование. Рядом — платформа языковых наборов Bhashini Vatika.
  • США и ЕС. Пилот национального ресурса для исследований ИИ NAIRR даёт перечень наборов, моделей и вычислительных ресурсов партнёров. Европейский каталог AI-on-Demand собирает наборы, модели и инструменты проектов ЕС.
  • Россия. Реестр отраслевых моделей машинного обучения и наборов данных ведёт ФГАУ «ЦИТ» при Минпромторге. В декабре 2025 года в нём было 42 набора и 7 моделей, 12 октября 2026 года — 141 набор. Среди них есть копии чужих наборов с Hugging Face и Kaggle со ссылкой на источник в описании, а лицензия в карточке записана словами «Свободная лицензия» без названия. Москва публикует раздел наборов на портале ИИ города и наборы медицинских снимков MosMedData.

Вывод для такой платформы: если данные закрыты, открытой должна быть хотя бы карточка — с лицензией, происхождением и порядком доступа, в Croissant и schema.org. Тогда набор находят снаружи, а исследователь понимает, стоит ли подавать заявку. Как устроен доступ по заявке и защищённая среда, разобрано в главе о каталогах микроданных и в главе о доступе и рабочих процессах. Тренд в целом — в главе об ИИ и пространствах данных.

Примеры​

Хабы

  • Hugging Face Datasets — наборы и модели в одном месте, загрузка из кода, Croissant и DOI.
  • Kaggle Datasets — наборы, блокноты и соревнования.
  • ModelScope — китайский хаб наборов и моделей компании Alibaba.

Коллекции и архивы

  • UC Irvine Machine Learning Repository — один из старейших архивов ML-наборов, с API и DOI у наборов.
  • OpenML — наборы вместе с задачами, разбиениями и результатами экспериментов.

Соревнования и бенчмарки

  • Codabench — соревнования и бенчмарки со скрытой тестовой частью.
  • Open Graph Benchmark — сайт одного бенчмарка на GitHub Pages: наборы, загрузчик и таблица результатов.

Каталоги библиотек

  • TensorFlow Datasets — список наборов, которые загружает библиотека TensorFlow.

Государственные платформы

Где ломается​

Лицензия неясна или неверна. Исследование Data Provenance Initiative (Лонгпре и соавторы, 2023 год, журнальная версия в Nature Machine Intelligence, 2024) проследило происхождение больше 1800 текстовых наборов для дообучения языковых моделей. У популярных наборов на GitHub и Hugging Face больше 70% лицензий не были указаны вовсе. Там, где лицензия была, у 66% наборов на Hugging Face она относилась к другой категории, чем лицензия автора исходных данных, и обычно была свободнее. Набор перекладывают с площадки на площадку, и ограничения теряются по дороге.

Карточка пустая. По исследованию карточек Hugging Face (ICLR 2024, данные на март 2023 года) из 24 065 репозиториев наборов непустая карточка была только у 30,9%. Зато на них приходилось 95% скачиваний. Все рекомендованные разделы заполнили у 86% из сотни самых скачиваемых наборов и только у 7,9% наборов без скачиваний. Раздел о том, чем опасно использование данных, у самых популярных наборов занимал всего 2,1% текста. Хаб показывает такие наборы в поиске наравне с хорошо описанными.

Набор отозвали, а копии живут. 19 декабря 2023 года Стэнфордская обсерватория интернета нашла в наборе LAION-5B ссылки на изображения сексуального насилия над детьми. LAION в тот же день снял набор и его производные. 30 августа 2024 года вышла исправленная версия Re-LAION-5B, из неё удалено 2236 ссылок. Модели, обученные на старой версии, и копии старого набора на других площадках остались. Хороший каталог в таком случае не удаляет страницу набора, а оставляет её с пометкой «отозван», причиной и ссылкой на замену. Тогда тот, кто придёт по ссылке из статьи, узнает, что случилось.

Библиотека ведёт на мёртвый сайт. Классический набор рукописных цифр MNIST библиотека torchvision скачивала с личной страницы одного из авторов набора, Яна Лекуна. Страница начала отвечать отказом 403, и у пользователей ломалась загрузка. Разработчики библиотеки получили разрешение держать копию набора у себя, а позже поставили своё зеркало первым в списке. Спасло то, что у каждого файла в коде записана контрольная сумма: по ней видно, что файл с зеркала тот же самый. Croissant 1.1 настойчиво рекомендует записывать такие суммы для всех файлов набора, у которого есть версии.

Тестовая часть утекла в обучение. Языковые модели обучают на текстах из интернета, и опубликованные тестовые наборы попадают в обучение вместе с ответами. Тогда результат модели на бенчмарке завышен, и сравнение теряет смысл. Защищаются двумя способами. Первый — не публиковать ответы тестовой части: в наборе GLUE на Hugging Face у всех 1063 строк тестовой части задачи CoLA метка -1, а оценку считает сервер бенчмарка. Так же устроены скрытые таблицы результатов на Kaggle и Codabench. Второй — метка-«канарейка»: в каждый файл заданий бенчмарка BIG-bench вписана особая строка, чтобы составители обучающих наборов могли такие файлы найти и выбросить.

Файл только после входа. Kaggle в разметке страницы набора сам помечает файл как требующий входа (requiresSubscription: true). У Hugging Face автор может включить запрос доступа, у AI Hub данные получают только граждане Кореи, у AIKosh — после регистрации. Для человека это неудобство, для поисковика данных и сборщика — набор без файлов. Если ограничение нужно, карточка всё равно должна быть открыта, а причина и порядок доступа — написаны в ней.

Площадка закрылась. Papers with Code годами связывал статьи, код, наборы и таблицы результатов. 24 июля 2025 года Meta закрыла сервис, и адрес раздела наборов теперь ведёт на страницу популярных статей Hugging Face, где нет ни наборов, ни таблиц результатов. Последний снимок данных сохранили как архив, но ссылки из статей на страницы наборов перестали работать. Реестр каталогов узнаёт о таком не сразу: в выпуске 1.27.0 запись Papers with Code всё ещё помечена действующей и с API. Так же при закрытии CodaLab таблицы результатов не перенесли на Codabench. Вывод для автора набора: карточка на хабе — способ найти набор, а не место его долгого хранения. Копию выпуска с DOI держат в научном репозитории.

Страница пустая без скрипта. Раздел наборов на портале ИИ Москвы 12 октября 2026 года отдавал роботу пустую оболочку страницы около килобайта, а список наборов рисовал скрипт. Поисковик, веб-архив и программа-помощник такого списка не увидят. Как это лечится — в главе о находимости.

Свой сайт без API. У 78 самописных ML-каталогов реестра программный интерфейс отмечен у 13. Для ML-каталога это особенно странно: его пользователи работают из кода и браузером почти не пользуются.

Как проверить ML-каталог и набор​

Шесть вопросов к конкретному набору:

  1. Есть ли машиночитаемое описание? Запросите Croissant или найдите разметку schema.org на странице набора.
  2. Как набор разбит на части и где ответы тестовой части? Если ответы опубликованы, результаты на нём могут быть завышены.
  3. Какая лицензия и откуда данные? Лицензия должна быть названа, а для производного набора — указан исходный набор и его лицензия.
  4. Можно ли скачать без входа и без браузера? Попробуйте загрузить набор из кода или по прямой ссылке.
  5. Есть ли версия и постоянный идентификатор? DOI или хотя бы номер версии и контрольные суммы файлов.
  6. Есть ли копия вне площадки? Если набор лежит только на одном хабе, его закрытие равно удалению.
# Hugging Face: описание Croissant и список файлов Parquet по частям набора
curl -s "https://huggingface.co/api/datasets/nyu-mll/glue/croissant"
curl -s "https://datasets-server.huggingface.co/parquet?dataset=nyu-mll/glue"
# Прочитать часть набора прямо с хаба, без скачивания архива (DuckDB 0.10.3 и новее):
# у тестовой части CoLA все метки равны -1, ответы скрыты
duckdb -c "SELECT label, count(*) FROM 'hf://datasets/nyu-mll/glue/cola/test-*.parquet' GROUP BY 1"
# Kaggle: Croissant набора (ответ — переадресация на файл в облачном хранилище)
curl -sL "https://www.kaggle.com/datasets/unsdsn/world-happiness/croissant/download"
# OpenML: Croissant и описание набора с адресами файлов ARFF и Parquet
curl -s "https://www.openml.org/croissant/dataset/61"
curl -s "https://www.openml.org/api/v1/json/data/61"
# UCI: описание набора, в ответе есть DOI
curl -s "https://archive.ics.uci.edu/api/dataset?id=53"
# Dataverse: полное описание в Croissant
curl -s "https://dataverse.harvard.edu/api/datasets/export?exporter=croissant&persistentId=doi:10.7910/DVN/TJCLKP"
# DataCite: сколько DOI наборов выдал Kaggle (префикс 10.34740); у Hugging Face префикс 10.57967
curl -s "https://api.datacite.org/dois?prefix=10.34740&resource-type-id=dataset&page%5Bsize%5D=0"
# Проверить свой файл Croissant перед публикацией
pip install mlcroissant
mlcroissant validate --jsonld metadata.json

Все команды проверены 12 октября 2026 года. В ответах Hugging Face, Kaggle, OpenML и Dataverse поле conformsTo указывает Croissant 1.0. Общий список проверок — в чек-листах.

Как выбрать​

СитуацияЧто выбратьПочему
Набор к статье или бенчмарк исследовательской группыHugging Face или Kaggle, копия выпуска с DOI в Zenodo или научном репозиториитам набор ищут и загружают из кода; конференции принимают эти площадки, а копия с DOI переживёт площадку
Соревнование со скрытой тестовой частьюCodabench (общий codabench.org или своя установка) или соревнования Kaggleскрытые ответы и таблица результатов есть в ядре; свой сайт этого не даст
Данные нельзя отдать на чужую площадку: медицина, персональные данныесвой репозиторий с доступом по заявке, например Dataverse (Croissant в ядре с версии 6.10), или защищённая средазакрытые файлы с запросом доступа есть в ядре Dataverse; открытая карточка в Croissant делает набор находимым
Портал открытых данных хочет, чтобы его наборы брали для обученияне строить отдельный ML-каталог; включить плагин croissant в CKAN, отдавать таблицы в Parquet со словарём полейразработчики найдут набор через поисковик данных и загрузят без ручной работы
Коллекция лаборатории из десятка наборовстатический сайт с файлом Croissant у каждого набора, файлы на хабе или в репозитории с DOIдёшево и долговечно; так сделаны большинство сайтов бенчмарков
Государственная программа данных для ИИкаталог с открытыми карточками и доступом по заявке, Croissant, выгрузка описаний и APIзакрытые данные остаются под контролем, а описания видны снаружи и попадают в поисковики

Когда свой ML-каталог не нужен​

Почти всегда, если цель — чтобы набор нашли и использовали. Аудитория, загрузка из кода и Croissant уже есть на хабах, а свой сайт придётся годами сопровождать ради нескольких наборов. Достаточно аккуратной карточки на хабе, названной лицензии, разбиения на части и копии выпуска с DOI.

Свой каталог оправдан в трёх случаях: данные нельзя выкладывать на чужую площадку; хаб не принимает ваш вид файлов или объём; вы — государственная или отраслевая программа, которая должна учитывать и раздавать наборы многих организаций. Даже тогда карточку стоит продублировать там, где набор будут искать. Как обосновать такое решение, разобрано в главе «Своя разработка или готовое решение».

Чем отличается от соседей​

СоседГлавное отличие
Научный репозиторийглавное — неизменная версия с DOI и ссылка из статьи; в ML-каталоге — загрузка в код и сравнение моделей. Копию выпуска ML-набора часто кладут в Zenodo именно ради DOI и сохранности
Портал открытых данныхнабор не разбит на части, у описания нет раздела о перекосах; публикует орган власти, а не автор набора
Каталог микроданныхданные о людях из обследований с доступом по заявке. Государственные платформы данных для ИИ со «безопасными зонами» устроены похоже
Маркетплейснаборы продают; продавцы обучающих данных вроде Datatang — скорее маркетплейсы, чем ML-каталоги
Git-репозиториймногие бенчмарки живут в репозитории на GitHub с сайтом на GitHub Pages; это публикация без портала, о ней — глава о Git-репозиториях
Реестр моделей внутри компанииучёт своих моделей для разработки и выпуска, например в MLflow; это корпоративный инструмент, а не публичный каталог

Сводная таблица всех типов — в главе «Сравнение типов и гибриды».

Источники​