Перейти к основному содержимому

Что такое каталог данных

Каталог данных — это сервис, который описывает наборы данных и помогает их найти, понять и получить. Описание называют метаданными: название, кто опубликовал, лицензия, период, формат, адрес файла или сервиса.

Сам файл может лежать в каталоге или по ссылке в другом месте. Это главное техническое различие, к нему книга возвращается в главе о хранилище. Без описания ссылка на файл — ещё не каталог.

Портал, репозиторий, агрегатор​

Слова рядом часто путают.

Портал — каталог плюс всё, что вокруг него: новости, примеры использования, обсуждения, форма обратной связи. data.gouv.fr — портал: у набора есть страница с примерами использования и обсуждением. Страница со списком из десяти CSV — ещё нет, хотя данные она тоже публикует. Когда такого списка достаточно, разобрано в части «Публикация без портала».

Репозиторий — каталог, который хранит файлы у себя и обычно выдаёт постоянный идентификатор, чтобы на данные сослались в статье. Типичный пример — Zenodo.

Геопортал — каталог слоёв и картографических сервисов, часто вместе с картой в браузере.

Агрегатор или поисковик данных — каталог каталогов. Он не публикует свои наборы, а собирает описания чужих. Google Dataset Search и Dateno устроены так.

Реестр метаданных описывает не наборы, а структуры: словари, схемы, другие каталоги. Это другая полка, хотя слово «каталог» в названии встречается.

Хранилище и озеро данных — где байты лежат внутри организации. Каталог отвечает на другой вопрос: как эти данные найти снаружи.

Три большие семьи​

Если отвлечься от деталей, каталоги данных делятся на три семьи. Такое деление предлагалось ещё в 2020 году, и оно до сих пор помогает быстро понять, с чем имеешь дело.

Порталы открытых данныхНаучные репозиторииКорпоративные каталоги
Кто видитвсевсе, иногда часть данных по запросутолько сотрудники
Контроль над источникамипочти нет: публикуют ведомства, каталог принимает что дализадаёт требования к описанию, но не к самим даннымполный: каталог знает каждую таблицу
Главное в описаниилицензия и условия использованияпостоянный идентификатор и ссылка для цитированиявладелец, происхождение, бизнес-словарь
Как связаны с соседямисбор описаний по DCAT, API CKAN и похожим протоколамсбор по OAI-PMH, выдача DOIинтеграция с хранилищами и инструментами компании

Книга занимается первыми двумя семьями и их родственниками — геопорталами, каталогами показателей и микроданных, ML-каталогами. Подробная классификация по типам — в части III.

Чем книга не занимается​

Корпоративные каталоги вроде Collibra, Alation и DataHub ведут данные внутри компании: кто владелец таблицы, откуда она взялась, кому можно смотреть. С публичным порталом у них общее только слово «каталог». Аудитория, открытость и стандарты другие. Публичный каталог описывает файлы и сервисы, которые можно скачать. Корпоративный описывает таблицы баз данных, конвейеры обработки и отчёты, к которым доступ есть только изнутри. Внедряют его, чтобы найти, где лежат персональные данные, помочь аналитикам найти нужную таблицу и инженерам — понять, откуда в ней значения. Общих стандартов описания вроде DCAT такие каталоги почти не используют: им важнее интеграция с инструментами компании. Дальше книга про них не говорит.

Книга также не ищет конкретный набор «бюджет Москвы за 2024 год». Для этого открывают сам портал или поисковик данных. Здесь речь о том, как такие порталы устроены и как выбрать свой.

Короткая история​

  • 2007 год: восемь принципов открытых государственных данных и директива ЕС INSPIRE о пространственных данных.
  • 2009–2010: национальные порталы data.gov и data.gov.uk, распространение CKAN.
  • 2010–2011: рядом с государственными появляются общественные порталы, которые активисты делают, не дожидаясь властей. В России так появился «Хаб открытых данных» hubofdata.ru на CKAN — раньше государственных порталов.
  • 2012: re3data, реестр научных репозиториев.
  • 2014: словарь DCAT становится рекомендацией W3C. 2016: принципы FAIR о находимости и повторном использовании научных данных.
  • 2019: директива ЕС об открытых данных. 2023: регламент о наборах данных высокой ценности, которые государственные органы должны отдавать бесплатно и в машиночитаемом виде.
  • 2020-е: каталогов становится так много, что появляются каталоги каталогов и общие поисковики. В 2021 году запущен перечень российских каталогов datacatalogs.ru, в 2023 году — открытый реестр каталогов всего мира dataportals-registry (начат в проекте Common Data Index), в 2024 году на его основе — поисковик по наборам данных Dateno. Рядом растут программы, которые читают каталоги без человека.
  • 2026: флагманы первой волны меняются. data.gov уходит с CKAN на собственную разработку, data.gov.uk вместо сбора всего подряд показывает на главной отобранные коллекции, а с лета главная называется National Data Library. Прежний каталог при этом работает.

Типы, которые из этого выросли, разобраны в части III.

Источники​