Перейти к основному содержимому

Карта возможностей

Порталы различаются не названием, а набором возможностей. Эта глава — карта всей части: какие возможности бывают, какие нужны любому каталогу, какие включает тип каталога или конкретная задача и у каких платформ каждая возможность есть в ядре, в расширении или нигде. Подробности о каждой возможности — в отдельных главах.

Коротко:

  • Шесть вещей нужны любому каталогу, даже статическому сайту из десятка наборов: постоянный адрес, лицензия у каждого набора, дата обновления и контакт, выгрузка всех описаний, разметка для поисковиков и доступ к описаниям без регистрации.
  • Остальное включает тип каталога. Научному репозиторию нужны DOI и версии, геопорталу — каталожный сервис, каталогу показателей — SDMX, каталогу микроданных — закрытые файлы при открытом описании, ML-каталогу — версии и описание в Croissant.
  • Тип — не единственная причина. Вышестоящий портал, грантодатель, закон, число наборов и публикаторов делают возможность обязательной для каталога любого типа.
  • Обязательную возможность выгоднее брать из ядра платформы. На живых каталогах она есть у большинства установок, если она в ядре, примерно у трети — если её даёт расширение, и у единиц процентов самописных сайтов.

Как пользоваться картой​

  1. Отметьте минимум: он одинаков для всех.
  2. Найдите свой тип каталога в таблице «Что нужно в каких случаях» и выпишите строки «обязательно» и «желательно».
  3. Пройдите по внешним причинам: каждая может поднять возможность с «желательно» до «обязательно».
  4. Для каждой обязательной возможности посмотрите, у каких платформ она в ядре, у каких в расширении и у каких её нет.
  5. Запишите и отказы, с причиной. Как превратить список в техническое задание и выбор платформы — в главах «Принципы выбора набора функций» и «От функций к платформе».

Если тип каталога ещё не ясен, начните с маршрутной карты или с классификации каталогов.

Что такое возможность​

Возможность каталога — то, что каталог умеет делать для кого-то: показать набор человеку, отдать описания программе, выдать идентификатор для статьи, закрыть файл от посторонних. Это не пункт меню и не название модуля. Одна и та же возможность устроена по-разному: DOI может выдавать сама платформа, расширение к ней или чужой репозиторий, куда кладут копию.

У каждой возможности есть адресат — тот, чью задачу она решает:

  • человек на сайте — поиск, предпросмотр, понятное описание, кнопка «Цитировать»;
  • программа — вышестоящий портал, поисковик данных, сборщик, сервис на данных. Ей нужны выгрузки, протоколы и API;
  • владелец и редакция — роли, проверка перед публикацией, статистика, цена сопровождения.

Каталог, сделанный только для первого адресата, хорошо выглядит, но его не видят ни агрегаторы, ни поисковики. Поэтому в минимуме ниже половина пунктов — для программ.

Группы возможностей​

ГруппаЧто входитНа какой вопрос отвечаетГлава
Описание данныхобязательные и предметные поля, свои поля, словарь полей таблицыможно ли по описанию понять, что внутри и можно ли этим пользоватьсяПолнота метаданных
Обмен описаниямиDCAT, schema.org, отраслевые форматы: ISO 19115, DataCite, DDI, SDMX, Croissantсмогут ли другие системы прочитать описанияЭкспорт метаданных
Машинный доступAPI поиска, выгрузка всех описаний, доступ к части данных, лента измененийможет ли программа забрать каталог и данные без человекаAPI и выгрузка
Хранениефайлы в каталоге, ссылки наружу, таблица в базедоступен ли файл, пока жив каталог, а не сайт источникаХранилище
Цитируемостьпостоянный адрес, DOI, версии, готовая ссылкаоткроет ли ссылка тот же набор через годыИдентификаторы, Цитирование
Управлениеорганизации, роли, модерация, закрытые файлы, регистрациякто публикует, кто проверяет, кто видит файлДоступ и процессы
Эксплуатацияспособ запуска, обновления, расширения, людисколько стоит запустить и сколько — содержать годамиРазвёртывание
Прочеепоиск и фильтры, предпросмотр, языки, сбор чужих каталогов, статистика, обратная связьудобно ли людям и растёт ли каталог вместе с задачейДругие возможности

Минимум для любого каталога​

Эти возможности нужны и национальному порталу, и странице исследовательской группы. Без них каталог либо не виден, либо бесполезен.

ЧтоЗачемГлава
Постоянный адрес набора и файлана набор ссылаются статьи, отчёты и другие каталоги; адрес не меняется при правке описания и переезде сайтаИдентификаторы
Лицензия у каждого наборабез неё набор нельзя законно использовать, даже если он скачиваетсяЛицензии
Дата обновления и контактпо дате видно, жив ли набор; по контакту есть кому сообщить об ошибкеПолнота метаданных
Выгрузка всех описанийпо ней каталог собирают вышестоящий портал и агрегаторы; листать поиск по страницам им неудобно и ненадёжноAPI и выгрузка
Разметка schema.org и карта сайтапо ним набор находят обычные поисковики и Google Dataset SearchЭкспорт метаданных
Описания без регистрации и капчииначе автоматический сбор не работает или ломается при каждом обновлении защитыAPI и выгрузка

Выгрузка может быть простой. У небольшого сайта это один файл data.json или datapackage.json, а не полный профиль DCAT-AP. Тот же минимум записан первым разделом чек-листа требований.

Каталог без этого минимума — частая история и у крупных порталов. В ноябре 2024 года портал Москвы data.mos.ru не отдавал ни разметку schema.org, ни DCAT, и его наборов не было в поиске по данным, а небольшие общественные порталы с разметкой стояли в выдаче первыми. Подробнее — в главе об экспорте метаданных.

Что нужно в каких случаях​

«Обязательно» значит: без этого каталог не выполнит свою задачу. «Желательно» — заметно помогает, но каталог полезен и без этого. «Не нужно» — для этого типа возможность лишняя или её закрывает другой инструмент. «От сотен наборов» — при десятках хватает страниц и файла описаний; свой API поиска заводят, когда наборов становится много. Те же пороги записаны в чек-листе требований.

ВозможностьПортал открытых данныхНаучный репозиторийГеопорталКаталог показателейКаталог микроданныхML-каталогНебольшой сайт
Выгрузка всех описанийобязательнообязательнообязательнообязательнообязательнообязательножелательно
Разметка schema.orgобязательнообязательножелательножелательножелательнообязательнообязательно
Экспорт в DCATобязательножелательножелательножелательножелательноне нужножелательно
Отраслевой форматне нужнообязательно: DataCite и OAI-PMHобязательно: ISO 19115 и CSW или OGC API Recordsобязательно: SDMX или машинный доступ к таблицамобязательно: DDIобязательно: Croissantне нужно
API поискаот сотен наборовот сотен наборовот сотен наборовжелательноот сотен наборовот сотен наборовне нужно
Доступ к части данных без скачиванияжелательноне нужнообязательнообязательножелательножелательноне нужно
Файлы в самом каталогежелательнообязательноне нужноне нужножелательножелательноне нужно
DOIне нужнообязательноне нужноне нужножелательножелательноне нужно
Версиижелательнообязательноне нужножелательножелательнообязательноне нужно
Экспорт цитированияжелательнообязательноне нужножелательножелательножелательножелательно
Закрытые файлы при открытом описаниине нужножелательноне нужноне нужнообязательножелательноне нужно

Почему так:

  • Портал открытых данных живёт в цепочке «город → регион → страна → общий поисковик». Без DCAT и выгрузки описаний его не соберёт вышестоящий портал. API поиска нужен, когда наборов сотни и больше: городу с тридцатью наборами хватает страниц и файла описаний. Файлы у себя желательны, потому что внешние ссылки умирают: при полной выгрузке data.gov.uk в 2023 году около 10% ссылок на файлы не открывались. DOI здесь обычно избыточен: данные обновляются, и вместо версий с идентификаторами достаточно архива прошлых файлов.
  • Научный репозиторий нужен, чтобы на данные сослались в статье. Поэтому обязательны DOI, версии и готовая строка цитирования — и у маленького репозитория тоже, если на версию ссылаются. Файлы должны лежать в самом репозитории: ссылка в статье не может зависеть от чужого сайта. Закрытые файлы нужны не всем, но часто: эмбарго до выхода статьи, данные о пациентах.
  • Геопортал описывает слои и сервисы. Отраслевой язык — ISO 19115 и каталожный сервис CSW или OGC API Records; это обязательно и при небольшом числе слоёв. Доступ к части данных — это картографические сервисы WMS, WFS и OGC API: без них слой можно только посмотреть на карте. Хранить файлы у себя не обязательно: данные обычно уже лежат в картографическом сервере.
  • Каталог показателей отдаёт не файлы, а показатели с разрезами, поэтому главное — выборка по годам и территориям. Без SDMX или хотя бы машинного доступа к таблицам с описанием показателя каталог остаётся конструктором в браузере. Выгрузку описаний здесь заменяет полный список таблиц или рядов с методикой. Версии желательны: показатели пересматривают, и аналитику нужно знать, на какой выпуск он опирался.
  • Каталог микроданных описывает обследования, а сами записи о людях выдаёт по уровням доступа: описание в DDI видно всем, файл — по заявке. Хранить файлы у себя нужно, если вы сами их выдаёте; библиотека микроданных Всемирного банка в основном ведёт во внешние репозитории. Доступ к части данных здесь — онлайн-таблицы, которые считают распределения, не выдавая записей, как в REDATAM.
  • ML-каталог отдаёт наборы, на которых сравнивают модели. Результаты сравнимы, только если набор и его деление на обучающую и тестовую части не менялись, поэтому версии обязательны. Описание в Croissant требует трек данных конференции NeurIPS у каждой подачи с новым набором, а Kaggle, OpenML, Hugging Face и Dataverse делают его сами. Закрытые файлы — это доступ по запросу, как у части наборов на Hugging Face.
  • Небольшой сайт с оперативными данными обходится без API поиска и без DOI. Поисковикам нужна разметка schema.org, иначе набор не найдут. Если на данные нужно сослаться как на неизменную версию, это уже задача научного репозитория: DOI обязателен при любом размере, и проще всего получить его в общем репозитории.

Что делает возможность обязательной для любого типа​

Таблица выше — ориентир, а не закон. Региональный портал, который обязан отдавать метаданные национальному, делает DCAT обязательным, даже если для его типа стоит «желательно». Ниже — причины, которые поднимают возможность до «обязательно» независимо от типа каталога.

ЕслиТо обязательноГлава
Ваши описания собирает вышестоящий порталDCAT в профиле, который принят в стране (DCAT-AP, DCAT-US), и устойчивый адрес выгрузкиЭкспорт метаданных
Данные входят в наборы высокой ценности ЕС (регламент 2023/138)API и массовая выгрузка, лицензия не строже CC BY 4.0API и выгрузка
Слои входят в инфраструктуру пространственных данных страныописания по ISO 19115 и каталожный сервисГеопорталы
Грантодатель или журнал требует ссылку на данныеDOI, версии, экспорт цитированияИдентификаторы
Набор сопровождает статью в треке данных NeurIPSописание в CroissantML-каталоги
Наборов сотни и большеAPI поиска, поиск по тексту описаний и фильтрыДругие возможности
Публикует больше одной командыорганизации и ролиДоступ и процессы
Публикуют внешние людимодерация до выхода в поиск, регистрация по приглашениюДоступ и процессы
Данные персональные, лицензируемые или чувствительныезакрытые файлы при открытом описании, журнал заявокДоступ и процессы
В стране несколько официальных языков или аудитория международнаяязыки интерфейса и описанийДругие возможности
Вы собираете чужие каталогисбор по расписанию из DCAT, API CKAN, CSW, OAI-PMHФедерации и агрегация
Закон или отраслевой справочник требует реквизит, которого нет в схемесвои поля описанияПолнота метаданных
Каталог должен прожить десять летфайлы у себя, платформа с понятной политикой обновлений, план закрытияРазвёртывание

Работает и обратное: возможность из столбца «обязательно» можно вычеркнуть, если её закрывает кто-то другой. Геопортал не держит у себя файлы, если слои живут в картографическом сервере. Исследовательская группа не заводит свои DOI, если кладёт выпуск в Zenodo. Город не делает свой API поиска, если его наборы уже собирает региональный портал.

Где возможность живёт в платформах​

Одна и та же возможность в одной платформе есть в ядре, в другой появляется только с расширением, в третьей её нет совсем. В таблицах этой части четыре пометки:

  • ядро — возможность есть в самой платформе;
  • расширение — её добавляет отдельный модуль, у которого свой автор и свои риски при обновлении;
  • нет — платформа этого не умеет, нужна другая платформа или своя разработка;
  • не проверено — по документации октября 2026 года клетку нельзя было закрыть.

Сводка по главам этой части:

ВозможностьВ ядреЧерез расширение или настройкуНет
Экспорт в DCATDKAN, udata, Piveau, Huwise (OpenDataSoft), Socrata, ArcGIS Hub, InvenioRDM, GeoNetworkCKAN — ckanext-dcat; у Dataverse — сторонний экспортёр DCAT 3DSpace, NADA, PxWeb, GeoNode; у Dataverse в ядре экспорта DCAT нет
Разметка schema.orgDataverse, InvenioRDM, GeoNetwork, NADA, Socrata; у Huwise в ядре, но включает администраторCKAN — ckanext-dcatPxWeb; у udata, Piveau, ArcGIS Hub и GeoNode в сверке 13 октября 2026 года разметки на странице нет; на статическом сайте блок пишет автор шаблона
Выгрузка всех описанийDataverse, InvenioRDM, DSpace (OAI-PMH); GeoNetwork (CSW); DKAN и облачные сервисы (DCAT); JKAN (файл data.json)CKAN — ckanext-dcatстатический сайт, пока автор не собрал файл описаний
API поискаCKAN, DKAN, облачные сервисы, Dataverse, InvenioRDM, DSpace, GeoNetwork, NADA, PxWeb—JKAN, статический сайт
Файлы в каталогеCKAN, Dataverse, InvenioRDM, DSpace, NADA, облачные сервисыу CKAN облачное хранилище вместо диска — настройкой или расширениемPxWeb и .Stat Suite: хранят таблицы, а не файлы
Доступ к части данныхCKAN (DataStore), облачные сервисы, ArcGIS Hub, Dataverse (табличные файлы), PxWeb, .Stat Suiteу CKAN заливку CSV в DataStore делает расширение XLoaderGeoNetwork (ссылается на чужие сервисы), статический сайт
DOIDataverse, InvenioRDM, Figshare; DSpace и GeoNetwork — после включения в настройках. Везде нужен договор с DataCiteCKAN — ckanext-doi; документация называет только CKAN 2.9 и 2.10, на 2.11 и 2.12 не тестировалосьDKAN, Huwise (OpenDataSoft), Socrata, ArcGIS Hub, PxWeb; у NADA только поле для DOI, выпущенного отдельно
ВерсииDataverse, InvenioRDM, Figshare, DSpace—CKAN (журнал изменений — не версия), облачные порталы открытых данных
Экспорт цитированияDataverse, InvenioRDM, Figshare, GeoNetwork 4.4; NADA — через DataCite, если у исследования есть DOICKAN — ckanext-doi (только при DOI) или молодое ckanext-citeprocDSpace до 10.1 включительно (только метатеги для Google Scholar), облачные порталы открытых данных
Свои поля описанияDataverse, InvenioRDM, DSpace, DKAN (замена схемы); Huwise (OpenDataSoft) и Socrata — шаблоны полей в настройкахCKAN — ckanext-scheming; GeoNetwork — плагины схем для профилей странArcGIS Hub: один стиль из готовых стандартов на организацию; JKAN и статический сайт
Закрытые файлы при открытом описанииDataverse, InvenioRDM, DSpace, NADA, Huwise (OpenDataSoft)у CKAN в ядре закрывается только набор целиком, вместе с описанием; тонкая настройка — расширениястатический сайт; у Socrata закрытый набор скрыт целиком
Сбор чужих каталоговPiveau; GeoNetwork (CSW, OAI-PMH, сервисы OGC, коллекции STAC и другие); Dataverse (клиент OAI-PMH); udata (шесть сборщиков в поставке, по умолчанию выключены); Huwise (сборщики CKAN, Socrata, ArcGIS, data.json и других; CSW включают по запросу); Socrata (Catalog Connector: data.json и публичный ArcGIS Server)CKAN — ckanext-harvest, ckanext-dcat, ckanext-spatialJKAN, статический сайт; у ArcGIS Hub в сверке октября 2026 года не проверено

Кто ведёт каждое расширение CKAN и с какими версиями ядра оно работает, записано в главе «CKAN: ядро и расширения». Полная сводка по платформам — в приложении, карточки платформ — в главе «Карточки платформ».

Пометка «ядро» не значит «включено». DOI в Dataverse, DSpace и GeoNetwork заработает только после договора с DataCite и настройки, а предпросмотр в Dataverse — после того, как администратор поставит просмотрщики. Проверяйте конкретный сайт, а не только документацию платформы.

Как это выглядит на живых каталогах​

Разница между ядром и расширением видна не только в документации. Реестр dataportals-registry записывает, какие интерфейсы удалось найти у каждого каталога. Ниже — сколько каталогов отдают возможность, обязательную для их типа, в зависимости от платформы. Выпуск реестра 1.27.0, все записи типа, включая недействующие; научные репозитории посчитаны вместе с универсальными.

Возможность и тип каталогаПлатформы, где она в ядреГде её даёт расширение или настройкаСвои разработки
DCAT у порталов открытых данныхSocrata — 239 из 245, OpenDataSoft — 348 из 454, DKAN — 103 из 161CKAN с ckanext-dcat — 633 из 190624 из 1144
DOI у научных репозиториевFigshare — 266 из 288, Dataverse — 172 из 257DSpace, где DOI включают настройкой, — 218 из 829158 из 2840
OAI-PMH у научных репозиториевDSpace — 665 из 829, Dataverse — 177 из 257—19 из 2840
CSW или OGC API Records у геопорталовArcGIS Hub — 3257 из 3464, GeoNetwork — 686 из 762, GeoNode — 628 из 770—4 из 1043

Что из этого следует:

  • Если возможность в ядре, она есть примерно у двух третей установок и больше, а у облачных Socrata и ArcGIS Hub — почти у всех: там её не нужно ни ставить, ни включать.
  • Если её нужно поставить отдельно или включить настройкой, она есть у трети или четверти: ckanext-dcat у CKAN, DOI у DSpace. У Dataverse DOI в ядре, но платформа умеет выдавать и другие идентификаторы — Handle и постоянные ссылки самой установки, поэтому DOI отмечен у двух третей сайтов.
  • У своих разработок обязательной возможности почти нет: DCAT отдают 2% самописных порталов открытых данных, OAI-PMH — меньше 1% самописных репозиториев.
  • Картографический сервер — ещё не каталог. Из 4674 геопорталов на ArcGIS Server каталожный сервис найден у одного, из 1927 муниципальных порталов e-mapa — ни у одного: они показывают слои, но описаний для сбора не отдают.

По всем каталогам картина скромнее, чем требует таблица «Что нужно в каких случаях». DCAT найден у 26% порталов открытых данных, OAI-PMH — у 25% научных репозиториев, DOI — у 17%, каталожный сервис — у 20% геопорталов, SDMX — у 5,2% каталогов показателей. Из этих 177 каталогов показателей 113 — витрины Knoema, а сам Knoema с января 2026 года не открывается (подробнее в главе о каталогах показателей). То, что карта называет обязательным, на деле есть у меньшинства, и обычно причина в платформе: возможность не дали ни ядро, ни поставленное расширение.

Числа — нижняя граница: реестр отмечает интерфейс, только если нашёл его по известным адресам. Разметку schema.org реестр почти не проверяет, поэтому её в таблице нет. Запросы — в приложении «Как работать с реестром».

Как закрыть возможности без портала​

Многие возможности из карты не требуют портала. Статический сайт, Git-репозиторий, общий научный репозиторий вроде Zenodo и облачный хаб закрывают весь минимум и часть остального.

ВозможностьКак закрыть без порталаЧего не будет
Постоянный адрессвой домен с неизменной структурой адресов; DOI выпуска в Zenodo—
Лицензияфайл LICENSE и поле лицензии в datapackage.json—
Выгрузка всех описанийфайл data.json или datapackage.json рядом со страницами; генератор вроде JKAN собирает его сампротоколов сбора вроде OAI-PMH и CSW
Разметка schema.orgблок JSON-LD в шаблоне страницы наборапроверки полей: за ней следит автор шаблона
API поискапри десятках наборов не нуженпоиска для программ
Доступ к части данныхDatasette — программа, которая одной командой публикует базу SQLite с веб-страницей и JSON APIчистой статики: Datasette работает как небольшой сервер
Файлырядом со страницами, во вложениях к выпуску, в облачном хранилищебольших файлов в Git: GitHub не принимает файлы больше 100 МиБ
DOI и версииметки выпусков в репозитории и автоматическая архивация выпусков в Zenodo—
Экспорт цитированияфайл CITATION.cff: GitHub показывает по нему кнопку для ссылки на репозиторий—
Роли и проверкаправа на репозиторий и проверка изменений перед слияниеммодерации внешних публикаторов
Закрытые файлы—так публикуют только открытое
Сбор чужих каталогов—его не будет

Если таблица «Что нужно» для вашего случая требует только минимума, портал скорее всего не нужен. Когда так бывает и как сделать такую публикацию находимой — в части «Публикация без портала», особенно в главах о Git-репозиториях и о находимости.

Как быстро проверить живой портал​

Несколько запросов за десять минут показывают, какие возможности из карты есть у конкретного сайта. Подставьте адрес портала и адрес страницы любого набора:

P=https://portal.example

# Выгрузка всех описаний: DCAT-US и DCAT в RDF
curl -sI "$P/data.json" | head -1
curl -sI "$P/catalog.ttl" | head -1

# Карта сайта
curl -sI "$P/sitemap.xml" | head -1

# Разметка schema.org на странице набора: число блоков JSON-LD
curl -s "$P/dataset/some-dataset" | grep -c 'application/ld+json'

# API поиска CKAN и список установленных расширений
curl -s "$P/api/3/action/package_search?rows=0"
curl -s "$P/api/3/action/status_show"

# Научный репозиторий и геопортал
curl -sI "$P/oai?verb=Identify" | head -1
curl -sI "$P/csw?service=CSW&request=GetCapabilities" | head -1

Ответ 200 — хороший знак, 404 по всем адресам выгрузки — повод искать её в документации портала или считать, что её нет. Дальше три проверки глазами: есть ли у пяти случайных наборов лицензия и дата обновления; открываются ли файлы; виден ли DOI и блок «Как цитировать», если портал их обещает. Подробные проверки — в разделе «Как проверить живой портал» каждой главы этой части и в сводных чек-листах.

Типичные ошибки​

  • «Обязательно» на всё. Если обязательно всё, сравнение платформ теряет смысл, а цена проекта растёт за счёт возможностей, которыми никто не пользуется.
  • Список из чужого задания. Национальному порталу нужны сбор чужих каталогов, роли для сотни ведомств и витрина примеров. Городу с тридцатью наборами — нет.
  • Витрина вместо минимума. Поиск с фильтрами и графики на главной делают до выгрузки описаний и разметки. В итоге сайтом пользуются люди, а программы его не видят.
  • Предпросмотр вместо API. Таблица на странице помогает человеку, но её нельзя процитировать и нельзя надёжно забрать программой.
  • DOI для оперативных данных. Расписанию транспорта, которое меняется каждый день, нужен постоянный адрес и дата обновления, а не новый DOI на каждую выгрузку.
  • Расширение без проверки. «Есть расширение» не значит «работает на вашей версии». Перед выбором проверяют, кто его ведёт и на каких версиях ядра идут тесты, — методика в главе «Экосистемы расширений».

Как устроены главы этой части​

Каждая глава о возможности устроена одинаково: что это, зачем, какие бывают варианты, когда нужно и когда нет, как это сделано в платформах, как проверить живой портал. В таблицах платформ те же четыре пометки, что выше: ядро, расширение, нет, не проверено.

Источники​