Глоссарий

Автоматический API к таблице — каталог сам разбирает опубликованный табличный файл и отдаёт к нему API: строки, фильтры, профиль колонок. Издатель ничего не загружает. Пример — табличный API data.gouv.fr. Ошибки исходного файла такой API наследует. Подробнее — в главе о передовых каталогах.

Агрегатор данных — сервис, который собирает метаданные из многих каталогов и даёт по ним единый поиск. У агрегатора у каждого собранного набора своя страница, которую видят обычные поисковики; поисковик данных такой страницы не заводит и сразу отправляет к источнику.

Административные данные — данные, которые возникают как побочный продукт работы ведомства: реестры лицензий, контракты, проверки, платежи. Охват у них обычно полный, но поля придуманы для учёта, а не для анализа.

Аутентификация и авторизация — аутентификация проверяет, кто пользователь: пароль, второй фактор, учётная запись организации или государственная система входа. Авторизация проверяет, что ему можно: роль, права на набор, одобренная заявка на доступ. Единый вход переносит в чужую систему только первое, права выдаёт сам каталог.

Балл доверия — необязательная оценка каталога в реестре dataportals-registry, от 0 до 100. Складывается из типа владельца, типа каталога, лицензии, карточки в re3data и того, отвечает ли сайт. Это фильтр для тысяч чужих каталогов. Сертификатом он не является и файлы не открывает.

«Безголовая» схема (headless) — платформа каталога работает только как ядро: хранит описания, отдаёт API, собирает чужие каталоги, а сайт для людей делают отдельно. Так устроены, например, порталы Торонто и Канады поверх CKAN.

Бенчмарк — набор задач и данных, на которых разные модели машинного обучения сравнивают по одним правилам.

Битая (нерабочая) ссылка — ссылка на файл или страницу, которая больше не ведёт к данным: сервер отвечает «не найдено», домен не существует, сертификат не принимается. Опаснее «мягкая» поломка: ссылка открывается, но ведёт на главную страницу сайта или на страницу вместо файла, и программа, которая смотрит только на код ответа, считает её рабочей.

Веб-архив — собрание снимков сайтов, сделанных краулером в разные даты. Крупнейший — Интернет-архив (web.archive.org), свои веб-архивы ведут национальные библиотеки и архивы. Страницы сохраняет хорошо, данные из программного интерфейса и большие файлы — плохо.

Версия и ревизия — версия набора — зафиксированное состояние данных, на которое можно сослаться; в научных репозиториях у каждой версии свой идентификатор. Ревизия — мелкая правка описания внутри одной версии, новой версии она не создаёт.

Владелец данных — человек или подразделение, которые отвечают за строки набора: верны ли они, когда их обновлять и кто ответит на ошибку. Издатель в карточке — организация. Владелец может быть конкретным человеком внутри неё.

Внешний инструмент — отдельная программа, которую каталог открывает для просмотра или обработки файла. Код программы в каталог не входит: каталог хранит адрес и передаёт идентификатор файла. У Dataverse так устроены просмотрщики.

Возможность каталога — то, что каталог умеет делать для человека, программы или владельца: отдать описания в DCAT, выдать DOI, закрыть файл при открытом описании. Одна и та же возможность бывает в ядре платформы, в расширении или отсутствует.

Воспроизводимость — возможность заново получить заявленный результат по выложенным данным и записанным шагам. Значок «открытые данные» и DOI говорят, что файл выложен и на него можно сослаться. Совпадает ли расчёт с заявленным результатом, проверяют отдельно.

Временной ряд — значения одного показателя при одних и тех же разрезах, расположенные по времени: курс доллара к евро по дням, население региона по годам. В хорошем каталоге показателей у ряда есть постоянный адрес, собранный из кодов справочников.

Выпуск с долгой поддержкой (LTS) — выпуск данных, который обещано хранить без изменений названный срок. У CELLxGENE Census это не меньше пяти лет. Срок записан заранее, а не «пока работает сервер».

Гармонизация микроданных — приведение переменных разных переписей и обследований к одним кодам и определениям, чтобы страны и годы можно было сравнивать. Так работает IPUMS.

Геоблокировка — ограничение доступа к сайту для посетителей из других стран по их IP-адресу. Вместе с иностранными пользователями сайт перестают видеть веб-архивы, поисковики и агрегаторы данных.

Геопортал — каталог пространственных данных и сервисов, часто совмещённый с веб-картой.

Гибрид (гибридный каталог) — сайт, на котором рядом живут продукты разных типов, например наборы и слои карт, или организация, которая ведёт каталоги нескольких типов. Не отдельный тип: каждую часть гибрида классифицируют и оценивают по её собственному типу. Самый развитый вариант — хаб данных.

Граф знаний — база, где у каждой переменной, места или сущности свой идентификатор, а связи между ними записаны явно. Позволяет отвечать на вопрос сразу по многим источникам. Так устроен Data Commons.

Данные как продукт (дата-продукт) — подход, при котором у набора есть владелец, известные пользователи, график обновления, документация и контроль качества, как у любого продукта; доступ обычно устроен несколькими способами сразу — API, выгрузка, срезы. Противоположность — файл, выложенный один раз «для галочки».

Данные, готовые для ИИ — набор, который программа может найти, понять и забрать: открытый формат, явная лицензия, происхождение и выгрузка. Карточка Croissant и сервер MCP это дополняют, когда формат и лицензия уже есть. Рамка Open Data Institute (версия 2, декабрь 2025 года) раскладывает то же на свойства набора, описание, инфраструктуру и управление.

Дистрибутив (способ получения) — конкретная форма набора данных: файл, ссылка, API, сервис. Термин из DCAT. В CKAN называется ресурсом, в Dataverse и Zenodo — файлом, в STAC — ассетом. DCAT различает прямую ссылку на файл (downloadURL) и адрес доступа (accessURL) — страницу или сервис, через которые данные можно получить.

Доверенная исследовательская среда — защищённая среда, где одобренный исследователь работает с конфиденциальными данными, не скачивая их; результаты проверяют перед выдачей. Пример — SecureLab в UK Data Service.

Доступ по запросу (gated) — набор, описание которого открыто всем, а файлы выдаются после запроса: пользователь сообщает о себе, принимает условия, иногда ждёт одобрения автора. Так устроены закрытые наборы на Hugging Face; для поисковика данных такой набор — набор без файлов.

Единый вход (SSO) — вход в каталог учётной записью внешней системы: ведомства, университета, облачного поставщика или государственной системы идентификации, а не отдельным паролем портала. Проверку личности делает внешняя система по стандарту SAML 2.0 или OpenID Connect. Уволенный сотрудник теряет доступ к каталогу вместе с остальными системами организации.

Журнал изменений — запись о том, кто, когда и что поменял в описании набора, с возможностью посмотреть прежнее состояние. В CKAN — модуль activity с разницей между версиями, в научных репозиториях эту роль играют версии набора.

Запись каталога — сведения о том, как набор попал в каталог: когда его внесли и когда правили описание. Отличается от сведений о самих данных: дата правки записи — не дата обновления данных.

Идентификатор объекта — постоянный идентификатор отдельной записи внутри данных: здания, дороги, организации. По нему соединяют разные наборы без сопоставления названий и геометрий. Пример — GERS у Overture Maps. Подробнее — в главе об идентификаторах.

Издатель — организация, которая отвечает за набор по существу и юридически. Может не совпадать с организацией в программе каталога, от имени которой набор заведён.

ИИ-агент — программа на большой языковой модели, которая сама ищет набор, читает описание и забирает данные через API или сервер MCP.

Инвентаризация данных — список того, что организация уже производит или хранит, включая то, что публиковать нельзя. Из этого списка потом выбирают, что выложить, и записывают очередь. Самим каталогом инвентаризация не является.

Инструкция для агента — описание данных для ИИ-агента: определения полей, единицы, период, ограничения, справочники кодов, правила поиска. Её ведут и проверяют, как карточку. Сервер Data360 Всемирного банка отдаёт её ресурсами MCP.

Инфраструктура пространственных данных (ИПД) — общая система правил, каталогов и сервисов, через которую органы власти страны или региона описывают и отдают свои слои. Видимая часть — геопортал и общий каталог; в ЕС такие инфраструктуры построены по директиве INSPIRE.

Карта сайта (sitemap) — файл со списком адресов страниц. По нему поисковик обходит сайт.

Картографический сервер — программа, которая отдаёт слои карты другим программам по протоколам WMS, WFS, ArcGIS REST и подобным. Примеры — GeoServer, MapServer, QGIS Server, ArcGIS Server. Карточек для поиска сам обычно не ведёт, поэтому без каталога рядом слой находит только тот, кто знает адрес.

Карточка набора (dataset card) — описание набора для машинного обучения для человека: состав, способ сбора и разметки, известные перекосы, ограничения и для чего набор не годится. На Hugging Face — файл README.md с разделом метаданных в начале. Похожее описание модели называют карточкой модели.

Карточка решения — короткая запись одной развилки при выборе каталога: контекст, варианты, критерии, решение, обоснование, последствия и событие, после которого выбор открывают заново. Пишут на платформу, обязательное расширение и отказ от функции. Заменённую карточку не удаляют, а помечают как заменённую.

Каталог API (портал разработчика) — каталог программных интерфейсов организации или страны: документация, примеры запросов, часто выдача ключей и тестовая консоль. Описывает сервисы, а не наборы; хороший каталог API связывает интерфейс с наборами, которые тот отдаёт.

Каталог данных — сервис, который описывает наборы данных метаданными и помогает их найти, понять и получить.

Каталог каталогов — перечень порталов и репозиториев данных, а не наборов. Помогает понять, где искать данные по теме или стране. Примеры — re3data, dataportals.org, реестр dataportals-registry.

Каталог показателей — каталог официальной статистики, где единица публикации — показатель с разрезами по годам, территориям и другим признакам. Пользователь сам выбирает нужный срез, а не скачивает «файл за год».

Класс программного обеспечения — вид программы, на которой сделан каталог: облачный сервис, готовая платформа на своём сервере, картографический сервер или сервер протокола, сайт на CMS, своя разработка. От класса зависит, кто обновляет программу и сколько стоит уйти; от типа каталога — что в нём публикуют.

Классификатор (справочник, НСИ) — список кодов и названий: регионы, виды деятельности, валюты. На него ссылаются другие наборы, поэтому у классификатора важны версия и дата.

Книга кодов (codebook) — описание файла обследования: переменные, тексты вопросов, коды ответов и их подписи, часто с частотами. Без неё файл микроданных — столбцы чисел без смысла. Машиночитаемый вид — DDI Codebook.

Контролируемый словарь — заранее согласованный список терминов или кодов, из которого выбирают значение поля вместо свободного текста: темы, языки, типы файлов, страны. Тезаурус добавляет к нему синонимы и связи «шире — уже». Хороший словарь даёт каждому термину постоянный адрес и публикуется в SKOS.

Контрольная сумма — короткая строка, вычисленная по содержимому файла алгоритмом вроде MD5 или SHA-256. Меняется при изменении хотя бы одного байта, поэтому по ней проверяют, что скачанный файл цел и что это тот же файл, который опубликован. В DCAT 3 записывается свойством spdx:checksum.

Куб данных — таблица показателя со всеми сочетаниями разрезов: годы × регионы × пол и так далее. Из куба вырезают нужный срез, а не скачивают отдельные файлы по годам. Термин из стандартов статистики (SDMX, RDF Data Cube).

Лента изменений — список последних добавленных и изменённых записей каталога в формате RSS или Atom. На неё подписываются программы-сборщики. В CKAN в ленте по умолчанию 20 последних записей, поэтому для полного сбора нужна ещё выборка «изменено после даты».

Лицензия набора — условия, на которых можно использовать конкретный набор. Это отдельный текст от правил всего сайта и от условий доступа к файлу. Открытая лицензия разрешает копировать, менять и использовать данные в том числе в коммерческих целях; указать источник можно требовать, запрещать коммерцию — нет. Часто встречаются CC BY 4.0, CC0 (отказ от прав, насколько это позволяет закон) и ODbL (для баз данных: производную базу отдают на тех же условиях). Одну и ту же лицензию записывают по-разному: код SPDX CC-BY-4.0, код CKAN cc-by, ссылка словаря ЕС на понятие CC_BY_4_0. Фраза «открытая лицензия» и значение «не указана» для программы пусты.

Маркетплейс данных — площадка, где данные продают или выдают по договору: файл, подписку, доступ к интерфейсу или к таблице в облаке. От портала открытых данных отличается договором и условиями на каждую выдачу. Государственные маркетплейсы часто называют биржами данных.

Массовая выгрузка — возможность скачать всю базу или весь набор файлами, без запросов по одному показателю или записи.

Международная хартия открытых данных — шесть принципов публикации государственных данных, согласованных в 2015 году правительствами, общественными организациями и экспертами: открытость по умолчанию, своевременность и полнота, доступность и пригодность к использованию, сопоставимость и совместимость, улучшение управления и вовлечение граждан, инклюзивное развитие и инновации.

Менеджер библиографии — программа, где исследователь хранит свои источники и откуда вставляет ссылки в текст по нужному стилю: Zotero, EndNote, Mendeley, JabRef. Принимает ссылки файлами BibTeX, RIS или CSL-JSON и умеет сохранять их прямо со страницы по метатегам.

Метаданные — данные о данных: название, описание, издатель, лицензия, охват, формат.

Метатеги для библиографии — строки в заголовке HTML-страницы (citation_title, citation_author, citation_doi и другие, а также поля Dublin Core), по которым Zotero и Google Scholar понимают, что перед ними, и сохраняют ссылку одной кнопкой. Версию и тип «набор данных» этими метатегами не передать.

Метрика качества — доля наборов, у которой записаны знаменатель, правило «что считать заполненным» и дата подсчёта. По такой доле видно, что чинить. Число наборов в подвале сайта этой записи не имеет.

Микроданные — записи об отдельных людях, домохозяйствах или организациях из переписей и обследований, в отличие от готовых итоговых таблиц. Перед публикацией их обезличивают, а доступ к файлам часто ограничивают.

Модерация (проверка перед публикацией) — шаг, на котором куратор, модератор или администратор организации смотрит подготовленный набор и выпускает его или возвращает автору. От черновика отличается вторым человеком: черновик автор публикует сам. Модерируют и тексты пользователей — запросы данных, комментарии, обсуждения.

Набор данных — опубликованная совокупность данных с общим описанием.

Наборы данных высокой ценности — шесть групп данных, которые органы власти ЕС по регламенту 2023/138 обязаны отдавать бесплатно, в машиночитаемом виде и через API: геоданные, наблюдение Земли и окружающая среда, метеорология, статистика, компании и их владельцы, мобильность.

Научный репозиторий — каталог, который принимает и надолго хранит данные исследований, выдаёт им постоянные идентификаторы (чаще DOI) и помогает на них ссылаться.

Недокументированный (неявный) API — программный интерфейс, который сайт отдаёт, хотя владелец его не описал: API, из которого страница сама получает данные, или интерфейс платформы по умолчанию вроде /wp-json/ у WordPress. Полезен, чтобы забрать данные, но меняется без предупреждения.

Обезличивание — обработка данных о людях, после которой по оставшимся полям нельзя узнать конкретного человека. Удалить имя недостаточно: человека часто выдаёт сочетание возраста, адреса и профессии.

Облачный сервис (SaaS) — платформа, которую не ставят на свой сервер, а арендуют у поставщика по подписке. Обновления и хостинг на стороне поставщика, но и данные, и возможности зависят от договора.

Обработка рядом с данными — каталог отдаёт не файл, а выборку или результат расчёта, выполненного на сервере. Примеры — ERDDAP, openEO, Climate Data Store.

Общедоступные и открытые данные — общедоступные можно посмотреть на сайте или карте; открытые можно скачать целиком в машиночитаемом виде, со свободной лицензией и без заявок. Бесплатная выдача по заявлению — ещё не открытые данные.

Общий хаб — чужая площадка, куда автор публикует свой набор вместе с карточкой: Zenodo, Figshare, Hugging Face, Kaggle, Source Cooperative. Хаб данных — другое: несколько каталогов одной организации под общей вывеской. ML-хаб — вид общего хаба, на нём рядом с наборами лежат модели.

Объектное хранилище — облачный или собственный склад файлов, где каждый файл лежит по своему ключу в «бакете» и отдаётся по HTTP: Amazon S3, Azure Blob Storage, Google Cloud Storage и совместимые с S3 системы вроде MinIO и Ceph. Место почти не ограничено, но хранение и скачивание оплачиваются. Большинство крупных каталогов держит загруженные файлы именно там.

Онтология — строгое описание области знания: классы понятий, их свойства и правила, по которым программа может делать выводы. Строже словаря: кроме «шире — уже» задаёт, например, что у гена есть место на хромосоме. Записывается обычно в OWL; каталоги онтологий — OLS, BioPortal, AgroPortal.

Оплата трафика читателем (Requester Pays) — режим облачного бакета, при котором место оплачивает владелец, а скачивание — тот, кто читает файл. Для этого нужна учётная запись облака. Анонимно такой файл не скачать, поэтому для открытых данных режим не подходит.

Ортофотоплан — аэро- или космический снимок, исправленный так, что его можно накладывать на карту и мерить по нему расстояния. Один из самых востребованных слоёв геопорталов.

Отраслевой стандарт данных — общий формат для одной темы, который описывает не файл вообще, а предмет: контракт (OCDS), расписание транспорта (GTFS), наблюдение вида (Darwin Core). Данные в таком формате сразу понимают программы и агрегаторы.

Охраняемые данные — данные государственного сектора, которые нельзя опубликовать открыто: персональные, коммерческая тайна, статистически конфиденциальные. По европейскому Акту об управлении данными их описания собирают в единой информационной точке страны, а сами данные выдают по запросу на условиях, которые сохраняют защиту.

Паспорт набора открытых данных — российское описание набора по методическим рекомендациям версии 4.0 (протокол от 12 декабря 2024 года № 49пр): идентификатор, название, владелец, ссылка на файл, формат и даты. Машиночитаемый вид — файл meta.csv, meta.xml или meta.json. Это не профиль DCAT: международные сборщики и поисковики данных его не читают.

План управления данными — документ к заявке на грант: какие данные появятся в проекте, в каких форматах, где их будут хранить, в каком репозитории и на каких условиях опубликуют. Его требуют Horizon Europe, NIH и многие другие фонды.

Подписанная (временная) ссылка — адрес файла в объектном хранилище с подписью и сроком действия, после которого он перестаёт работать. Порталы выдают её при скачивании, чтобы файл шёл из облака напрямую: у HDX такая ссылка живёт несколько минут. Ссылаться на неё в статье или программе нельзя — только на постоянный адрес файла на портале.

Поисковик данных — сервис, который собирает описания наборов из многих каталогов или со страниц сайтов и даёт по ним один поиск. Своих наборов не публикует, файлы остаются у источника. Бывает общим (Google Dataset Search, Dateno), научным (OpenAIRE, DataCite Commons), отраслевым (NIAID Discovery Portal) и национальным (find.data.gov.scot). Если у каждого собранного набора есть своя страница для обычных поисковиков, его называют агрегатором.

Поисковый индекс — отдельная копия описаний наборов, устроенная для быстрого поиска и фильтров; в каталогах это обычно Solr, Elasticsearch или OpenSearch. Если индекс разошёлся с базой описаний, набор существует, но не находится.

Полнота и детальность метаданных — полнота показывает, какая доля нужных полей описания заполнена у наборов каталога; детальность — насколько подробна сама схема описания. Третье свойство — достоверность: правда ли записано в поле. Значение-заглушка вроде периода «1900–2099» делает поле формально заполненным, но не полным по существу.

Портал открытых данных — каталог, через который орган власти или организация публикует наборы под открытыми лицензиями: реестры, бюджеты, статистику, сведения о транспорте. Открытыми данные делают три условия сразу: машиночитаемый вид, открытая лицензия и доступ без заявок и регистрации.

Посадочная страница (landing page) — страница, на которую ведёт DOI или другой постоянный идентификатор: описание набора, готовая ссылка для цитирования, путь к файлам. Сам идентификатор файлов не хранит, поэтому без живой посадочной страницы он ведёт в никуда.

Постоянный идентификатор (PID) — имя объекта, которое не меняется, и служба (резолвер), которая по этому имени отправляет на текущий адрес объекта. Примеры — DOI, Handle, ARK. Постоянство обеспечивает не технология, а владелец, который обновляет адрес при каждом переезде.

Постраничная выдача (пагинация) — ответ API или выгрузки, разбитый на страницы с определённым числом записей. Программа идёт со страницы на страницу до последней. У многих API есть предел глубины: дальше определённой записи страницы не отдаются.

Пример использования (reuse) — приложение, статья, исследование или визуализация, сделанные на основе набора и привязанные к его карточке на портале. По ним видно, кому набор нужен; образец такого раздела — на data.gouv.fr.

Проверка на входе — каталог не публикует набор, который не прошёл проверку по стандарту или схеме. Примеры — BIDS у OpenNeuro, NWB у DANDI. Подробнее — в главе об уровнях качества.

Производный набор (derived dataset) — запись с DOI для данных, которые пользователь отфильтровал или собрал из нескольких выгрузок, со списком исходных наборов. Так устроено в GBIF.

Пространство данных — договорённость организаций об обмене данными, в том числе не для всех. Описание набора при этом можно прочитать, файл может оставаться закрытым.

Профиль метаданных — уточнение общего словаря под страну или отрасль: какие поля обязательны, какие рекомендуются и из какого справочника берётся значение. Сам словарь при этом не меняется: DCAT-AP и DCAT-US — профили одного DCAT.

Публикатор — человек, который выкладывает файл и заполняет карточку по образцу. Лицензию и содержимое он не назначает: это делают юрист и владелец данных.

Пять звёзд открытых данных — лестница Тима Бернерса-Ли (2010) для одного набора: от файла под открытой лицензией к машиночитаемой таблице, открытому формату, адресам внутри данных и связям с чужими данными. Лестница говорит о формате одного файла.

Разбиение набора (части, splits) — деление набора для машинного обучения на обучающую часть (на ней учат модель), проверочную (на ней подбирают настройки) и тестовую (на ней измеряют результат). Разбиение фиксируют заранее, иначе результаты разных авторов несравнимы.

Разрез (измерение) — признак, по которому делят значения показателя: год, регион, пол, возраст, отрасль. Допустимые значения разреза берутся из справочника с кодами.

Расширение (плагин) — отдельный модуль со своим автором, выпусками и совместимостью с версией ядра. Его ставят рядом с платформой, чтобы получить возможность, которой нет в поставке. Например, ckanext-dcat добавляет CKAN экспорт в DCAT. Настройка или модуль из той же поставки, который только включают, расширением не считается: его выпускают вместе с ядром.

Реестр метаданных — каталог, который хранит не данные, а их описания с версиями и статусами: элементы данных, справочники, структуры таблиц. Стандарт для реестров элементов данных — ISO/IEC 11179, для структур статистики — SDMX.

Роль — набор прав, который выдают человеку в пределах организации, коллекции или сообщества: участник видит закрытые наборы, редактор создаёт и правит, администратор ещё и управляет людьми. Права дают роли, а не человеку, чтобы при смене сотрудника не перебирать отдельные разрешения.

Самоаудит каталога — один проход по своему или чужому каталогу: выгрузка описаний, выборка карточек, подсчёт файлов и страница с тем, что чинить в ближайший месяц. Это проверка конкретного сайта. Рейтинг страны и сертификат архива отвечают на другие вопросы.

Сбор метаданных (харвестинг) — автоматическое периодическое получение метаданных одного каталога другим.

Сервис данных — программный интерфейс, через который данные набора получают по частям: строки таблицы с фильтром, объекты на карте. В DCAT с версии 2 — отдельная сущность со своим адресом, на которую ссылается дистрибутив.

Серия наборов данных — однотипные наборы, которые выходят по очереди: исполнение бюджета за каждый месяц, перепись раз в десять лет. Отдельный класс для серий появился в DCAT 3 (2024); большинство порталов их не знает и заводит каждый выпуск отдельной карточкой.

Синтетические данные — искусственные записи, которые повторяют статистические свойства настоящих, но не описывают реальных людей. Их публикуют вместо закрытых микроданных.

Система координат — правило, по которому числа координат превращаются в точку на Земле. У каждого слоя она своя; указывают её кодом из реестра EPSG, например EPSG:4326 для WGS 84. Слой без кода системы координат нельзя надёжно совместить с другими.

Словарь полей — описание колонок таблицы: название, смысл, единица измерения, допустимые значения. Без него файл открыт формально и непонятен по существу.

Согласование содержимого (content negotiation) — способ получить по одному адресу разные представления: браузер по адресу https://doi.org/… получает страницу набора, а программа, которая попросила в заголовке Accept формат BibTeX или RIS, — готовую ссылку от DataCite.

Список наборов — страница, таблица или файл README со ссылками на наборы или на чужие каталоги, без поиска и карточек. Нормальный способ опубликовать десяток наборов, если у каждой строки есть лицензия, дата и постоянный адрес.

Стандарт метаданных — общий язык описания набора снаружи: что это, кто издатель, за какой период, где скачать и на каких условиях. Его читают другие каталоги, поисковики и программы. Примеры — DCAT, DataCite, ISO 19115, schema.org. От стандарта данных отличается тем, что не описывает колонки внутри файла.

Статический сайт — сайт из готовых HTML-файлов. Генератор собирает их из исходников, хостинг только отдаёт файлы: отдельной базы и сервера приложений нет.

Статья о данных (data paper) — рецензируемая статья, которая описывает набор данных и ссылается на него в репозитории, без гипотез и выводов исследования.

Страница-надгробие (tombstone page) — страница, которую оставляют на месте снятого набора с DOI: ссылка для цитирования, сам DOI и объяснение, почему данных больше нет. Нужна потому, что DOI нельзя удалить.

Ступенчатый доступ — доступ к набору по ступеням: описание, переменные и сводная статистика, выборка-образец, все данные. Каждую ступень открывают отдельно: всем, отдельным людям или после условий. Пример — Redivis.

Тема и тег — тема берётся из общего справочника (темы Бюро публикаций ЕС, тематические категории ISO 19115), поэтому по ней наборы разных порталов складываются вместе. Тег — свободное слово публикатора; для программы «транспорт» и «Транспорт» — разные теги.

Техническое задание (ТЗ) — документ, по которому подрядчик делает или настраивает систему: что она должна уметь, на каких условиях и как проверят результат. Для каталога данных это прежде всего список требований.

Тип каталога — класс каталога по тому, что в нём публикуют и что получает свою страницу: набор, слой карты, версия набора с DOI, показатель, обследование и так далее. Задаёт стандарт описания и круг подходящих платформ.

Типовой портал — одна и та же сборка портала, которую государство или поставщик раздаёт десяткам и сотням органов власти: у каждого своя витрина, но программа, поля описания и выгрузка общие. Примеры — GD Catalog в Таиланде, BODIK ODCS в Японии, Municipium в Италии.

Требование к каталогу — функция, которую выбрали для своего каталога, записанная вместе с источником потребности, уровнем обязательности (обязательно, желательно, не нужно), обоснованием, способом проверки и условием пересмотра. Хорошее требование говорит, что нужно, а не как это сделать: «национальный портал забирает описания в DCAT-AP», а не «поставить ckanext-dcat».

Универсальный репозиторий (generalist) — научный репозиторий, который принимает данные любой дисциплины от любого автора: Zenodo, Figshare, Harvard Dataverse, Dryad. Фонды советуют его, когда у дисциплины нет своего предметного репозитория.

Утечка тестовых данных (contamination) — попадание тестовой части бенчмарка в обучающие данные модели, чаще всего вместе с текстами из интернета. Результат модели на таком бенчмарке завышен. Защита — скрытые ответы тестовой части и особые метки в файлах, по которым их выбрасывают из обучающих наборов.

Файл изменений (дельта) — файл, в котором только то, что изменилось с прошлой полной выгрузки: новые, изменённые и удалённые записи. Позволяет не скачивать большую базу целиком при каждом обновлении.

Файл общего пользования (public use file) — обезличенный файл микроданных, который выдают после регистрации и согласия с условиями, без рассмотрения заявки. Подробнее и строже — лицензированный файл по одобренной заявке, ещё строже — работа только в доверенной исследовательской среде.

Форк — копия чужого репозитория, которую ведёт другая команда. Копии расходятся: ставят ту, которая проверяется на вашей версии ядра, и записывают её адрес. Правка, которую оставили только у себя и не отдали обратно, тоже становится форком, и сопровождающий тогда — вы.

Хаб данных — несколько каталогов разных типов под одной вывеской и с общим поиском, например портал набора, каталог показателей и каталог микроданных одной международной организации. Не отдельный тип: каждый каталог хаба оценивают по своему типу.

Хранилище таблиц — база данных каталога, куда загружены строки таблиц из файлов, чтобы показывать их в браузере, фильтровать и отдавать частями через API. В CKAN — DataStore на PostgreSQL, у облачных сервисов вроде Huwise и Socrata набор и есть таблица в их базе. Рядом всё равно нужна выгрузка целиком.

Цитирование данных — ссылка на набор данных в статье, отчёте или другом наборе, оформленная как ссылка на публикацию: автор, год, название, версия, издатель, идентификатор. Отличается от требования лицензии указать автора: лицензия задаёт юридическое условие, ссылка даёт научное признание и позволяет найти именно те данные, на которых сделан вывод.

Шлюз API (API gateway) — программа, которая стоит перед интерфейсами организации: проверяет ключи, считает запросы, ограничивает нагрузку. В комплекте обычно идёт портал разработчика, который и становится каталогом API. Примеры — Azure API Management, WSO2 API Manager, Gravitee.

Элемент данных — описание одного поля, общее для многих систем: понятие (объект и свойство, например «человек — пол»), допустимые значения, определение, хранитель, версия и статус. Так поля описывают реестры по ISO/IEC 11179.

Эмбарго — срок, до которого описание набора открыто, а сами данные закрыты; после даты данные открываются. Обычно в научных репозиториях, пока не вышла статья.

Ядро платформы — возможности, которые входят в поставку программы. Сюда же относят модуль из той же поставки, который только включают в настройках: у него тот же автор и тот же цикл обновлений. Отдельный репозиторий со своей совместимостью — уже расширение.

API — вход, по которому программа задаёт каталогу вопрос и получает ответ. Ответ чаще всего приходит в JSON.

ArcGIS REST — программный интерфейс серверов и облака ArcGIS компании Esri. Не стандарт, но из-за распространённости ArcGIS его читают программы GIS и многие сборщики наравне со стандартами OGC.

ARK — постоянный идентификатор вида ark:12148/…, который выдают библиотеки, архивы и музеи. Номер организации бесплатен, разрешать ARK можно на своём сервере или через общий резолвер n2t.net.

AsyncAPI — формат описания интерфейсов, которые не отвечают на запрос, а присылают поток сообщений: события о задержках транспорта, показания датчиков. Делает для потоков то же, что OpenAPI для обычных запросов.

BagIt — стандарт упаковки файлов для архивного хранения и передачи: данные лежат в папке рядом с манифестом контрольных сумм, так что по пакету видно, все ли файлы на месте и не изменились ли они.

BibTeX, RIS, CSL — форматы, в которых каталог отдаёт ссылку на набор менеджеру библиографии. BibTeX — для LaTeX; отдельного типа для данных в нём нет, его добавил biblatex (@dataset). RIS — для Zotero, EndNote и подобных, тип данных в нём DATA. CSL — стили, по которым ссылку оформляют под требования журнала или ГОСТ, и формат CSL-JSON для передачи самой ссылки.

BIDS — стандарт организации данных нейровизуализации: порядок папок, имён файлов и описаний. По нему OpenNeuro проверяет наборы при загрузке.

CDIF — рекомендации CODATA, какие уже существующие стандарты сочетать, когда данные переходят границу научной дисциплины. Для нахождения советует schema.org и DCAT, а не новый словарь каталога. Версия 1.1 вышла в июне 2026 года.

CITATION.cff — текстовый файл в корне репозитория, где написано, как ссылаться на данные или программу. GitHub показывает по нему кнопку «Cite this repository». Zenodo берёт из него авторов и название при архивации выпуска GitHub, если рядом нет .zenodo.json; если этот файл есть, Zenodo читает только его. Для данных в CITATION.cff нужна строка type: dataset. Тип записи в Zenodo задают отдельно, полем upload_type.

Cloud Optimized GeoTIFF (COG) — файл GeoTIFF, устроенный так, что программа читает нужный фрагмент снимка по сети и не скачивает файл целиком.

CoreTrustSeal — знак того, что репозиторий умеет хранить данные долго, а не только показать их на сайте.

CRIS — система учёта научной работы организации: публикации, проекты, гранты, сотрудники и в том числе наборы данных. Пример — Elsevier Pure. Наборы в ней часто служат скрытым каталогом данных университета.

Croissant — машиночитаемое описание набора для машинного обучения поверх schema.org: какие файлы, какие поля, как набор делится на обучающую и тестовую части. Разработан MLCommons. Версия 1.1 (январь 2026 года) добавила происхождение данных и условия использования; расширение RAI описывает перекосы, ограничения и назначение набора. Площадки в 2026 году ещё отдают описания по версии 1.0.

Crossref — агентство регистрации DOI для статей, книг, препринтов и других публикаций, работает по законам США. Для наборов данных обычно выбирают DataCite, но InvenioRDM и Dataverse умеют регистрировать DOI и через Crossref.

CSV on the Web (CSVW) — рекомендация W3C 2015 года: словарь полей таблицы CSV в отдельном файле JSON — названия колонок, типы, единицы, связи с другими таблицами. Google читает такой словарь из разметки страницы набора в экспериментальном режиме и предупреждает, что проверка расширенных результатов на этот блок ругается.

CSW — протокол, которым программа запрашивает каталог слоёв геопортала.

Darwin Core — стандарт описания наблюдений и образцов живых организмов: какой вид, где и когда. В нём данные собирает GBIF.

DataCite — некоммерческая организация, которая регистрирует DOI для данных, и одноимённая схема описания, которую заполняют при регистрации.

Dataspace Protocol — протокол обмена в пространствах данных, который ведёт Eclipse Foundation (версия 2025-1). Участник публикует каталог наборов в DCAT с условиями в ODRL, а протокол описывает переговоры о договоре и передачу данных.

DCAT — словарь W3C для описания каталогов, наборов, способов получения и сервисов данных. Версия 3 — рекомендация от 22 августа 2024 года: в ней появились серии наборов и свойства версии.

DCAT-AP — профиль DCAT для порталов Европы: какой набор полей описания они отдают друг другу. Действующая рекомендация — 3.0.1 от 27 октября 2025 года. Черновик 3.0.2 от 17 июня 2026 года рекомендацией ещё не стал.

DCAT-US — профиль DCAT для федеральных ведомств США. Ведомство публикует файл data.json со списком своих наборов, а data.gov его собирает. Версия 3.0 опубликована 1 мая 2026 года и построена на DCAT 3. Версию 1.1 data.gov принимает на переходный период.

DDI — стандарт описания обследований и микроданных: кто спрашивал, кого, как строили выборку и что означают переменные. Семья из нескольких форматов: DDI Codebook описывает одно исследование (основная версия 2.5, новая 2.6 — 2026), DDI Lifecycle — весь цикл с вопросниками и волнами (3.3), DDI-CDI — данные любой области (1.0, 2025). Общая часть с 2026 года — стандарт ISO/PAS 25955.

DOI — постоянный идентификатор цифрового объекта вида 10.5281/zenodo.16546069: префикс организации и суффикс, который она придумывает сама. Ссылка https://doi.org/… перенаправляет на посадочную страницу. Для данных DOI обычно регистрируют в DataCite, для статей — в Crossref; технически это Handle с префиксом 10.. Удалить DOI нельзя. Общий (родительский) DOI объединяет все версии набора и ведёт на последнюю.

Dolt — база данных с языком SQL, совместимая с MySQL, с версиями как в Git: клон, ветки, слияние, разница по ячейкам. Публичные базы хранит DoltHub. Подробнее — в главе о Git-репозиториях.

Dublin Core — короткий набор полей описания: название, автор, дата, тема. Его часто отдают научные репозитории.

FAIR — принципы находимости, доступности, совместимости и повторного использования данных (2016). FAIR не значит «открыто»: набор с закрытыми файлами тоже может им соответствовать, если у него открытое описание, постоянный идентификатор и понятный порядок доступа.

FAIR Data Point — небольшой сервис, через который организация рассказывает в DCAT, какие данные у неё есть. Сами данные при этом остаются у владельца.

FAIR Signposting — способ подсказать программе главное о наборе без разбора HTML: страница набора в заголовке ответа или в отдельном файле (linkset) перечисляет ссылки на описание, файлы, лицензию и идентификаторы авторов. Есть в ядре Dataverse, InvenioRDM и DSpace.

Frictionless Data Package — стандарт описания набора данных файлом рядом с данными. Опубликованный описатель называется datapackage.json. Текущая версия стандарта — 2.0.

GeoDCAT-AP — профиль DCAT-AP для геоданных: как перевести карточку слоя по ISO 19115 в описание DCAT, понятное порталам открытых данных. По нему data.europa.eu читает национальные геокаталоги.

GeoPackage — открытый формат OGC для геоданных: один файл на основе базы SQLite, в котором лежат векторные слои, растры и их описание. Открывается в QGIS и других программах без сервера.

Git LFS — дополнение к Git для больших файлов: сами файлы хранятся отдельно, а в истории репозитория остаются ссылки на них. У площадки на это свои пределы размера файла и квота на хранение и скачивание.

GTFS — формат расписаний общественного транспорта: остановки, маршруты, рейсы. Дополнение GTFS Realtime передаёт положение машин и задержки в реальном времени.

Handle — система постоянных идентификаторов, на которой построены и DOI. Префикс получают в Handle.Net Registry за ежегодный сбор и держат свой сервер Handle. DSpace выдаёт Handle по умолчанию, но с префиксом-заглушкой 123456789, который вне сайта ничего не значит, пока организация не зарегистрирует свой.

HealthDCAT-AP — профиль DCAT-AP для описаний медицинских данных: орган доступа, категория данных, число людей в наборе, возрастной охват, правовое основание. Его готовит Еврокомиссия для каталогов, которые требует регламент о Европейском пространстве медицинских данных (EHDS); в 2026 году это проект спецификации.

IATI — стандарт раскрытия данных о помощи развитию: кто финансирует проект, сколько, где и с каким результатом. Публикуют международные организации, доноры и фонды.

INSPIRE — правила ЕС для пространственных данных: как описывать слои и как отдавать их каталогом. Действуют с 2007 года, с декабря 2025 года директиву упрощают; отдельный геопортал INSPIRE закрыт 1 июля 2026 года, его роль перешла к data.europa.eu.

ISO 19110 — стандарт каталога объектов для геоданных: какие типы объектов есть в слое и какие у них атрибуты. По сути — словарь полей слоя карты. Поддерживается в ядре GeoNetwork.

ISO 19115 — стандарт описания слоя карты: что изображено, за какой период, кто автор, в какой системе координат. Карточками обмениваются в XML по ISO 19139, новая редакция записывается по ISO 19115-3.

ISO/IEC 11179 — стандарт реестров метаданных: как описать отдельный элемент данных — его определение, допустимые значения, владельца и статус.

JSON — текстовый формат, которым программы обмениваются данными. Человеку он читается хуже таблицы, программе — лучше, чем PDF.

JSON Lines — файл, в котором каждая строка — отдельная запись JSON. Его читают построчно, не загружая целиком в память, поэтому он подходит для больших выгрузок со вложенными полями.

JSON-stat — лёгкий формат статистической таблицы в JSON: значения, разрезы и подписи в одном ответе. Версия 2.0 — формат по умолчанию у API Евростата и PxWebApi 2.

llms.txt — короткий текстовый файл о сайте для языковой модели: что здесь опубликовано и куда смотреть.

MCP — протокол Model Context Protocol, по которому каталог отдаёт ИИ-агенту готовый список запросов, справочники и инструкции, чтобы тот не угадывал адреса. Сервер MCP работает поверх API каталога. Хороший сервер — только на чтение, без ключа для открытых наборов и со ссылкой на набор в ответе. Подробнее — в главе об ИИ.

ML-каталог — каталог наборов данных, а часто и моделей, для обучения и проверки систем машинного обучения. Набор в нём разбит на части, загружается из кода и описан карточкой с перекосами и ограничениями.

ML-хаб — общий хаб, куда любой загружает наборы и модели: Hugging Face, Kaggle, ModelScope. Хаб данных — другое: несколько каталогов одной организации под общей вывеской.

MQA — оценка карточек, которые data.europa.eu забрал у портала: заполнены ли поля DCAT-AP и отвечают ли ссылки. Балл каталога — от 0 до 7,5 и среднее по тем описаниям, которые оценка посчитала. Портал, который в европейский каталог ничего не отдаёт, балла не получает.

NetCDF — формат многомерных массивов: переменные на сетке по времени и пространству. С соглашениями CF в нём хранят климатические, океанографические и атмосферные данные.

OAI-PMH — протокол, которым научные репозитории отдают описания записей сборщику. Передаёт только описания, без списка файлов, поэтому собранная по нему карточка часто не ведёт к самим данным.

OCDS — стандарт открытых данных о закупках: весь путь контракта от плана и торгов до исполнения.

ODIN — оценка официальной статистики стран, которую ведёт Open Data Watch. Смотрит сайт статистической службы и страницы, на которые она ссылается: есть ли данные по 22 темам и открыты ли они. Портал открытых данных страны в эту оценку может не входить.

ODRL — язык W3C для машиночитаемых условий использования: что разрешено, что запрещено, что обязательно сделать. Применяется в пространствах данных.

OGC API — семейство современных веб-интерфейсов к геоданным от консорциума OGC: Features для объектов, Records для каталога слоёв и другие. Постепенно заменяет WFS и CSW.

Open Data Maturity — ежегодная оценка европейских стран с 2015 года: политика, портал, качество метаданных и влияние, поровну. Это опрос национальных представителей, не обход файлов. В отчёте 2025 года участвовали 36 стран.

OpenAIRE — европейская инфраструктура открытой науки. Собирает описания публикаций, наборов данных и программ из репозиториев по OAI-PMH и из DataCite в общий граф научных результатов и даёт поиск по нему (OpenAIRE Explore). Сервис OpenAIRE CONNECT строит над этим графом отдельные витрины для научных сообществ.

OpenAPI — формат описания программного интерфейса: какие запросы он принимает и что отвечает. По описанию строят документацию и проверяют запросы.

openEO — открытый протокол обработки спутниковых данных на сервере: пользователь отправляет цепочку операций, сервер возвращает результат.

OpenID Connect — стандарт проверки личности поверх протокола OAuth 2.0: каталог отправляет пользователя войти во внешнюю систему и получает подтверждение, кто он. На нём работают Keycloak, облачные системы учётных записей, французский ProConnect.

OpenSharing (Delta Sharing) — открытый протокол, по которому облачная площадка даёт покупателю доступ к таблицам поставщика без копирования данных. Создан Databricks как Delta Sharing в 2021 году, в июне 2026 года стал OpenSharing и перешёл в Linux Foundation.

ORCID — постоянный идентификатор исследователя. По нему наборы и статьи связываются с автором, даже если его имя пишут по-разному.

OWL — язык онтологий W3C: классы, свойства и правила вывода поверх RDF. В нём записаны многие онтологии наук о жизни и сельского хозяйства.

Parquet — колоночный формат таблиц: хранит типы колонок и сжимает данные по колонкам. Файл в несколько раз меньше CSV, а аналитические программы читают его быстрее.

PC-Axis (PX) — файловый формат статистических таблиц со встроенным описанием разрезов и единиц. Родной формат PxWeb; его отдают и многие порталы открытых данных.

Piveau — свободная платформа каталогов, построенная вокруг DCAT и сбора чужих каталогов. На ней работает data.europa.eu.

PURL и w3id.org — бесплатные службы постоянных адресов: адрес на purl.org или w3id.org перенаправляет туда, где ресурс лежит сейчас, и при переезде меняется только правило перенаправления. purl.org ведёт Интернет-архив, w3id.org — сообщество W3C, правила в нём добавляют запросом в репозиторий на GitHub.

RDF — общая модель записи сведений в виде утверждений «объект — свойство — значение». На ней построены DCAT, SKOS и другие словари связанных данных.

re3data — международный реестр научных репозиториев: тематика, условия доступа, сертификаты.

RFC 9727 (api-catalog) — стандарт IETF 2025 года: по адресу /.well-known/api-catalog сайт отдаёт программе список своих интерфейсов. В 2026 году встречается редко.

RO-Crate — способ упаковать файлы исследования вместе с описанием: рядом с данными лежит ro-crate-metadata.json на основе schema.org. Так сдают и передают объект исследования. Каталог страны этим файлом не собирают. Рекомендация 1.3 — от 22 июня 2026 года.

ROR — открытый реестр научных организаций с постоянными идентификаторами. В описании набора ссылка на ROR указывает организацию автора или издателя однозначно.

SAML 2.0 — стандарт OASIS 2005 года для единого входа: система учётных записей организации передаёт каталогу подписанное подтверждение, кто вошёл и какие у него признаки. Основа университетских федераций входа и Shibboleth.

schema.org/Dataset — разметка страницы набора данных, по которой его находят поисковики. Google требует у описания от 50 до 5000 знаков.

SDMX — стандарт обмена статистикой: не файл за один год, а ряд с разрезами. Включает модель описания таблиц (разрезы, справочники, атрибуты), форматы SDMX-ML, SDMX-JSON и SDMX-CSV и правила API. Его ведут семь международных организаций, среди них Евростат, МВФ и ОЭСР; действующая версия — 3.1 (2025), но большинство сервисов работает по 2.1.

SKOS — способ описать словарь терминов и связи между ними (рекомендация W3C 2009 года): у каждого понятия адрес, названия на разных языках, код, связи «шире — уже» и соответствия понятиям других словарей.

SPDX — короткие коды лицензий, чтобы программа узнала лицензию без разбора юридического текста.

STAC — протокол описания пространственных файлов: где лежит файл, к какой территории и дате относится, как его скачать. Появился для спутниковых снимков, теперь им описывают и другие геоданные. Это не программа: STAC отдают отдельные серверы, статические наборы JSON-файлов и модули универсальных платформ вроде GeoServer.

StatDCAT-AP — дополнение к DCAT-AP для статистических таблиц: разрезы, атрибуты, ссылка на структуру SDMX. Нужно, чтобы таблицы статистической службы появились на портале открытых данных. Действующая версия — 1.0.1 (2019). Версия 3.0.0 с 10 июня 2026 года — рабочий черновик, приведённый к DCAT-AP 3.0.1.

Table Schema — стандарт семейства Frictionless для словаря полей таблицы: названия колонок, типы, допустимые значения.

VIVO — свободная программа для профилей учёных организации: люди, публикации, проекты, иногда наборы данных. Каталогом данных в строгом смысле не является, но в реестрах её установки встречаются среди поисковиков.

WARC и WACZ — форматы веб-архива. WARC хранит снимки страниц вместе с ответами сервера, его читают Интернет-архив и национальные библиотеки. WACZ — тот же архив, упакованный в ZIP вместе с индексом, его можно открыть в браузере без сервера.

WMS и WFS — протоколы OGC для геоданных. WMS отдаёт картинку слоя для просмотра, WFS — сами объекты, которые можно скачать и обработать. WMTS отдаёт карту заранее нарезанными плитками, поэтому она быстрее WMS, но тоже только для просмотра.

XBRL — язык финансовой отчётности, в котором каждая строка отчёта помечена машиночитаемым кодом. В нём компании сдают отчётность регуляторам во многих странах.

XKOS — расширение SKOS для статистических классификаций от DDI Alliance: уровни классификации, таблицы соответствия между редакциями, пояснения «включает» и «не включает».

Zarr — формат многомерного массива из отдельных кусков. Программа читает нужный кусок по сети. Так публикуют климатические поля, результаты моделей и другие массивы, которые не влезают в один файл.

Zenodo — общий научный репозиторий при ЦЕРН. Принимает данные любой дисциплины, выдаёт DOI и умеет автоматически архивировать выпуски репозиториев GitHub.