Перейти к основному содержимому

Находимость

Набор опубликован, когда его можно найти, не зная адреса портала наизусть. Иначе каталог — внутренний диск с красивой обложкой.

Эта глава — про каталог целиком: что платформа должна делать сама для сотен и тысяч страниц, где регистрировать каталог и как проверить, что поисковики его видят. Как сделать находимой одну страницу или репозиторий без портала, написано в главе «Как сделать публикацию находимой».

Поисковики​

Google Dataset Search и похожие системы читают разметку schema.org/Dataset на странице набора. Рядом нужна карта сайта sitemap, по которой поисковик обходит все страницы наборов: по выгрузке реестра dataportals-registry (выпуск 1.27.0 от 15 октября 2026 года) это самый частый машинный адрес каталогов, около 7 тысяч записей. Название и описание пишут человеческим языком. Набор «Выгрузка 12» не ищется.

На портале разметку и карту сайта не пишут руками: их должна выдавать платформа для каждой страницы.

ПлатформаРазметка schema.org на странице набораКарта сайта
CKANрасширение ckanext-dcat, модуль structured dataне в ядре; сторонние расширения ckanext-sitemap, сообщество CKAN их не ведёт, самое свежее обновлялось в 2024 году
Dataverseв ядрев ядре: создаётся командой администратора, большой каталог делится на несколько файлов
InvenioRDMв ядрев ядре начиная с v13: создаётся и обновляется сама, указана в robots.txt
GeoNetworkв ядре: JSON-LD schema.org на странице записи; поля Croissant для схемы ISO 19115-3 добавлены в ветку будущего выпуска 4.4.13, в 4.4.12 их нетв ядре, но robots.txt со ссылкой на неё лежит внутри адреса GeoNetwork, а не в корне сайта; карту отправляют в поисковики вручную
Облачные сервисыпроверьте на странице набора: разметка бывает урезаннойпроверьте адрес /sitemap.xml

Google советует ставить разметку на одну главную страницу набора, а на копиях — например, в результатах поиска или на портале, который собрал набор у источника, — ссылаться на неё свойством sameAs. Для федерации это важно: если региональный портал повторяет карточку города с полной разметкой и без ссылки на оригинал, поисковик видит два разных набора.

Что поисковик не видит​

Поисковый робот читает HTML-страницу и идёт по ссылкам. Всё, до чего нельзя дойти так, для него не существует, даже если человек в браузере видит это без труда.

Интерфейс, который рисует скрипт. Страница приходит пустой оболочкой, а список наборов и описания дозагружает скрипт из API. Робот, который не выполняет скрипты, видит пустую страницу; веб-архив — тоже. Так устроен раздел «Сборники» на сайте Росстата: в HTML страницы нет ни одной ссылки на документ, список подгружается отдельным запросом (так он выглядел в веб-архиве в феврале 2026 года). Документы Росстата всё равно находятся в поиске, но в основном потому, что на них ссылаются другие сайты. Так же сделана и страница набора на data.europa.eu: в исходном HTML нет ни описания, ни разметки, всё дорисовывает скрипт (октябрь 2026 года). Архив бюллетеней Счётной палаты отдаёт документы через поисковый API, и до самих PDF роботы не доходят — этот случай разобран в главе об архивации.

Лечится это не отказом от API, а тем, что у каждого набора есть обычная страница: сервер сразу отдаёт HTML с описанием, ссылками на файлы и разметкой, а списки наборов листаются обычными ссылками. API — в дополнение к страницам, а не вместо них.

Сайт закрыт для зарубежных адресов. Поисковики, веб-архивы, агрегаторы и ИИ-агенты ходят из облачных дата-центров в разных странах. Если сайт не отвечает на запросы из-за рубежа, он выпадает отовсюду сразу. 12 октября 2026 года с зарубежного сервера не открылись ни rosstat.gov.ru, ни ach.gov.ru. Что это значит для каталога и как проверить, разобрано в антипаттерне «Дверь закрыта для программ» и в главе об архивации.

Карта сайта, о которой поисковик не знает. Поисковик ищет robots.txt только в корне сайта. GeoNetwork кладёт свой robots.txt со ссылкой на карту сайта внутрь своего адреса, например /geonetwork/srv/api/robots.txt, и документация прямо советует регистрировать карту в поисковиках вручную. В октябре 2026 года у geodata.nz, geocat.ch и эстонского каталога геоданных файла robots.txt в корне не было. Разметку schema.org на страницах записей GeoNetwork 4.4 отдаёт, но без карты сайта робот до этих страниц может и не добраться. Поэтому каталоги на GeoNetwork находят в основном через агрегаторы — data.europa.eu, который с 1 июля 2026 года заменил геопортал INSPIRE, и национальные геокаталоги, — а не через обычный поиск.

Разметка есть и у спама​

Разметку schema.org/Dataset ставит сам владелец страницы, и никто её не проверяет. Проект Web Data Commons извлекает такую разметку из открытого веб-индекса Common Crawl. В выпуске 2024 года тип Dataset нашёлся на 694 тысячах страниц примерно 2 тысяч сайтов. По ручной оценке И. Бегтина (июнь 2024 года), из 1,4 миллиона размеченных так объектов примерно треть — мусор (например, обычные статьи справочных сайтов, размеченные как наборы данных), треть — страницы продавцов данных и только треть — данные, которые можно скачать.

Тип DataCatalog, которым размечают каталог целиком, встречается так редко, что Web Data Commons не выделяет его в отдельную выборку ни в 2023, ни в 2024 году. По проверке реестра каталогов в 2024 году, такая разметка была примерно у одного каталога из тысячи.

Крупные порталы тоже размечают по-разному. В 2024 году data.gov отдавал урезанную разметку — название и ключевые слова. В октябре 2026 года на новом каталоге catalog.data.gov в разметке набора есть и лицензия, и список файлов. У data.europa.eu разметки в HTML нет вовсе.

Отсюда практический вывод: разметка сама по себе не отличает ваш набор от спама. Заполните в ней то, чего у спама обычно нет: лицензию, издателя, список файлов с прямыми ссылками (distribution с contentUrl) и ссылку на каталог (includedInDataCatalog), как в примере в документации Google.

Агрегаторы и реестры​

Верхний портал найдёт вас только по выгрузке, о которой вы договорились. Как это устроено и как попасть в сбор, разобрано в главе «Федерации и агрегация».

Независимые агрегаторы и поисковики данных — Dateno, find.data.gov.scot, научные агрегаторы — тоже не обходят весь интернет. Они ведут список источников и для каждого типа платформы держат свой сборщик. Отсюда два надёжных пути попасть к ним:

  • Публиковать там, где уже собирают. Национальный или ведомственный портал, Zenodo, отраслевой репозиторий: их сборщики уже настроены, и новый набор попадёт в агрегаторы без ваших усилий.
  • Ставить типовое ПО с известным интерфейсом. CKAN отдаёт свой API и DCAT, DKAN — файл data.json, JKAN — общий data.json, InvenioRDM — REST API и OAI-PMH. Сборщики для них уже написаны, достаточно сообщить адрес каталога. Самописному порталу со своим интерфейсом нужен отдельный сборщик, и до него агрегатор доходит последним или не доходит вовсе.

Насколько это важно, видно на российском примере. В 2024 году из 154 российских каталогов в реестре Dateno проиндексировали около 15. Причины назвали такие: государственные сайты закрыты для зарубежных адресов, перечни по методическим рекомендациям неудобно собирать, а для 40–50 самописных порталов нужен свой сборщик для каждого. Финляндию, где каталоги работают на типовом ПО, собрать было гораздо проще.

Дополнительно каталог регистрируют там, где его аудитория ищет сам перечень порталов:

  • национальный реестр или верхний портал страны;
  • re3data для научного репозитория — заявку подаёт сам репозиторий через форму на сайте, после проверки появляется карточка с тематикой, условиями и сертификатами;
  • FAIRsharing для базы данных или стандарта;
  • реестр dataportals-registry — он описывает каталоги для тех, кто ищет портал, а не набор.

Регистрация не заменяет выгрузку. Карточка в реестре со сломанным адресом хуже, чем отсутствие карточки: после переезда портала обновите и её.

Программы​

Программе нужны стабильный API или файл всех описаний и документация без капчи. Файл llms.txt — короткая записка для языковой модели о том, что есть на сайте; это предложение формата, а не принятый стандарт. MCP — способ отдать программе список запросов каталога. И то и другое имеет смысл, когда каталогом уже пользуются такие программы. Они не чинят отсутствие DCAT. Подробнее в главе о трендах.

Как проверить, что каталог находят​

Подставьте адрес портала и адрес страницы одного набора:

PORTAL=https://portal.example
PAGE=https://portal.example/dataset/budget-2026

# карта сайта отвечает и указана в robots.txt
curl -s "$PORTAL/robots.txt" | grep -i sitemap
curl -s -o /dev/null -w "%{http_code}\n" "$PORTAL/sitemap.xml"

# на странице набора есть разметка Dataset
curl -s "$PAGE" | grep -o '"@type": *"Dataset"' | head -1

Дальше три шага, которые командой не проверить:

  1. Прогоните страницу набора через проверку расширенных результатов Google — она покажет ошибки в разметке Dataset.
  2. Добавьте сайт в Google Search Console и отправьте карту сайта. Там видно, сколько страниц поисковик проиндексировал и почему пропустил остальные.
  3. Через несколько недель найдите пять-десять наборов по названию в Google Dataset Search. Если находятся копии с агрегаторов, а не ваши страницы, проверьте sameAs и то, что страница набора открывается без входа.

Короткий порядок​

Адрес, schema.org, карта сайта и выгрузка в нужном профиле уже стоят в чек-листе требований. Здесь к ним добавляются регистрация каталога в профильном реестре, отправка карты сайта в Search Console и проверка через месяц: набор находится поиском, выгрузка открывается.

Источники​