Перейти к основному содержимому

Поисковики и агрегаторы

Поисковик данных не публикует своих наборов. Он забирает описания из многих каталогов и даёт по ним один поиск. Сами файлы остаются у источника, человек переходит туда по ссылке.

Практический вывод для двух сторон. Тому, кто ищет данные, поисковик полезен как первый шаг, когда неизвестно, у кого они лежат. Но ответ «ничего не найдено» не значит, что данных нет: каждый поисковик видит только свою часть мира. Владельцу каталога поисковики дают пользователей почти даром, если каталог отдаёт описания стандартным способом. А собственный поисковик организации нужен редко: его дорого вести, и такие сервисы закрываются чаще других.

По выгрузке реестра dataportals-registry (выпуск 1.27.0 от 15 октября 2026 года) поисковиков 124. Это самый размытый тип в реестре: больше половины записей — витрины двух систем, а многие крупнейшие поисковики записаны другими типами. Разбор — в разделе «Число поисковиков — не мера».

Агрегатор или поисковик​

Оба забирают чужие описания и сами ничего не публикуют. Разница в том, для кого сделаны страницы. У агрегатора у каждого набора есть своя страница с постоянным адресом, и её специально показывают обычным поисковикам вроде Google: есть карта сайта, страница открывается без скриптов. Агрегатор хочет, чтобы его находили. Поисковик показывает только выдачу на запрос, а отдельных страниц, которые индексировал бы кто-то ещё, у него нет: человек сразу уходит к источнику.

  • NIAID Discovery Portal Национального института аллергии и инфекционных болезней США собирает описания биомедицинских наборов из десятков репозиториев. На 12 октября 2026 года в нём 14,2 миллиона записей, у каждой своя страница, а в robots.txt перечислены 26 карт сайта. Это агрегатор.
  • find.data.gov.scot называет себя поисковиком по данным Шотландии, но у каждого из 26,5 тысячи наборов из 70 источников своя страница, и все они перечислены в карте сайта (октябрь 2026 года). По устройству это тоже агрегатор.
  • Google Dataset Search своих страниц наборов не держит: карточка в выдаче ведёт на сайт источника. Это поисковик.

Для владельца данных разница практическая. Поисковик лишних копий не создаёт. Агрегатор — создаёт: в Google рядом с вашей страницей может оказаться страница агрегатора с тем же набором. Как сделать так, чтобы поисковик считал главной вашу, — в главе о находимости.

Дальше в главе оба вида называются поисковиками, если разница не важна.

Кто создаёт​

Поисковики данных делает в основном наука. Исследовательские инфраструктуры и фонды платят за поиск по научным результатам, потому что требуют от учёных публиковать данные и хотят видеть, что опубликовано.

ВладелецПоисковиковДоля
Университеты и научные организации8468%
Международные организации1714%
Компании86%
Сообщества и общественные организации76%
Центральные органы власти65%
Прочие22%

Научные сети — OpenAIRE и построенные на её графе витрины сообществ, EUDAT с поисковиком B2FIND, национальные поисковики исследовательских данных Швеции, Австралии, Китая, Турции.

Международные организации ищут по своей отрасли: поисковики Международной инициативы по прозрачности помощи (IATI) по проектам помощи развитию, eChemPortal ОЭСР по сведениям о химических веществах, Ocean InfoHub по данным об океане, GARDIAN исследовательского консорциума CGIAR по сельскохозяйственным данным.

Компании — Google с Dataset Search, GeoSeer с поиском по геосервисам, Transitland с каталогом расписаний транспорта.

Государства поисковики делают редко. Чаще они строят национальный портал, который сам собирает ведомства и регионы, — американский data.gov, европейский data.europa.eu. По смыслу это та же работа на уровень выше, но реестр записывает такие сайты порталами открытых данных. Заметное исключение — Шотландия, где поисковик появился раньше портала.

По территории: 37 поисковиков охватывают Евросоюз целиком, 21 — весь мир, 23 приходятся на Италию, 8 — на Германию. В остальных странах — один-два.

Число поисковиков — не мера​

Из 124 записей отдельных сервисов со своим индексом около сорока. Остальное устроено так:

  • 50 — витрины OpenAIRE CONNECT. Это облачный сервис OpenAIRE: сообщество, университетский альянс или исследовательская инфраструктура получает свой сайт поиска, который показывает срез общего графа OpenAIRE по правилам этого сообщества. Своего сбора у витрины нет. По сути это один поисковик с пятьюдесятью входами.
  • 28 — системы VIVO. VIVO — свободная программа для профилей учёных организации: люди, публикации, проекты, иногда наборы данных. Из 28 установок 17 — итальянские UNIFIND, которые университетам Италии ставит один консорциум. Отсюда и 23 «поисковика» Италии.
  • 6 — Idra. Все шесть — демонстрационные и тестовые стенды, и все не действуют, хотя саму программу продолжают развивать.

С другой стороны, многие крупные поисковики в реестре записаны иначе. Dateno, NIAID Discovery Portal, Research Data Australia, GESIS Search и DataONE числятся научными репозиториями. B2FIND, Earthdata Search NASA, OmicsDI, data.europa.eu и data.gov — порталами открытых данных. Отчасти это честно: многие из них одновременно и хранят что-то своё, и собирают чужое. Но считать мир поисковиков по одному типу реестра нельзя. Есть и обратные ошибки: поисковик голландского архива DANS EASY записан действующим, хотя закрыт 2 декабря 2024 года, а его наборы переехали в новые хранилища DANS Data Stations.

Что собирают​

Главная единица поисковика — запись о чужом наборе. В ней ровно то, что отдал источник: название, описание, издатель, ссылка на страницу набора, иногда лицензия, территория, даты и ссылки на файлы. Если источник не указал лицензию, у поисковика её тоже не будет: выдумывать он не имеет права.

Свою работу поисковик добавляет поверх:

  • приводит поля к одному виду — страну, формат, лицензию, тему, чтобы по ним работали фильтры;
  • склеивает дубли — один набор с городского, регионального и национального портала должен стать одной записью;
  • помнит источник и дату сбора, чтобы было видно, откуда запись и насколько она свежая;
  • иногда смотрит в сами данные — скачивает файл и разбирает колонки, как Auctus, или кладёт копию данных в своё хранилище.

Что именно попадает в поисковик, зависит от его источников. Научные поисковики собирают записи DataCite и репозиториев, государственные — порталы открытых данных, геопоиск — каталоги слоёв и геосервисы, агрегаторы статистики вроде DBnomics — сами временные ряды (в октябре 2026 года — 94 источника и около 47 тысяч наборов рядов). Общего поисковика, который одинаково хорошо видел бы все типы данных, нет.

Как устроены​

Внешне поисковики похожи: строка поиска, фильтры, список карточек. Устроены они по-разному, и от устройства зависит, что в них есть, а чего не будет никогда. Чаще всего встречаются семь моделей.

Поиск по разметке страниц​

Поисковик ни с кем не договаривается. Он обходит веб, как обычный поисковик, и забирает описания из разметки schema.org/Dataset на страницах наборов. Так работает Google Dataset Search: в феврале 2023 года — больше 45 миллионов наборов с 13 тысяч сайтов, новее официальной цифры Google не публиковал. Охват огромный, но только по тем сайтам, которые поставили разметку, и проверить её поисковик не может. Геопорталы и каталоги показателей разметку ставят редко, поэтому их данных здесь почти нет.

Сборщик по протоколам каталогов​

Поисковик ведёт список источников и для каждого типа платформы держит свой сборщик: API CKAN, файлы DCAT, OAI-PMH, CSW, интерфейс ArcGIS. Так устроены Dateno, B2FIND, BASE и OpenAIRE. Dateno 12 октября 2026 года показывал 22 миллиона наборов из 5,2 тысячи источников; в конце 2024 года у него были сборщики больше чем для 15 типов платформ. B2FIND консорциума EUDAT собирает научные репозитории Европы: в октябре 2026 года в нём 1,47 миллиона записей.

Такой модели нужен реестр источников с ручной проверкой и сборщик под каждую платформу. Самописный портал со своим интерфейсом она видит последним или не видит вовсе. У Dateno такой реестр — dataportals-registry, по которому посчитаны цифры этой книги. Реестр изначально создавался для поисковика, и Dateno индексирует порталы по их описаниям в реестре: по записанной платформе и адресам API выбирает сборщик.

Отраслевой агрегатор​

Собирает источники одной отрасли и знает её схемы описаний, поэтому даёт фильтры, которых нет у общих поисковиков: организм и тип эксперимента, прибор и спутник, вещество и регламент. Примеры:

  • NIAID Discovery Portal — биомедицина, 14,2 миллиона записей, 62% из одной базы NCBI GEO;
  • OmicsDI — данные «омиксных» исследований (геномика, протеомика и подобные), 4,9 миллиона наборов из 29 баз (октябрь 2026 года);
  • DataONE — науки о Земле и окружающей среде, около 1,08 миллиона текущих описаний без заменённых версий из 83 зарегистрированных репозиториев-участников;
  • Earthdata Search — данные наблюдений Земли NASA, 45 тысяч коллекций; каждая коллекция — серия продуктов, в которой могут быть миллионы файлов;
  • eChemPortal ОЭСР — сведения о химических веществах из государственных баз разных стран;
  • Transitland — расписания общественного транспорта в формате GTFS со всего мира.

Отраслевой агрегатор — самый живучий вид: у него есть заказчик, который понимает, зачем он нужен.

Национальный поисковик​

Страна или регион вместо одного общего портала собирает описания из сотен местных источников. find.data.gov.scot — 26,5 тысячи наборов из 70 источников; портал data.gov.scot появился позже, в 2026 году. Research Data Australia — поиск по австралийским университетам, научным организациям и ведомствам: в июле 2025 года около 224 тысяч записей, из них около 96 тысяч с данными, доступными онлайн. Похожие сервисы есть у Швеции (researchdata.se), Китая (Findata) и Турции (академический архив Harman).

Такой модели нужны договорённость с источниками, сбор по DCAT и ссылка на первоисточник в каждой карточке. Шотландский путь «сначала поиск, потом портал» разобран в главе «Федерации и агрегация».

Обходчик сервисов​

Поисковик сам находит серверы определённого стандарта и опрашивает их, не спрашивая владельцев. GeoSeer обходит геосервисы WMS, WFS, WCS и WMTS: 3,5 миллиона слоёв с 4,2 тысячи серверов. STAC Index ведёт список каталогов спутниковых снимков и других пространственных файлов в стандарте STAC: в октябре 2026 года 149 каталогов, из них 63 — серверы с API и 86 — статические наборы файлов. Обходчик видит то, что не размечено и ни в какой каталог не внесено, но только в своём стандарте.

Витрина над общим индексом​

Сама ничего не собирает, а показывает срез большого индекса по правилам сообщества: витрины OpenAIRE CONNECT, общий указатель точек FAIR Data Point, системы профилей VIVO. Запустить такую витрину дёшево, но содержимое у неё то же, что в общем индексе, со всеми его дырами.

Поиск по содержимому​

Поисковик скачивает сами файлы, разбирает колонки, их типы, даты и координаты и ищет уже по ним. Так работает Auctus Нью-Йоркского университета: в нём можно найти набор, который дополняет вашу таблицу по общей колонке, например по коду района или дате. Цена — охват: в октябре 2026 года в Auctus около 55 тысяч наборов из 64 источников, половина — с Humanitarian Data Exchange. Скачать и разобрать каждый файл дорого, поэтому поиск по содержимому пока остаётся нишевым.

Что из этого следует​

МодельПримерБез чего не обойтисьСлабое место
По разметке страницGoogle Dataset Searchразметка schema.org у источниковверит разметке на слово, не видит неразмеченное
Сборщик по протоколамDateno, B2FIND, OpenAIREреестр источников, сборщики под платформы, склейка дублейсамописные порталы без стандартного интерфейса
Отраслевой агрегаторNIAID, DataONE, Earthdataотраслевые схемы описаний и фильтрывидит только свою отрасль
Национальный поисковикfind.data.gov.scotдоговорённость с источниками, сбор по DCATдержится на одной команде и одном бюджете
Обходчик сервисовGeoSeer, STAC Indexпоиск серверов, разбор ответов стандартных сервисоввидит только свой стандарт
Витрина над индексомOpenAIRE CONNECTобщий индекс, настройка правил отборасодержимое не богаче общего индекса
По содержимомуAuctusскачивание и разбор файловмалый охват

Стандарты​

Своих стандартов у поисковика почти нет: он читает то, что источник отдаёт машинно. Поэтому его стандарты — это стандарты источников:

  • schema.org/Dataset на странице набора — так читает Google Dataset Search. Без разметки набор для него не существует.
  • DCAT и его профили — так общеевропейский и национальные порталы забирают друг друга, а независимые поисковики — порталы открытых данных.
  • OAI-PMH по руководствам OpenAIRE и схема DataCite — так научные агрегаторы забирают репозитории и записи с DOI.
  • CSW — так собирают каталоги слоёв геопорталов.
  • STAC — так перечисляют и связывают каталоги снимков.
  • FAIR Data Point — так научные каталоги публикуют описания в RDF и регистрируются в общем указателе.

Дальше описания приводят к одному виду, убирают дубли и ранжируют. Как устроена такая цепочка, разобрано в главе «Федерации и агрегация».

Единого стандарта выдачи у поисковиков нет: API у каждого свой, у одних открытый (DataCite, OpenAIRE, data.europa.eu), у других платный (GeoSeer) или по ключу (Dateno), у Google Dataset Search его нет совсем.

Обязанности у сторон простые. Источник должен отдавать стабильный адрес выгрузки и указывать лицензию у набора. Поисковик не должен показывать описание, у которого исходная страница уже не открывается, или хотя бы должен это помечать.

Платформы​

ПлатформаЧто этоПоисковиков в реестреAPI
OpenAIRE CONNECTоблачный сервис витрин сообществ над графом OpenAIRE50общий API OpenAIRE
Своя разработкаGoogle Dataset Search, GeoSeer, find.data.gov.scot, STAC Index и другие35у 20%
VIVOсвободная система профилей учёных, лицензия BSD-3-Clause28у 25%
Idraсвободная платформа федерации порталов открытых данных, лицензия AGPL-3.06все шесть — недействующие стенды
FAIR Data Pointуказатели точек FAIR Data Point2у обоих

По одному поисковику работают на DataLad (указатель наборов, которые хранятся в git-репозиториях под управлением DataLad) и на программе европейской геофизической инфраструктуры EPOS.

Idra — самый близкий к «готовому поисковику» вариант. Это свободная программа из каталога FIWARE: она федерирует порталы на CKAN, DKAN и Socrata, брокеры данных Orion, принимает выгрузки DCAT-AP, умеет разбирать страницы порталов без API, приводит описания к DCAT-AP и отдаёт их через REST API и SPARQL. Выпуск 4.0.0 вышел в марте 2025 года, изменения в код вносили и в октябре 2026 года. Но в реестре нет ни одной действующей установки: все шесть — демонстрационные стенды разработчиков и проектов, которые закрылись. Выбирая Idra, стоит заранее найти живую установку у похожей организации.

Платформа портала со сбором. Национальный или региональный агрегатор чаще строят на платформе портала, которая умеет собирать чужие каталоги:

ПлатформаСбор чужих каталоговЧто ещё нужно
Piveauв ядре: сбор и проверка качества описаний DCAT — основа платформы, на ней работает data.europa.eu—
CKANчерез расширения: каркас сбора ckanext-harvest, сбор RDF в ckanext-dcat, сбор CSW в ckanext-spatialсборщики для других протоколов — отдельные расширения или своя доработка
Idraв ядре: CKAN, DKAN, Socrata, выгрузки DCAT-AP, разбор страницсвоя проверка, что проект жив

На CKAN, например, работает B2FIND, причём на старой ветке 2.9.8, которая уже не получает обновлений, со своим расширением сбора. Реестр запишет такой сайт порталом открытых данных, хотя по сути он агрегатор. Подробности о расширениях — в главе о CKAN.

Своя разработка — сборщики плюс поисковый движок Elasticsearch, OpenSearch или Solr. Так сделаны почти все крупные поисковики. Готовой программы, которая из коробки собирает и CKAN, и DSpace, и GeoNetwork, и ArcGIS, нет, поэтому большой общий поисковик — всегда собственная разработка.

Примеры​

Общие

  • Google Dataset Search — ищет по разметке schema.org на любых сайтах.
  • Dateno — сборщик порталов открытых данных, геопорталов, научных репозиториев и статистики, 22 миллиона наборов; API по ключу.

Научные

  • OpenAIRE Explore — научные результаты Европы и мира, в том числе 108 миллионов записей о наборах данных.
  • DataCite Commons — все записи с DOI DataCite, включая наборы данных.
  • B2FIND — научные репозитории Европы, работает на CKAN.

Отраслевые

  • NIAID Discovery Portal — биомедицина.
  • OmicsDI — геномика, протеомика и подобные данные.
  • DataONE — науки о Земле и окружающей среде.
  • Earthdata Search — данные наблюдений Земли NASA.
  • Transitland — расписания общественного транспорта.

Национальные и региональные

  • find.data.gov.scot — Шотландия.
  • Research Data Australia — научные данные Австралии.
  • data.europa.eu — национальные порталы стран Европы; формально портал открытых данных, по работе — агрегатор агрегаторов.

Геоданные

  • GeoSeer — слои геосервисов WMS, WFS, WCS и WMTS.
  • STAC Index — каталоги снимков и других пространственных файлов.

По содержимому

  • Auctus — ищет по колонкам и значениям внутри файлов.

Как оценить поисковик​

Число наборов на главной странице говорит мало. Поисковик, в который залили два-три крупных научных агрегатора, получает десятки миллионов записей и остаётся поисковиком по научным данным. Полезнее проверить пять вещей.

  1. Разнообразие данных. Находятся ли рядом открытые данные государства, геоданные, научные наборы, статистика, данные для машинного обучения. Если почти всё одного типа, это отраслевой поиск, даже если он называет себя общим.
  2. Охват по странам. Находится ли что-нибудь по маленькой стране, а не только по США и Западной Европе. Простая проверка — запрос с названием небольшого государства на его языке.
  3. Источники. Сколько каталогов собрано и опубликован ли их список. Если список закрыт, нельзя понять, чего в поиске нет.
  4. Ссылки на файлы. Ведёт ли карточка к самому файлу или API, или только к странице набора у источника, а то и просто сообщает, что набор существует.
  5. Фильтры. Можно ли сузить выдачу по стране, типу источника, формату, лицензии, теме. Ранжировать наборы по ссылкам почти нечем, поэтому без фильтров длинная выдача бесполезна.

Эти критерии тянут в разные стороны: гнаться за числом записей проще, чем за разнообразием и ссылками на файлы. Хороший поисковик честно показывает, на что он сделал ставку.

Сколько в крупных индексах​

Цифры ниже нельзя сравнивать напрямую: каждый индекс считает «набором» своё. Они показывают порядок величин и то, из чего эти величины складываются.

ИндексЧто собираетЗаписей «наборов»ДатаОговорка
Google Dataset Searchстраницы с разметкой schema.orgболее 45 млн с 13 тыс. сайтовфевраль 2023 года, по данным Googleновее официальной цифры нет
DataCiteнаборы с идентификатором DOI76,4 млн12 октября 2026 года42,8 млн — от одного японского института термоядерного синтеза; ссылка на содержимое указана примерно у 12 тыс. записей
OpenAIRE Graphнаучные результаты, в том числе данные108 млн12 октября 2026 годассылка ведёт на страницу набора у источника, а не на файл
BASEнаучные репозитории по OAI-PMH25 млн, из них 22 млн из DataCiteноябрь 2024 года, по посту И. Бегтинав октябре 2026 года сайт закрыт от программ проверкой на робота, перепроверить не удалось
Datenoпорталы открытых данных, геопорталы, научные репозитории, статистика22 млн из 5,2 тыс. источников12 октября 2026 года, по счётчику на главнойв ноябре 2024 года было 19 млн из более чем 5 тыс. каталогов
NIAID Discovery Portalбиомедицинские репозитории14,2 млн12 октября 2026 года62% записей — из одной базы, NCBI GEO
OmicsDIбазы данных геномики, протеомики и подобных исследований4,9 млн из 29 баз12 октября 2026 годачасть этих баз собирает и NIAID
GeoSeerслои геосервисов WMS, WFS, WCS, WMTS3,5 млн с 4,2 тыс. серверов12 октября 2026 годавидит только сервисы этих стандартов
B2FINDнаучные репозитории Европы1,47 млн12 октября 2026 года—
DataONEрепозитории наук о Земле и окружающей среде1,08 млн12 октября 2026 годабез заменённых версий; со всеми версиями — 1,64 млн
Earthdata (CMR)данные наблюдений Земли NASA и партнёров45 тыс. коллекций12 октября 2026 годаколлекция — серия продуктов, а не файл

Три оговорки важнее самих чисел. Первая — нарезка: больше половины «наборов» DataCite дал один институт, который присваивает DOI каждому эксперименту, а NASA, наоборот, считает целую серию файлов одной коллекцией. Почему поле «число наборов» у разных каталогов различается на порядки, разобрано в главе «Мир каталогов в цифрах». Вторая — повторы: одни индексы собирают другие, поэтому 22 из 25 миллионов записей BASE — это DataCite. Третья — ссылки на файлы. Научные индексы собирают описания по OAI-PMH и из DataCite, а там списка файлов обычно нет. Из 76,4 миллиона записей DataCite типа «набор данных» ссылка на содержимое (поле contentUrl) есть примерно у 12 тысяч. Карточка сообщает, что набор существует, но скачать его из поиска нельзя.

Поиск геоданных​

Google Dataset Search геоданные почти не видит: большинство геопорталов не отдают разметку schema.org. Поэтому для них есть отдельные инструменты, и у каждого своё слепое пятно.

GeoSeer обходит серверы стандартных геосервисов. В октябре 2026 года в нём 3,5 миллиона слоёв с 4,2 тысячи серверов в 97 странах, больше всего — в доменной зоне Германии. Поиск на сайте бесплатный, API платный. Список источников не опубликован, а фильтров по стране и теме, по наблюдению 2024 года, нет. Главное ограничение — GeoSeer видит только сервисы WMS, WFS, WCS и WMTS. Слой, который выложен на портале открытых данных файлом или отдаётся через ArcGIS REST, для него не существует. Поиск ArcGIS Hub, наоборот, видит только сайты на облачной платформе Esri.

Такие сервисы ещё и недолговечны. Финская компания Spatineo вела открытый каталог Spatineo Directory: в 2023 году — больше 87 тысяч адресов геосервисов, почти все из Европы и Северной Америки. К октябрю 2026 года каталог закрыт, на его месте — платный поиск для ArcGIS Pro. Как ищут геоданные внутри самих геопорталов, разобрано в главе о геопорталах.

Где ломается​

Устаревшая копия. Поисковик забрал описание год назад, источник с тех пор переехал или убрал набор, а карточка в поиске осталась и ведёт на мёртвую ссылку.

Тройной учёт. Один набор попал в поиск трижды: с муниципального портала, с регионального и с национального. Агрегатор выглядит богаче источников и при этом завышает число наборов.

Агрегатор собирает агрегатор. Поисковику проще подключить один крупный агрегатор, чем сотню его источников. Но тогда он получает вторичные копии с уже потерянными полями и повторы: 22 из 25 миллионов записей BASE пришли из DataCite. Похожий выбор стоит перед агрегаторами статистики: брать ряд у национальной статслужбы или у Всемирного банка, который его уже перепечатал. Правило простое — собирать первоисточник, а агрегатор подключать только для тех источников, до которых самому не дотянуться.

Чужая копия вместо источника. В индексе Dateno в 2024 году к России относились 244 тысячи наборов, из них 195 тысяч давал геопортал одного научного центра. Это оказался клон описаний наборов метеослужбы США NOAA, а не российские данные. Агрегатору нужен реестр источников с ручной проверкой, иначе один такой сайт искажает всю статистику по стране.

Поиск только по описаниям. Найти набор, в котором есть колонка с кодом организации или с координатами, ни Google Dataset Search, ни DataCite Search не умеют: поля и значения внутри файлов они не индексируют. Auctus показывает, что это возможно, но пока на десятках тысяч наборов, а не на миллионах.

Разметке верят на слово. Всё, что Google Dataset Search знает о наборе, написал сам владелец страницы, в том числе отметку «доступно бесплатно». Проверить её поисковик не может. Разметку schema.org/Dataset ставят и продавцы данных ради продвижения, и их карточки перемешаны с открытыми наборами. В ноябре 2024 года на запрос о населении Андорры даже с фильтром «бесплатно» первыми шли страницы платных сервисов статистики, а данные ООН — где-то ниже. Тот же запрос по-испански не дал ничего, хотя данные об Андорре есть у статистических и геопорталов, которые разметку не ставят.

Ранжировать нечем. Ранжировать наборы по ссылкам, как веб-страницы, почти не получается: на набор редко ссылаются. Поэтому поиск по данным держится на фильтрах — страна, тип каталога, формат, лицензия, тема, — и качество фильтров зависит от того, насколько аккуратно источники заполнили описания.

Поисковики закрываются. Сбор надо поддерживать годами: источники переезжают, меняют платформы и API. Spatineo Directory закрыт, все шесть установок Idra в реестре не действуют, поиск DANS EASY закрыт вместе с архивом в декабре 2024 года, BASE закрылся от программ проверкой на робота. Если работа опирается на поисковик, сохраняйте ссылку на первоисточник, а не на карточку поисковика.

В грубой оценке доверия, которую считает реестр, поисковикам снижают балл: они не хранят данные и не отвечают за лицензию источника. Это не приговор, а напоминание не путать поиск с первоисточником. Подробнее в главе о методиках.

Как искать данные через поисковики​

Начинайте не с самого большого поисковика, а с того, который знает ваш тип данных.

Что ищетеГде искать сначала
Данные органов властинациональный портал страны, в Европе — data.europa.eu; затем Dateno
Статистикусайт статслужбы и её каталог показателей, DBnomics; затем Dateno
Геоданныенациональный геопортал, GeoSeer, Dateno, поиск ArcGIS; для снимков — STAC Index
Научные данныеDataCite Commons, OpenAIRE Explore, отраслевой агрегатор (NIAID, OmicsDI, DataONE, Earthdata)
Данные с любых сайтов, в том числе коммерческиеGoogle Dataset Search
Набор, который дополняет вашу таблицуAuctus

Несколько привычек экономят время:

  • Пишите запрос на языке страны и словами источника. Статслужба Испании называет население «población», а не «population». Андорра в ноябре 2024 года показала, что один и тот же поисковик на разных языках находит разное.
  • Сужайте фильтрами, а не листайте. Страна, формат, лицензия, тип источника отсекают больше лишнего, чем уточнение слов в запросе.
  • Проверяйте у источника. Лицензию, дату обновления и сам файл смотрите на странице набора у издателя: поисковик мог забрать описание давно и с потерями. Ссылайтесь тоже на источник, а не на карточку поисковика.
  • Не верьте пустой выдаче. Если ничего не нашлось, зайдите на портал или в каталог показателей нужной страны напрямую. Многие геопорталы и статистические сайты не попадают ни в один общий поисковик.

У нескольких поисковиков открытый API, и проверить, что о теме знает каждый из них, можно одной командой. Ответы проверены 12 октября 2026 года:

# DataCite: записи с DOI типа «набор данных», число — в meta.total
curl -s -g "https://api.datacite.org/dois?query=Andorra&resource-type-id=dataset&page[size]=1"
# OpenAIRE Graph: наборы данных, число — в header.numFound
curl -s "https://api.openaire.eu/graph/v1/researchProducts?type=dataset&search=Andorra&pageSize=1"
# data.europa.eu: наборы европейских порталов, число — в result.count
curl -s "https://data.europa.eu/api/hub/search/search?q=Andorra&filter=dataset&limit=1"
# NIAID Discovery Portal: биомедицина, число — в total
curl -s "https://api.data.niaid.nih.gov/v1/query?q=Andorra&size=0"
# Earthdata (CMR): число коллекций — в заголовке CMR-Hits
curl -sI "https://cmr.earthdata.nasa.gov/search/collections.json?keyword=Andorra"
# Auctus: поиск по колонкам и значениям внутри файлов
curl -s -X POST "https://auctus.vida-nyu.org/api/v1/search" \
  -H 'Content-Type: application/json' -d '{"keywords": ["Andorra"]}'

На этот запрос DataCite нашёл около 9,5 тысячи наборов, OpenAIRE — около 9,2 тысячи, data.europa.eu — 585, NIAID — 101, Earthdata — 60 коллекций. Числа говорят не о том, где больше данных об Андорре, а о том, как каждый поисковик ищет: научные индексы находят слово в описании любого набора, где страна упомянута хотя бы вскользь, а data.europa.eu видит только европейские порталы.

Чтобы ваш собственный каталог находили поисковики, нужны выгрузка описаний, разметка и регистрация в профильных реестрах. Это разобрано в главе о находимости, а для публикации без портала — в главе «Как сделать публикацию находимой».

Когда свой поисковик нужен, а когда нет​

Свой поисковик данных «по всему миру» организации почти никогда не нужен: такие сервисы уже есть, и даже они с трудом удерживают охват. Обычно хватает одного из более дешёвых вариантов:

  • попасть в существующие поисковики — отдавать описания в DCAT или OAI-PMH, ставить разметку schema.org, зарегистрироваться в профильных реестрах;
  • завести витрину над общим индексом — научному сообществу или альянсу университетов, у которых результаты уже есть в OpenAIRE, достаточно витрины OpenAIRE CONNECT;
  • собрать наборы на платформе портала со сбором — региону или стране, где источники уже работают на CKAN и других типовых платформах.

Свой поисковик оправдан в двух случаях. Первый — отраслевой: общие поисковики не знают схем описаний отрасли и не дают нужных фильтров, а у отрасли есть заказчик, готовый платить годами, как у NIAID или DataONE. Второй — национальный, когда данные уже разбросаны по сотне сайтов и быстро свести их в один портал нельзя, как в Шотландии. В обоих случаях до старта стоит ответить на три вопроса: кто ведёт реестр источников, кто чинит сборщики, когда источники меняют платформу, и что будет с адресами карточек, если проект закроется. Как записать такое решение с обоснованием — в главе «Как обосновать решение».

Чем отличается от соседей​

СоседГлавное отличие
Портал открытых данныхпубликует свои наборы и отвечает за них. Если портал и принимает публикации, и собирает чужие каталоги, как data.gouv.fr, это гибрид
Научный репозиторийхранит файлы и присваивает им DOI. Поисковик ничего не хранит и DOI не выдаёт
Каталог метаданныхописывает каталоги, структуры и справочники. Каталог каталогов вроде re3data отвечает на вопрос «где искать», поисковик — «что есть»
Геопорталпоказывает слои на карте и отдаёт сервисы. GeoSeer ищет по слоям, но сам сервисов не держит
Каталог показателейхранит сами ряды и их методику. Агрегатор статистики вроде DBnomics ближе к каталогу показателей, потому что копирует ряды, а не только описания
Копия чужих карточекперепечатывает описания без ссылки на источник и без даты сбора. Это не агрегатор, а копия

Сводная таблица всех типов — в главе «Сравнение типов и гибриды».

Источники​