Перейти к основному содержимому

Каталоги микроданных

Каталог микроданных описывает переписи и обследования: кого спрашивали, как строили выборку, какие вопросы задавали, что означает каждая переменная. К описанию прилагаются файлы с записями об отдельных людях, домохозяйствах или предприятиях — обезличенные, но всё равно чувствительные. Поэтому описание здесь открыто почти всегда, а файл часто выдают по регистрации, по заявке или только в защищённой среде.

По выгрузке реестра dataportals-registry (выпуск 1.27.0 от 15 октября 2026 года) таких каталогов 326 — меньше 1% всех каталогов. У половины из них (49%) часть файлов закрыта, и это нормально для типа. А вот доля неработающих сайтов здесь самая высокая среди всех типов: 59 каталогов, около 18%, не открываются.

Главный вывод главы: каталог микроданных ценен описанием, а не файлом. Исследование, которое нельзя найти по переменным и для которого не написано, как получить доступ, для исследователя не существует, даже если файлы лежат на сервере. Хороший каталог открыто показывает всё, кроме самих записей, отдаёт описания программам в стандарте DDI и честно говорит, кто, на каких условиях и в какой срок выдаст данные.

Как устроено описание обследования​

В портале открытых данных главное — файл, в каталоге показателей — число с разрезами. Здесь главное — исследование, у которого три уровня описания.

  • Исследование (study) — одна перепись или одна волна обследования: кто проводил, когда, на какой территории, кого опрашивали (единица наблюдения и генеральная совокупность), как строили выборку, каким способом собирали ответы.
  • Файл данных — одна таблица записей: домохозяйства, члены домохозяйства, земельные участки. У одного исследования файлов бывает больше сотни.
  • Переменная — одна колонка файла: имя, подпись, текст вопроса, допустимые значения с подписями, число ответов по каждому значению, пропуски, признак веса.

Рядом лежат материалы: вопросники, инструкции интервьюерам, отчёт о выборке, коды для расчёта весов. И условия доступа: тип доступа, текст соглашения, как ссылаться на данные.

Как это выглядит вживую, видно на панельном обследовании домохозяйств Нигерии 2023–2024 годов в библиотеке микроданных Всемирного банка. 12 октября 2026 года API каталога отдаёт по нему:

УровеньЧто в описании
Исследованиеномер NGA_2023_GHSP-W5_v02_M, Национальное бюро статистики Нигерии, единицы наблюдения — домохозяйства, люди, участки и общины; описание выборки; DOI 10.48529/90ec-pv69
Файлы108 файлов, у каждого описание: какой раздел анкеты и на каком уровне собраны данные
Переменные4531 переменная. У переменной zone шесть значений — от «1. North Central» до «6. South West» — и число записей по каждому: 851, 824, 870, 835, 839, 848, всего 5067
Доступфайлы общего пользования: скачать после регистрации и согласия с условиями — ничего не копировать для других, не пытаться узнать респондентов, ссылаться на источник по образцу

Описание целиком скачивается в формате DDI Codebook 2.5, а DOI ведёт на страницу исследования и отдаёт готовую ссылку в BibTeX. По частоте значений исследователь ещё до заявки видит, хватит ли ему наблюдений по нужному региону. Это и есть главная работа каталога микроданных: дать решить, нужны ли данные, не выдавая их.

Что получает свою страницу​

В каталоге микроданных свою страницу почти всегда получает исследование, в хороших каталогах — ещё и каждая переменная. Поэтому число «наборов» здесь несопоставимо с порталами открытых данных: одно исследование — это сотня файлов и тысячи переменных. 12 октября 2026 года в библиотеке микроданных Всемирного банка 7145 исследований, в сводном каталоге IHSN — 13 085, в цифровой библиотеке переписей Индии — 40 268 записей. Каталог Maelstrom Research на OBiBa Mica описывает 473 эпидемиологических исследования и около 2,05 миллиона переменных: поиск идёт по переменным, а не по названиям исследований.

Уровни доступа​

Уровни доступа — то, что отличает каталог микроданных от остальных типов. Это не недостаток, а способ дать данные тем, кому они нужны, и не раскрыть людей. Удалить имена недостаточно: человека часто выдаёт сочетание возраста, профессии и маленького населённого пункта (подробнее — в статье «Обезличивание» глоссария). Чем подробнее файл, тем строже доступ.

В NADA, самой распространённой платформе типа, семь типов доступа:

Тип доступаНужен входЧто делает пользовательОдобрениеОткуда данные
Открытые данныенетпринимает условиянетиз каталога, в открытых форматах вроде CSV
Прямой доступнетпринимает условиянетиз каталога, часто в форматах SPSS или Stata
Файлы общего пользованиядазаполняет форму запросанетиз каталога
Лицензированные данныедаподаёт заявку с целью исследованиядаиз каталога после одобрения
Защищённая среданетскачивает форму заявкивне сайтатолько в защищённом помещении или среде
Внешний репозиторийнетпереходит по ссылке—с сайта владельца данных
Данные недоступны———только описание

Два последних типа важны не меньше остальных. Каталог может быть полезен, даже если сам не хранит ни одного файла: в библиотеке микроданных Всемирного банка 12 октября 2026 года у 67% исследований (4790 из 7145) данные лежат во внешнем репозитории — у статистической службы, в программе DHS или в IPUMS. Файлы общего пользования — у 18%, прямой доступ — у 12%, открытые данные и лицензированный доступ — около 2% каждый.

Самые подробные данные — налоговые, медицинские, связанные регистры — не выдают вообще. С ними работают в доверенной исследовательской среде: одобренный исследователь заходит в защищённую систему, считает там и забирает только проверенные результаты. Так устроены SecureLab в UK Data Service и французский CASD. Норвежский microdata.no, который с 2018 года ведут Sikt и Статистика Норвегии, пошёл дальше: сотрудники и студенты одобренных организаций анализируют регистровые данные онлайн без заявки, но видят только результаты расчётов, а не записи. По докладу ОЭСР 2025 года о 16 статистических службах, такая роль «доверенного посредника» становится для служб обычной. Ещё один путь — синтетические данные: искусственные записи с теми же статистическими свойствами, которые можно отдать всем.

Для каталога из этого следуют три требования. Описание открыто при любом уровне доступа. Условия записаны до заявки: кто может получить, что нужно приложить, сколько ждать ответа. И на странице видно, какой уровень у каждого файла, а не только у исследования в целом. Как это устроено в разных платформах, разобрано в главе о доступе и ролях.

Кто создаёт​

Больше половины каталогов микроданных у центральных органов власти — в основном это национальные статистические службы.

ВладелецКаталоговДоля
Центральные органы власти17955%
Университеты и научные организации10432%
Международные организации206%
Общественные организации144%
Регионы41%
Компании и прочие52%
  • Статистические службы публикуют переписи и обследования домохозяйств, рабочей силы, бюджетов, здоровья. В развивающихся странах каталог часто появлялся при поддержке программ Всемирного банка и сети IHSN, поэтому 59% каталогов служб — на NADA.
  • Университетские архивы социальных данных хранят опросы общественного мнения, панельные и когортные исследования. Здесь платформы пестрее: NADA только у 21%, рядом OBiBa Mica, Colectica, Dataverse и свои системы.
  • Международные организации — Всемирный банк, ВОЗ, ФАО, УВКБ ООН, Тихоокеанское сообщество. У них 18 из 20 каталогов на NADA.
  • Консорциумы опросов — Afrobarometer, Arab Barometer, Latinobarómetro, Asian Barometer — публикуют свои волны на обычных сайтах: на WordPress или собственных.

Каталоги микроданных есть в 139 странах, ещё 27 охватывают весь мир. Ни у одной страны их не больше двух десятков: США — 18, Канада — 12, Германия — 11. Тип устроен так, что у страны обычно один-два каталога статистической службы и несколько университетских архивов.

Почему 326 — нижняя граница​

Число каталогов микроданных в реестре сильно занижает мир обследований. Самые крупные архивы социальных данных — UK Data Service, ICPSR, GESIS, финский FSD, шведский SND, Австралийский архив данных, норвежский Sikt — в реестре записаны научными репозиториями или порталами открытых данных: у них DOI, долгое хранение и данные не только из обследований. Европейский каталог CESSDA, который собирает описания национальных архивов, 12 октября 2026 года отдавал около 33 тысяч описаний исследований. Поэтому для поиска обследований стоит смотреть и в главу о научных репозиториях: граница между двумя типами проходит внутри архивов социальных наук.

Что публикуют​

  • Переписи населения — полные или выборочные файлы записей. В Латинской Америке их распространяют через REDATAM, в остальном мире — через NADA и IPUMS.
  • Обследования домохозяйств — бюджеты, уровень жизни, рабочая сила, здоровье. Многие из них — международные программы с общей анкетой: LSMS Всемирного банка, DHS, MICS ЮНИСЕФ, STEPS ВОЗ.
  • Опросы общественного мнения и панели — European Social Survey, немецкий SOEP, российский RLMS-HSE, китайский CFPS.
  • Когорты и биобанки — эпидемиологические исследования, где за людьми наблюдают годами: CanPath и CLSA в Канаде, европейские проекты RECAP Preterm и EUCAN.
  • Микроданные предприятий и банков — исследовательские центры Бундесбанка, Банка Италии, Банка Португалии.
  • Административные регистры — налоги, занятость, пособия, связанные по личному коду. Их почти никогда не выдают файлом, только в защищённой среде.
  • Код и данные для перепроверки исследований — репозиторий воспроизводимых исследований Всемирного банка на той же NADA: 585 записей в октябре 2026 года против 163 в 2024-м.

Чего в каталоге микроданных обычно нет: имён, адресов и точных координат респондентов (их удаляют до публикации), готовых рядов показателей (это каталог показателей), а у закрытых исследований — самих файлов.

Стандарты​

DDI (Data Documentation Initiative) — главный стандарт типа. Его ведёт DDI Alliance, а 6 марта 2026 года общая часть стандартов DDI опубликована как ISO/PAS 25955:2026. Это не один формат, а семья:

  • DDI Codebook — описание одного исследования и его файлов, «электронная книга кодов». Именно его отдают NADA, Dataverse и европейский каталог CESSDA. Версия 2.5 вышла в 2012 году и остаётся основной. Версия 2.6 вышла 15 апреля 2026 года, её поддержка в платформах только начинается.
  • DDI Lifecycle — описание всего цикла: вопросник, повторное использование вопросов и переменных между волнами, обработка, версии. Версия 3.3 (2020). Нужен лонгитюдным исследованиям и службам, которые ведут банк вопросов. На нём работает Colectica.
  • DDI-CDI — новая модель для данных любой области, версия 1.0 вышла в 2025 году. Описывает не только обследования, но и связь данных между доменами и происхождение каждого значения. В каталогах пока почти не встречается.

Рядом с DDI работают контролируемые словари — общие списки значений для способа сбора, единицы наблюдения, типа выборки. Их ведут DDI Alliance и CESSDA. Без них поле «способ сбора» в двух архивах заполнено по-разному, и общий поиск по нему не работает.

Обмен описаниями. Сборщики забирают DDI по протоколу OAI-PMH. Так устроен каталог CESSDA: он принимает описания только по OAI-PMH в DDI Codebook 2.5 и по своему профилю метаданных, который проверяет отдельный валидатор. Dataverse отдаёт описания по OAI-PMH в DDI в ядре. У NADA протокола OAI-PMH нет: описания забирают через её собственный API или скачивают в DDI по одному исследованию. Поэтому каталог на NADA нельзя подключить к европейской федерации архивов напрямую, без промежуточной выгрузки.

Для поисковиков нужны не DDI, а разметка schema.org/Dataset и DOI. NADA ставит разметку JSON-LD на страницу исследования в ядре. DOI выдаёт DataCite, как и для научных данных; Всемирный банк к октябрю 2026 года зарегистрировал около 3 тысяч DOI на страницы своей библиотеки микроданных. Подробнее — в главах об экспорте метаданных и об идентификаторах.

Инструменты описания. DDI редко пишут руками. Для обследований есть Metadata Editor Всемирного банка — открытый (MIT) с 2025 года редактор описаний микроданных, документов, таблиц и геоданных; NADA с выпуска 5.7 использует его шаблоны. Для данных, оставшихся в Nesstar Publisher, IHSN выложила на GitHub инструмент выгрузки DDI и данных из его файлов (обновлялся в феврале 2026 года). Коммерческая альтернатива — Colectica Designer.

Платформы​

ПлатформаКаталогов в реестреЧто этоНе открываются
NADA158свободная (MIT) платформа Всемирного банка и IHSN47
Своя разработка43сайты служб и архивов; программный доступ отмечен у 12%0
REDATAM38бесплатная программа ЭКЛАК ООН для переписей, в основном Латинская Америка6
OBiBa Mica27свободный (GPL-3.0) каталог эпидемиологических исследований3
Nesstar13снят с поддержки2
IPUMS13сайты проекта гармонизации Университета Миннесоты0
Colectica11коммерческая платформа на DDI Lifecycle, в основном лонгитюдные исследования0
WordPress, Drupal11 и 7сайты архивов и опросов0

Видно, что тип держится на одной свободной платформе. NADA — почти половина каталогов, и почти все неработающие сайты типа — тоже NADA. Это не порок программы, а след того, как её ставили; об этом — в разделе «Где ломается». Самописных каталогов всего 13% — меньше, чем у любого крупного типа: задача узкая, и готовое решение есть. Зато у самописных программный доступ почти нулевой.

Основные платформы​

  • NADA — свободный каталог микроданных, который разрабатывает Всемирный банк вместе с сетью IHSN. Выпуски выходят часто: 5.6 — июль 2026 года, 5.7 — сентябрь, 5.7.1 — 4 октября 2026 года. Уровни доступа, заявки на лицензированные данные, импорт и выгрузка DDI, поиск по переменным — в ядре. С выпуска 5.6 NADA описывает не только обследования, но и показатели с временными рядами, документы, таблицы и геоданные; права можно давать по пользователям и коллекциям, есть встроенная статистика просмотров и скачиваний. Для администраторов есть клиенты API для R и Python (NADAR и PyNADA).
  • REDATAM — программа отдела народонаселения ЭКЛАК (CELADE), которую развивают с 1985 года. Она хранит переписи в собственном формате и строит по ним таблицы для любой территории, вплоть до квартала. ЭКЛАК распространяет её бесплатно и называет свободной; по данным сайта, она помогла 34 странам. Текущее поколение — RedatamX (с 2024 года): работает в Windows, Linux и macOS и как пакет redatamx для R. Предыдущая Redatam7 работает только в 32-битной Windows, последний выпуск — март 2021 года. Онлайн-обработка позволяет считать таблицы прямо на сайте службы без скачивания записей.
  • OBiBa Mica — свободный каталог эпидемиологических исследований и консорциумов: подробные словари переменных, сети исследований, заявки на доступ. Выпуски выходят регулярно (6.3.7 — сентябрь 2026 года). Работает в паре с хранилищем OBiBa Opal. Данные на таких порталах почти всегда выдают только по заявке.
  • Colectica — коммерческий набор программ американской компании на DDI Lifecycle: редактор, репозиторий метаданных и портал. На нём работают Статистика Новой Зеландии, статистическая служба Ирландии, британский CLOSER и американские лонгитюдные исследования. В августе 2026 года компания объявила Colectica Repository 8 с сервером MCP, через который ИИ-агент читает описания DDI.
  • IPUMS — не тиражируемая платформа, а проект: Университет Миннесоты собирает переписи и обследования многих стран и приводит переменные к одному виду, чтобы страны и годы можно было сравнивать. IPUMS International в октябре 2026 года — 104 страны, 656 переписей и обследований, больше миллиарда записей о людях. Данные выдаются бесплатно после регистрации, выборками под запрос.
  • Dataverse в реестре числится среди научных репозиториев, но для микроданных его выбирают часто: описание в DDI, файлы с ограниченным доступом, DOI и OAI-PMH — в ядре. При загрузке таблиц SPSS или Stata он сам извлекает описания переменных. На Dataverse переехали канадский ODESI (в репозиторий Borealis) и Австралийский архив данных.

Ядро и дополнения​

ВозможностьNADADataverseOBiBa MicaREDATAM
Уровни доступа к файламядро, семь типовядро: открытые и ограниченные файлы, запрос доступаядро: описания открыты, данные по заявкеданные на сервере службы, наружу — таблицы
Заявки и их журналядроядроядронет
Описание переменныхядро, из DDIядро, извлекается из файлов SPSS и Stataядро, главный объект каталогаядро, словарь базы
Выгрузка DDIядро, DDI Codebookядро, DDI Codebookне проверенонет, свой формат
OAI-PMHнетядроне проверенонет
schema.orgядро (JSON-LD)ядроне проверенонет
DOIполе для DOI, выпущенного отдельно в DataCiteядроне проверенонет
Экспорт цитированияядро, через DataCite, если есть DOIядроне проверенонет
APIядроядроядроREST-сервис и пакет для R
Онлайн-расчёты без выдачи записейнетнет в ядренетядро

Из таблицы следуют два вывода. NADA закрывает главное — уровни доступа и описание в DDI, — но в европейскую федерацию архивов и в сборщики научных данных её описания попадают только через промежуточную выгрузку, а DOI придётся регистрировать самим. Dataverse даёт DOI и OAI-PMH, но семи типов доступа и онлайн-расчётов в нём нет. Поэтому статистической службе обычно ближе NADA, а университетскому архиву — Dataverse.

Nesstar: что делать с наследием​

Nesstar — набор программ норвежской службы NSD и британского архива данных, на котором в 2000–2010-х годах работали многие архивы и статистические службы. С версией 4.0 в 2015 году его объявили устаревшим, к 2022 году окончательно сняли; Nesstar Publisher распространяется без поддержки. Статистика Канады отключила свой Nesstar в январе 2022 года по соображениям кибербезопасности. Канадский ODESI выбрал для переезда Borealis на Dataverse, и в октябре 2026 года прежний адрес его Nesstar ведёт на новый сайт, а коллекции ODESI видны в Borealis отдельными наборами для OAI-PMH. У GESIS адрес Nesstar-каталога ZACAT ведёт на общий поиск GESIS. UK Data Service ещё держит Nesstar, но в заявлении о доступности от 21 августа 2026 года пишет, что приложение со временем выведут из работы, поэтому исправлять в нём проблемы доступности не станут.

Для нового каталога Nesstar не выбирают. Если каталог ещё на нём, план переезда нужен до того, как сайт перестанет открываться: выгрузить описания в DDI и данные инструментом IHSN, выбрать платформу по задаче (NADA — для каталога с уровнями доступа, Dataverse — для репозитория с DOI) и оставить перенаправления со старых адресов.

Как выбрать​

Выбор начинается с двух вопросов: кто будет получать данные и насколько подробны записи.

СитуацияЧто взятьПочему и чем платим
Статистическая служба публикует обследования с разными уровнями доступаNADAуровни доступа и DDI в ядре; OAI-PMH и регистрацию DOI придётся добавить самим
Университетский архив, нужны DOI, долгое хранение и обмен с CESSDADataverse или вступление в национальный архив социальных данныхDOI и OAI-PMH в ядре; семи типов доступа нет
Эпидемиологическая когорта или консорциум, данные только по заявкеOBiBa Mica вместе с Opalподробный поиск по переменным и заявки; данных наружу почти нет, поисковики такие каталоги пропускают
Перепись с таблицами по малым территориямREDATAM для онлайн-таблиц плюс описание в DDI и файл в открытом форматебыстро даёт таблицы; без открытого файла и DDI данные остаются в формате одной программы
Лонгитюдное исследование с банком вопросов и многими волнамиColectica или другие инструменты DDI Lifecycleверсии вопросов и переменных между волнами; коммерческая лицензия
Регистры и другие данные, которые нельзя выдать файломдоверенная исследовательская среда, а каталог — только с описаниямиданные не покидают службу; среда стоит дороже любого каталога
Несколько обследований в год, своей команды нетпередать описания и файлы в национальный архив, IHSN или библиотеку Всемирного банкадёшево; витрина не своя

Своя разработка в этом типе почти никогда не оправдана: NADA бесплатна, в 2026 году у неё вышли три выпуска, и уровни доступа в ней уже есть. Из 43 самописных каталогов в реестре программный доступ отмечен только у 12%. Если служба держит свою систему, как Статистика Кореи или Австралийское бюро статистики, ей стоит хотя бы отдавать описания исследований в DDI. Как статистической службе разделить показатели и микроданные, разобрано в примере статистической службы, общая логика выбора — в главе «Свои силы, свободное ПО или облачный сервис».

Когда свой каталог не нужен​

Исследовательской группе или ведомству с одним-двумя обследованиями свой каталог не нужен. Обследование можно сдать в национальный архив социальных данных или в универсальный репозиторий с ограниченным доступом к файлам, а описание — в каталог IHSN. Если данные можно открыть, хватит файла в CSV или Parquet со словарём переменных и описанием выборки в Git-репозитории или на Zenodo. Чтобы такое обследование нашли, в описании нужны единица наблюдения, территория и период, способ выборки, список переменных и условия доступа. Способы публикации без портала — в части «Публикация без портала».

Что отличает удобный каталог микроданных​

  1. Описание открыто всегда. Исследование видно без входа, даже если файлы закрыты. Тот, кто не знает о данных, не может их запросить.
  2. Поиск по переменным. У каждой переменной своя страница с текстом вопроса, значениями и частотами. Исследователь находит нужный вопрос, а не перебирает названия обследований.
  3. Условия записаны заранее. Тип доступа виден у каждого файла, условия и срок ответа на заявку — до заявки.
  4. Описания для программ. Выгрузка DDI, API каталога, а для поисковиков — разметка schema.org и постоянный идентификатор.
  5. Как ссылаться. У исследования есть DOI или постоянный адрес и готовая ссылка; для повторных выпусков — версии.
  6. Открытые форматы. Открытые файлы лежат в CSV или Parquet, а не только в форматах SPSS и Stata, которые требуют конкретной программы.

Примеры​

Международные каталоги

Национальные каталоги

Архивы социальных данных

  • UK Data Service — открытые, охраняемые и контролируемые данные; самые подробные — только в среде SecureLab.
  • Каталог CESSDA — общий поиск по европейским архивам: около 33 тысяч описаний, собранных по OAI-PMH в DDI.
  • ODESI — канадский поиск по социальным обследованиям, данные которого с Nesstar переехали в Borealis на Dataverse.

Медицина и защищённый доступ

  • Maelstrom Research — OBiBa Mica, 473 эпидемиологических исследования и около 2,05 миллиона описанных переменных.
  • microdata.no — норвежские регистровые данные с 1964 года: анализ онлайн без заявки, наружу — только результаты.

Россия

  • RLMS-HSE — Российский мониторинг экономического положения и здоровья населения НИУ ВШЭ, панельное обследование с 1994 года; данные после регистрации.
  • База данных ФОМ и банк социологических данных Института социологии ФНИСЦ РАН — опросы общественного мнения на своих сайтах.
  • Микроданные выборочных обследований Росстата публикуются на отдельных страницах сайта службы и в системе obdx.gks.ru. В 2023 году данные в ней последний раз обновлялись в 2021 году, а программа не менялась около девяти лет. В октябре 2026 года оба адреса из-за рубежа не открываются, проверить их состояние со стороны нельзя.

Где ломается​

Установку бросают после проекта. Из 59 неработающих каталогов микроданных 47 — на NADA. Почти все это старые каталоги статистических служб Африки, Азии и Латинской Америки: на IP-адресах вместо доменов, на поддоменах подрядчиков, без HTTPS. Среди каталогов без HTTPS не работают 38 из 58, среди каталогов с HTTPS — 21 из 268. Каталог ставили в рамках программы поддержки, а когда программа закончилась, сопровождать его было некому. У 18 из 38 стран с брошенной NADA другого действующего каталога микроданных в реестре нет. Бывает и так, что сайт открывается, а каталог пуст: NADA статистической службы Мадагаскара 12 октября 2026 года отвечает, но в ней ноль исследований. Урок: каталог микроданных нужно ставить на домен службы и закладывать сопровождение в бюджет, а не только установку.

Продукт снимают. Nesstar — пример закрытия самой платформы. В реестре это видно слабее, чем кажется: из 13 записей на Nesstar неработающими отмечены две, но ещё два адреса — у GESIS и ODESI — на деле ведут на новые системы. Главный риск не в том, что сайт пропадёт, а в том, что описания и файлы остались в формате, который больше никто не поддерживает.

Формат одной программы. Через REDATAM с 1990-х годов распространяют переписи стран Латинской Америки, но база хранится в собственном формате без опубликованного описания: таблицы строят в самой программе или в её онлайн-обработке. Чтобы работать с записями в обычных инструментах, исследователи сделали открытый конвертер Open Redatam (Apache 2.0): он читает словарь базы и выгружает таблицы в CSV, есть пакеты для R и Python. Есть и пакет redatamx для R — обёртка над самим REDATAM, права на ядро у CELADE. Оба пути работают, но без них записи недоступны обычным программам.

Каталог закрыт для программ. 12 октября 2026 года каталоги микроданных ФАО и Тихоокеанского сообщества отвечают программам проверкой Cloudflare, а каталог УВКБ ООН — ошибкой 403, причём закрыт и API. Люди в браузере данные видят, а сборщики, поисковики данных и веб-архивы — нет. Для каталога, ценность которого в описании, это особенно обидно: исследование нельзя найти там, где его ищут.

Описания есть, данных нет. Порталы на OBiBa Mica подробно описывают переменные, а данные выдают только по заявке. Поэтому поисковики данных их часто пропускают: файлов нет, есть только описания. Для каталога микроданных это нормально, но описание должно быть полным, иначе исследование не найдут и не запросят.

Описание спрятано или пусто. Исследование описано только названием и аннотацией, без переменных и выборки, — по нему нельзя решить, нужны ли данные. Хуже, когда описание видно только после входа: тогда исследование нельзя найти вообще.

Доступ формально есть. Заявка принимается, но срок ответа не назван, критериев одобрения нет, и ответа нет месяцами. Доступ формально есть и практически нет. Срок ответа и порядок обжалования должны быть написаны на странице исследования.

Ссылка ведёт наружу. Когда каталог в основном указывает на внешние репозитории, как у Всемирного банка, его качество зависит от чужих сайтов. Если владелец данных переехал, запись в каталоге остаётся, а ссылка ведёт в никуда. Такие ссылки нужно регулярно проверять, как в любом каталоге со ссылками вместо файлов — см. главу о внутреннем хранилище.

Как проверить каталог микроданных​

Пять шагов на полчаса.

  1. Найдите исследование без входа. Видны ли выборка, единица наблюдения и период? Есть ли список переменных?
  2. Откройте одну переменную. Есть ли текст вопроса, значения с подписями и число ответов?
  3. Прочитайте условия доступа. Указан ли тип доступа у файлов, что нужно для заявки и сколько ждать?
  4. Выгрузите описание программой. Отдаёт ли каталог DDI, есть ли API или OAI-PMH, открывается ли он без проверки «я не робот»?
  5. Проверьте ссылку. Есть ли DOI или постоянный адрес, ведёт ли DOI на страницу исследования?

Типичные адреса у разных платформ:

# NADA: сколько исследований и сколько из них с лицензированным доступом
curl -s "https://microdata.worldbank.org/index.php/api/catalog/search?ps=1"
curl -s "https://microdata.worldbank.org/index.php/api/catalog/search?ps=1&dtype=licensed"
# NADA: описание исследования, его файлы и одна переменная
curl -s "https://microdata.worldbank.org/index.php/api/catalog/NGA_2023_GHSP-W5_v02_M"
curl -s "https://microdata.worldbank.org/index.php/api/catalog/NGA_2023_GHSP-W5_v02_M/data_files"
curl -s "https://microdata.worldbank.org/index.php/api/catalog/NGA_2023_GHSP-W5_v02_M/variables/V2"
# NADA: описание целиком в DDI Codebook (в адресе — числовой номер исследования)
curl -s "https://microdata.worldbank.org/index.php/metadata/export/6410/ddi"
# DOI: куда ведёт и готовая ссылка в BibTeX
curl -sL -H "Accept: application/x-bibtex" "https://doi.org/10.48529/90ec-pv69"
# OBiBa Mica: число исследований, наборов и переменных
curl -s "https://www.maelstrom-research.org/ws/studies/_rql?query=study(limit(0,1))"
# Dataverse и CESSDA: форматы описаний по OAI-PMH, среди них DDI
curl -s "https://borealisdata.ca/oai?verb=ListMetadataFormats"
curl -s "https://datacatalogue.cessda.eu/oai-pmh/v0/oai?verb=ListMetadataFormats"

Все команды проверены 12 октября 2026 года. Ответ JSON по адресу api/catalog/search — признак NADA, ответ _rql — признак OBiBa Mica. Страница «Just a moment…» вместо ответа — признак того, что каталог закрыт для программ. Сводный список — в чек-листах, общие команды — в главе об API и массовой выгрузке.

Чем отличается от соседей​

СоседГлавное отличие
Каталог показателейзаписи о людях и домохозяйствах, а не агрегаты; описание — исследование и переменные, а не ряд с разрезами
Научный репозиторийуровни доступа и обезличивание обязательны, DOI — желателен; описание в DDI, а не только в DataCite. Архивы социальных наук стоят на стыке двух типов
Портал открытых данныхзакрытый доступ к файлам — норма, а не признак беды; описание гораздо подробнее
Каталог метаданныхтоже показывает описания закрытых данных, но не ведёт заявки и не выдаёт файлы

Сводная таблица всех типов — в главе «Сравнение типов и гибриды».

Источники​