Что публикуют в каталогах
Короткий ответ: почти всё, что государство, наука, компании и сообщества знают о мире и записывают. Список школ и каждый платёж из бюджета. Расписание автобуса и место, где этот автобус находится прямо сейчас. Перепись населения и сырой сигнал спутника. Геном бактерии и опись архивного фонда.
Тип каталога из части III подсказывает, где что искать: слои — на геопортале, данные к статье — в научном репозитории. Но содержимое шире любого типа. На городском портале лежат и бюджет, и деревья на улицах, и решения комиссий. В общем научном репозитории — таблицы, записи интервью, 3D-модели находок и обученные нейросети.
Содержимое удобно разбирать по пяти вопросам. От ответов на них зависит, какой каталог нужен.
| Вопрос | Примеры ответов |
|---|---|
| О чём данные | бюджет, транспорт, здоровье, климат, культура |
| Откуда они взялись | учёт в ведомстве, статистика, датчики, исследование, сообщество |
| Что это за объект | справочник, реестр, записи о событиях, ряд наблюдений, текст, снимок |
| Насколько подробно | итог по стране, по району, отдельная запись, сырой сигнал |
| Как часто меняются | один раз, раз в год, каждый день, непрерывно |
О чём: темы
Единого списка тем нет. Есть несколько рубрикаторов, и каждый сделан под свою задачу.
- Темы DCAT-AP — 13 рубрик, которыми европейские порталы помечают наборы, чтобы их можно было искать вместе: сельское хозяйство и продовольствие; экономика и финансы; образование, культура и спорт; энергетика; окружающая среда; государство и общественный сектор; здравоохранение; международные вопросы; правосудие и общественная безопасность; регионы и города; население и общество; наука и технологии; транспорт. Словарь ведёт Бюро публикаций ЕС.
- Тематические категории ISO 19115 — рубрики для геоданных: от рельефа и внутренних вод до кадастра и связи. В версии 2003 года их 19, в ISO 19115-1 добавлены ещё две — внеземное пространство и бедствия.
- Темы INSPIRE — 34 темы пространственных данных, которые страны ЕС обязаны описывать и отдавать: адреса, кадастровые участки, гидрография, здания, почвы, распространение видов, зоны природного риска и другие.
- Категории хартии открытых данных G8 2013 года — 14 областей «высокой ценности», от реестров компаний и преступности до геномов и расписаний транспорта.
- Категории ODIN — 22 области официальной статистики, по которым проект Open Data Watch оценивает статистические службы стран: население, образование, здоровье, цены, торговля, энергия, загрязнение и другие.
Рубрикатор нужен, чтобы человек мог сузить поиск, а агрегатор — сложить наборы разных стран на одну полку. Свои рубрики завести можно, но их лучше сопоставить с общими. Так делают национальные порталы ЕС: у них своя рубрикация, а наружу уходят темы DCAT-AP. О словарях подробнее — в главе о стандартах метаданных.
Если свести эти рубрикаторы и посмотреть на живые порталы, складывается такая карта тем. Она не исчерпывающая, но показывает ширину.
Власть и право. Структура органов, контакты, должностные лица. Нормативные акты и их проекты. Голосования и стенограммы парламента. Судебные решения. Итоги выборов по участкам. Обращения граждан. Планы и результаты проверок.
Деньги государства. Бюджет — план и исполнение. Закупки и контракты. Гранты и субсидии. Государственное имущество и долг. Зарплаты и декларации чиновников. Международная помощь.
Экономика и компании. Реестры юридических лиц и их владельцев. Лицензии и разрешения. Финансовая отчётность. Банкротства. Цены, внешняя торговля, рынок труда. Патенты и товарные знаки.
Население и социальная сфера. Перепись и демография. Миграция. Доходы, бедность, пособия. Жильё. Школы и вузы, результаты экзаменов. Больницы и аптеки, реестр лекарств, заболеваемость, регистры клинических исследований.
Безопасность. Преступность, ДТП, пожары, чрезвычайные ситуации.
Территория. Адреса, административные границы, кадастр, градостроительные планы, здания, географические названия, рельеф, снимки с воздуха.
Природа и климат. Качество воздуха, воды и почвы. Выбросы и отходы. Охраняемые территории. Наблюдения за видами. Погода, прогнозы, климатические ряды, спутниковые снимки.
Транспорт и инфраструктура. Маршруты и расписания, положение транспорта в реальном времени, парковки, дороги и их ремонт, аэропорты и железные дороги. Энергосети, связь, водоснабжение.
Энергетика и ресурсы. Производство и потребление энергии, недра, лес, рыба.
Наука. Результаты экспериментов и наблюдений, последовательности генов и структуры белков, обзоры неба, опросы, полевые дневники, код и модели.
Культура и наследие. Музейные коллекции, библиотечные каталоги, архивные описи, оцифрованные рукописи и фотографии, объекты наследия, корпуса текстов.
Справочники. Коды стран, регионов, видов деятельности, валют. Сами по себе они мало кому интересны, но без них наборы разных ведомств не сложить друг с другом.
Откуда берутся данные
Происхождение важно не меньше темы. От него зависят полнота, методика, частота обновления и то, что нужно объяснить в описании набора.
Административные данные. Побочный продукт работы ведомства: реестр лицензий появляется, потому что лицензии выдают, а реестр контрактов — потому что их заключают. Это основа порталов открытых данных. Охват полный — в реестре все, кто получил лицензию. Но поля придуманы для учёта, а не для анализа, и меняются вместе с регламентом.
Официальная статистика. Её собирают специально, по методике: переписи, выборочные обследования, отчётность предприятий. Публикуют итоговые показатели, реже обезличенные микроданные. Без методики цифры легко прочитать неправильно.
Наблюдения и измерения. Метеостанции, датчики качества воздуха, гидропосты, счётчики, спутники. Большие объёмы, длинные ряды, часто поток в реальном времени.
Исследования. Эксперимент, моделирование, полевые работы, опрос. Главное здесь — повторяемость: рядом с данными должны лежать их версия, методика и код обработки.
Тексты и документы. Законы, решения судов, стенограммы, протоколы. Документ сам по себе ещё не данные. Данными его делает структура: разметка статей, ссылки на другие акты, поля «дата, суд, стороны».
Сообщества. OpenStreetMap, Wikidata, наблюдения натуралистов-любителей, которые через iNaturalist попадают в GBIF. Охват бывает шире государственного, качество неравномерное, лицензия своя: у OpenStreetMap, например, ODbL.
Компании. Часть сведений они раскрывают по закону: отчётность эмитентов, выбросы. Часть публикуют сами, когда это выгодно: перевозчик выкладывает расписание, чтобы его показывали навигаторы. Остальное — по договору, за плату или никак.
Производные данные. Прогнозы, модели и реанализы — например, климатический реанализ ERA5, который сводит наблюдения и модель в непрерывные ряды по всей планете. Сюда же индексы, рейтинги и обученные модели машинного обучения. Их публикуют вместе с указанием, из каких исходных данных они получены.
Что это за объект
В одной теме лежат объекты разной природы. От природы зависит, как их хранить, обновлять и показывать.
- Справочники и классификаторы — коды и названия. Меняются редко, другие наборы на них ссылаются, поэтому важны версия и дата.
- Реестры объектов — компании, школы, лицензии, здания. Отвечают на вопрос «что существует сейчас». Меняются каждый день, нужны устойчивые идентификаторы записей и история изменений.
- Записи о событиях и сделках — контракты, платежи, ДТП, вызовы скорой. Копятся без конца, их выкладывают порциями по периодам.
- Наблюдения и временные ряды — температура, уровень воды, концентрация примесей по часам.
- Показатели — итоговые цифры по территории и году с разрезами.
- Микроданные — записи об отдельных людях, домохозяйствах, фирмах после обезличивания.
- Пространственные данные — векторные объекты (границы, дороги, здания) и растры (снимки, рельеф).
- Многомерные массивы — климатические модели и спутниковые продукты: сетка, время и десятки переменных в одном файле.
- Тексты, изображения, звук, видео, 3D — корпуса, оцифрованные рукописи, записи интервью, сканы музейных предметов.
- Последовательности и спектры — геномы, белки, результаты масс-спектрометрии. Для них есть отдельные мировые архивы.
- Код, модели и протоколы — без них научный результат не повторить, поэтому их публикуют рядом с данными.
- Описания других данных — словари, схемы, онтологии, каталоги каталогов. О них глава о каталогах метаданных.
В каких файлах и сервисах всё это отдают — в следующей главе.
Глубина: от итога к записи
Один и тот же сюжет можно опубликовать на разной глубине. Вот ступени для трёх тем.
| Тема | Итог | Подробнее | Отдельная запись | Глубже всего |
|---|---|---|---|---|
| Бюджет | закон о бюджете | исполнение по статьям и месяцам | каждый платёж | контракт с этапами и документами |
| Транспорт | список остановок | маршруты и расписания | где каждый автобус сейчас | обезличенные поездки по проездным |
| Здоровье | заболеваемость по региону за год | по больнице и месяцу | обезличенные записи о случаях | медицинские карты, только в защищённой среде |
В науках о Земле ступени формализованы. NASA делит спутниковые продукты на уровни от 0 до 4. Нулевой — сырой сигнал прибора. Первый — тот же сигнал с привязкой ко времени и месту и с калибровкой. Второй — физические величины, например температура поверхности моря, в точках съёмки. Третий — те же величины на ровной сетке, за день или за месяц. Четвёртый — результат модели, которая объединила несколько измерений. Аналитику обычно нужен третий уровень, тому, кто проверяет алгоритм, — первый.
Чем глубже ступень, тем больше вопросов можно задать данным, но тем выше риски и требования. На глубине появляются персональные данные и коммерческая тайна, объём растёт на порядки, без API и словаря полей не обойтись. Портал, который публикует только верхнюю ступень, выглядит полным, но не отвечает на вопросы, ради которых данные ищут: кому заплатили, где автобус, в какой больнице.
Как часто меняются
- Один раз. Итог исследования, архивная коллекция. Нужны неизменная версия и постоянный идентификатор.
- Периодически. Годовой отчёт, месячная статистика. Нужен один ряд с одинаковой структурой, а не новый набор каждый год.
- Постоянно. Реестр, который правят каждый день. Нужны снимки на дату и выгрузка изменений.
- Непрерывно. Транспорт, датчики воздуха, нагрузка энергосистемы. Файлом это не опубликовать: нужен поток или API, а в каталоге — описание этого потока.
Отраслевые стандарты
Когда тему публикуют многие, появляется общий формат. Он описывает не файл вообще, а предмет: что такое контракт, остановка, наблюдение вида. Данные в таком формате сразу понимают программы и агрегаторы: расписания в GTFS подхватывают картографические сервисы, наблюдения в Darwin Core собирает GBIF.
| Тема | Стандарт | Что описывает |
|---|---|---|
| Закупки и контракты | OCDS | весь путь контракта: план, торги, заключение, исполнение |
| Владельцы компаний | BODS | кто в итоге владеет компанией и через какие цепочки |
| Международная помощь | IATI | кто, кому и на что выделяет помощь |
| Гранты фондов | 360Giving | кто, кому, сколько и на что дал |
| Бюджет | Fiscal Data Package | строки бюджета с классификациями |
| Общественный транспорт | GTFS и GTFS Realtime, в Европе NeTEx | остановки, маршруты, расписания, положение машин |
| Городские заявки | Open311 GeoReport v2 | сообщения о проблемах в городе и их статус |
| Социальные услуги | HSDS (Open Referral) | организации, услуги, адреса, часы работы |
| Законы | Akoma Ntoso | структура акта, поправки, ссылки на другие акты |
| Отчётность компаний | XBRL | строки отчётности с машиночитаемыми метками |
| Статистика | SDMX | показатели с разрезами |
| Обследования | DDI | анкета, переменные, выборка |
| Биоразнообразие | Darwin Core | наблюдения и образцы: вид, место, дата |
| Климат, океан, атмосфера | NetCDF с соглашениями CF | переменные на сетке с единицами и координатами |
| Культурное наследие | модель Europeana (EDM), IIIF | описание предмета, показ изображений высокого разрешения |
| Астрономия | FITS и стандарты IVOA | снимки, спектры, каталоги объектов неба |
| Последовательности ДНК | правила INSDC | геномы и прочтения в общих мировых архивах |
| Машинное обучение | Croissant | файлы, поля и разбиение набора на части |
Для каталога отсюда два вывода. Первый: если для темы есть стандарт, публикуйте в нём, а CSV давайте дополнительно. Второй: каталогу не обязательно понимать каждый стандарт изнутри, но он должен уметь сказать, какому стандарту соответствует файл. В DCAT для этого есть поле dct:conformsTo. Профильные платформы идут дальше и проверяют файл валидатором. Об этом — в главе о полноте метаданных.
Что обязаны публиковать
Обязательные перечни задают минимум. По ним видно, что государство считает ключевым.
- ЕС. Регламент 2023/138 о наборах данных высокой ценности применяется с 9 июня 2024 года. В нём шесть групп: геоданные, наблюдение Земли и окружающая среда, метеорология, статистика, компании и их владельцы, мобильность. Их отдают бесплатно, в машиночитаемом виде, через API и, где уместно, массовой выгрузкой. Ещё раньше директива INSPIRE обязала описывать и отдавать сервисами 34 темы пространственных данных.
- США. OPEN Government Data Act — раздел II закона об обоснованной политике 2018 года, подписан в январе 2019 года. Он делает данные федеральных ведомств открытыми по умолчанию и требует вести полную опись своих данных. Описания собирает федеральный каталог data.gov.
- Россия. Распоряжение Правительства № 1187-р от 10 июля 2013 года (в редакции 2022 года) содержит три перечня. Федеральные органы публикуют подведомственные организации, планы и результаты проверок, статистику, вакансии, реестры лицензий. Регионы — реестры лицензий на образовательную, медицинскую и фармацевтическую деятельность, лесной и охотхозяйственный реестры. Третий перечень называет сведения из реестров Росприроднадзора и Росгидромета: отходы, объекты, загрязняющие среду, разрешения на выбросы, прогнозы погоды, данные о загрязнении.
Международные ориентиры шире обязательств. Хартия G8 2013 года назвала первыми четыре группы — национальную статистику, карты, выборы и бюджеты, — а следом 14 областей высокой ценности. Индекс ODIN проверяет 22 области официальной статистики не только на наличие, но и на подробность — по годам и территориям.
У перечней есть слабое место. В них легче вписать то, что просто определить: названия органов, списки лицензий. Перечень можно выполнить формально и не опубликовать ни платежей из бюджета, ни расписаний. Поэтому перечень — нижняя граница, а не карта того, что нужно людям.
Чего обычно нет
Сведений об отдельных людях. Медицинских карт, налоговых данных граждан, записей о получателях пособий. Вместо них публикуют агрегаты, обезличенные микроданные по заявке или синтетические данные — искусственные записи с теми же статистическими свойствами. Ещё один путь — дать работать с записями в защищённой среде, не выдавая их на руки. Об этом главы о каталогах микроданных и о доступе и ролях.
Тайн и всего, что касается безопасности. Коммерческой тайны, подробных схем сетей, объектов критической инфраструктуры, части точных геоданных.
Того, за что берут деньги. Кадастр, метеорологию, реестры компаний во многих странах продавали. Регламент ЕС сделал шесть групп высокой ценности бесплатными, но за пределами ЕС платный доступ к таким данным встречается часто.
Сырых и быстрых данных. Первичные записи и ежедневные ряды оставляют в учётной системе и отдают агрегатом.
Данных компаний о клиентах и услугах. Их публикуют редко и обычно агрегатами. Обмен идёт по договорам, всё чаще в пространствах данных — об этом в главе об ИИ и пространствах данных.
Сопровождения. Словаря полей, методики, истории изменений, списка известных ошибок. Без словаря полей файл формально открыт и практически нем.
Неудачных и промежуточных результатов исследований. В репозиторий попадает то, что легло в статью. Отрицательный результат и черновые выгрузки обычно остаются у автора.
Снятого с публикации. Набор может исчезнуть по решению владельца — после смены системы, руководства или политики. Тогда остаются только копии в веб-архивах и у агрегаторов. Это довод хранить сами данные, а не только ссылку на чужой сайт, и не менять адреса без переадресации.
Что видно по реестру
Реестр dataportals-registry описывает каталоги, а не наборы, и содержимое отмечает грубо: какого рода материалы в каталоге. По выгрузке реестра dataportals-registry (выпуск 1.27.0 от 15 октября 2026 года) картина такая. Один каталог может попасть в несколько строк.
| Содержимое | Каталогов |
|---|---|
| Наборы данных | 42 297 |
| Слои карт | 24 655 |
| Показатели | 2 876 |
| Публикации | 457 |
| Микроданные | 151 |
| Документы | 120 |
Слои почти совпадают с числом геопорталов. Показателей меньше, чем каталогов показателей: не у каждой витрины статистики содержимое размечено. Темы наборов — бюджет, транспорт, климат — по реестру каталогов не посчитать. Для этого нужны поисковики по наборам вроде Dateno или каталог data.europa.eu, где у наборов стоят темы DCAT-AP.
Что это значит для каталога
Перед выбором платформы полезно составить опись: для каждой группы данных записать тему, происхождение, вид объекта, глубину, частоту обновления, отраслевой стандарт и ограничения доступа. По описи видно, какие возможности обязательны.
| Если публикуете | Что понадобится | Где подробнее |
|---|---|---|
| поток в реальном времени | API или поток и его описание в каталоге | интерфейсы доступа |
| большие массивы, снимки, модели | хранилище вне каталога, выгрузка частями | хранилище |
| итог исследования | неизменная версия, DOI, экспорт цитирования | идентификаторы, цитирование |
| реестр, который правят каждый день | снимки на дату, версии, устойчивые идентификаторы записей | идентификаторы и версии |
| микроданные и записи о людях | доступ по заявке, роли, журнал выдачи | доступ и роли |
| данные в отраслевом стандарте | отметка о соответствии стандарту, проверка файла | полнота метаданных |
| слои карт | картографические сервисы, каталог слоёв | геопорталы |
| таблицы, тексты, изображения | предпросмотр на странице набора | другие возможности |
| много тем и ведомств | общий рубрикатор тем и сопоставление со своим | стандарты метаданных |
Как от этих требований перейти к функциям и платформе — в главе о выборе набора функций.
Источники
- Словарь тем Data theme Бюро публикаций ЕС, на нём основаны темы DCAT-AP.
- Списки кодов ISO 19115, раздел MD_TopicCategoryCode.
- Темы INSPIRE.
- Хартия открытых данных G8 и техническое приложение, 2013.
- Open Data Inventory: категории и методика, выпуск 2024/25.
- Уровни обработки данных NASA EOSDIS.
- Исполнительный регламент (ЕС) 2023/138 о наборах данных высокой ценности.
- Закон США P.L. 115-435, раздел II — OPEN Government Data Act.
- Распоряжение Правительства РФ от 10 июля 2013 года № 1187-р в редакции от 10 ноября 2022 года.
- Отраслевые стандарты: OCDS, BODS, IATI, 360Giving, Fiscal Data Package, GTFS, NeTEx, Open311 GeoReport v2, HSDS, Akoma Ntoso, XBRL, Darwin Core, соглашения CF, IIIF, IVOA, INSDC.
- ERA5 в климатическом хранилище Copernicus.
- Состав содержимого каталогов — выгрузка реестра dataportals-registry, выпуск 1.27.0 от 15 октября 2026 года.