Перейти к основному содержимому

ИИ, пространства данных и регулирование

Каталог, который уже отдаёт описания, файлы, лицензии и полную выгрузку, готов к большинству новинок последних лет. Вход для программы-помощника, поиск фразой, карточка для обучения модели и обмен закрытыми данными между организациями садятся на этот слой. Там, где слоя нет, помощник упирается в капчу, а в пространстве данных не о чем договариваться.

Данные, готовые для ИИ, — набор, который программа может найти, понять и забрать: открытый формат, явная лицензия, происхождение и выгрузка. Отдельной платформы ради этого ярлыка не нужно.

Что добавляютКому это помогаетЧто должно уже работать
Файл llms.txt и сервер MCPпрограмме, которая ищет наборы в разговоревыгрузка описаний, API, лицензия на наборе, определения полей и единицы
Поиск фразойчеловеку, который не знает точного названия наборазаполненные описания
Карточка Croissantтому, кто обучает модель, и поисковику наборовфайлы, поля, лицензия, происхождение
Государственная площадка для ИИнаборам речи, текста и изображений, которые готовят для обученияэто отдельный тип каталога, со своими условиями доступа
Пространство данныхорганизациям, которые обмениваются данными с разными правамиоткрытое описание, даже когда файл закрыт
Чат на месте каталоганикому, кому нужно проверить число или загрузить его в свою программусам набор, с адресом и лицензией

Программы как пользователи​

Программе нужны те же четыре вещи, что и сборщику каталогов: стабильный адрес, полная карточка, явная лицензия, выгрузка без входа. Поисковики данных ходят по каталогам давно. К ним добавились помощники на больших языковых моделях: они ищут набор, читают описание и забирают файл через API.

Файл llms.txt — короткая записка о сайте: что здесь опубликовано и куда смотреть. Это предложение формата, а не принятый стандарт. Сервер MCP отдаёт программе готовый список запросов, чтобы она не угадывала адреса. Оба читают то, что каталог уже отдаёт. Пустую карточку такой вход отдаёт быстрее, чем сайт.

Первый заметный вход у национального портала — эксперимент data.gouv.fr. Команда портала объявила его 25 февраля 2026 года. Публичный адрес https://mcp.data.gouv.fr/mcp работает только на чтение и без ключа. Сервер ищет наборы, читает карточки, для части таблиц задаёт запрос через API портала и разбирает отдельный файл. В разговор при этом попадает текст и ссылка. Большой файл по-прежнему скачивают обычной выгрузкой. Сам портал предупреждает: рядом ходят серверы, которые называются официальными и ими не являются. Код открыт, лицензия MIT.

Для CKAN готового расширения в поставке нет. Open Knowledge Foundation ведёт раннее исследование: сервер, в котором ответ должен ссылаться на исходный набор. В описании прямо сказано, что проект на ранней стадии и контракт ещё меняется. Независимые серверы уже садятся на обычный API любого портала CKAN: где API документирован, сервер — тонкая надстройка, а не новая база. Тот же приём встречается и вне открытых данных: у Colectica Repository 8 сервер MCP читает описания микроданных в DDI. Подробнее — в главе о каталогах микроданных.

Для самих таблиц протокол узок. Он рассчитан на короткий ответ, который помещается в разговор. Модель по нему не читает двоичный файл вроде Parquet или GeoPackage. Хороший сервер поэтому возвращает образец, итог запроса и адрес файла. Полную таблицу забирают прежней массовой выгрузкой. Как устроены API и выгрузка — в главе об интерфейсах доступа.

У программ-пользователей есть и обратная сторона. Роботы, которые собирают тексты и файлы для обучения, создают нагрузку, и порталы начинают закрываться. Патентное ведомство США в 2026 году закрыло массовые выгрузки и API портала data.uspto.gov регистрацией. Многие сайты ставят проверку «вы не робот», а государственные сайты ряда стран не отвечают на запросы из-за рубежа, в том числе из облаков, откуда работают сами помощники. Человек из той же страны каталог открывает, программа — нет. От нагрузки защищаются опубликованными лимитами и полной выгрузкой файлом. Подробнее — в главе об антипаттернах.

Сервер MCP: свой, платформенный, чужой​

Сервер MCP перестаёт быть самоделкой. Его дают платформы и ставят статистические службы. Вопрос «писать ли свой» сменился вопросом «включать ли готовый и на каких условиях».

Платформы. У Huwise, бывшего Opendatasoft, один сервер на все порталы. В тариф он по умолчанию не входит. Каждый запрос несёт адрес портала и ключ API, без ключа сервер отвечает кодом 401. Агенту доступны поиск по каталогу, в том числе по смыслу фразы, карточка со схемой и образцом записей и запросы к самим записям. Права при этом те же, что у пользователя, вплоть до отдельной колонки. В облаке PortalJS у каждой организации свой адрес сервера, а код сервера открыт. Он ищет наборы, отдаёт карточку со схемой и первые строки таблицы со сводкой колонок. Полный набор в разговор не попадает. Сервер «по умолчанию» — без тарифа, ключа или отдельной установки — у массовых платформ пока редкость.

Статистические службы. По подсчёту Open Data Watch, к августу 2026 года официальные серверы MCP запустили пять национальных статистических служб и агентств данных: США, Великобритании, Франции, Индии и Сингапура. Шестым стал статистический институт Каталонии. Сервер Бюро переписи США ставят у себя: нужны ключ Census API, Docker и локальная база с частью описаний. Индийский сервер портала eSankhyiki в бете и покрывает семь статистических продуктов.

Инструкция для агента. Самый показательный пример — сервер Data360 Всемирного банка. Он отдаёт агенту обязательную инструкцию, справочники кодов и правила поиска. Перед запросом данных инструмент проверяет, есть ли ряд по нужной стране и какие у него годы и разрезы. Своей базы у сервера нет: каждое значение в ответе берётся из самой платформы. Data Commons раздаёт инструкции для агентов так же, ресурсами своего сервера. Это новый слой описания. Его ведут и проверяют, как карточку.

Что показали пилоты. Open Knowledge Foundation в 2026 году подключала сервер MCP к порталу прозрачности Бразилии и к каталогу открытых данных Уругвая. Вывод в отчёте от 10 июня: подключить просто, понять смысл трудно. В одном ответе модель добавила к энергобалансу Уругвая «климатические факторы», которых в наборе нет. Помогли определения полей, единицы, период, известные ограничения и примеры верных и неверных вопросов. Частые вопросы партнёров превратили в тесты. Это та же работа над описанием, что нужна человеку. Проверяют её на ответах программы.

Чем грозит чужой сервер. Сервер, который ходит к любому порталу по присланному адресу, сам может стать входом в чужую сеть. 21 сентября 2026 года для независимого сервера ondata/ckan-mcp-server до версии 0.4.108 опубликовали уязвимость CVE-2026-61612. Проверка адреса смотрела на строку с именем сервера и не проверяла, куда это имя ведёт. Так можно было обратиться к служебному адресу облака 169.254.169.254, где лежат его настройки. Это третий обход одной и той же защиты. Свой портал безопаснее открывать сервером, привязанным к одному адресу, только на чтение и с обновлениями от того, кто его ведёт.

Что включать по умолчанию​

Если сервер даёт платформа или его ставят сами, у него должны быть шесть свойств.

  1. Только чтение.
  2. Открытые наборы — без ключа. Ключ нужен только для закрытых.
  3. Сервер работает поверх того же публичного API и с теми же лимитами. Своей копии базы у него нет.
  4. Ответ ссылается на карточку и файл. Большой файл отдают ссылкой на выгрузку, а не текстом в разговор.
  5. Рядом лежит инструкция для агента: определения полей, единицы, период, известные ограничения.
  6. Десять частых вопросов с проверенными ответами прогоняют после каждого обновления сервера и данных. Как это вписать в самоаудит — в главе о самоаудите.

Как проверить сервер MCP​

Сервер отвечает на обычный запрос POST. Ожидаемые ответы получены 15 октября 2026 года.

# Имя и версия сервера, без ключа
curl -s -X POST https://mcp.data.gouv.fr/mcp \
  -H 'content-type: application/json' \
  -H 'accept: application/json, text/event-stream' \
  -d '{"jsonrpc":"2.0","id":1,"method":"initialize","params":{"protocolVersion":"2025-06-18","capabilities":{},"clientInfo":{"name":"check","version":"1"}}}'

# Список инструментов
curl -s -X POST https://mcp.data.gouv.fr/mcp \
  -H 'content-type: application/json' \
  -H 'accept: application/json, text/event-stream' \
  -H 'mcp-protocol-version: 2025-06-18' \
  -d '{"jsonrpc":"2.0","id":2,"method":"tools/list"}'

# Инструкции для агента у Data360 лежат ресурсами
curl -s -X POST https://maimcpext.worldbank.org/ext/data360/mcp \
  -H 'content-type: application/json' \
  -H 'accept: application/json, text/event-stream' \
  -H 'mcp-protocol-version: 2025-06-18' \
  -d '{"jsonrpc":"2.0","id":3,"method":"resources/list"}'

data.gouv.fr ответил "name":"data.gouv.fr MCP server","version":"1.28.1" и десятью инструментами — от search_datasets до query_resource_data и get_metrics. У Data360 те же запросы дают "Data360 MCP Server" версии 0.1.0, 16 инструментов и ресурсы data360://system-prompt, data360://codelists, data360://search-usage и другие. Сервер Huwise https://mcp.huwise.com/mcp на первый запрос без ключа ответил кодом 401.

Дальше задают серверу три частых вопроса о своих данных. Ответ должен назвать набор и дать ссылку на карточку. Число в ответе сверяют с файлом.

Когда заводить отдельный вход​

Контекст. Региональный портал открытых данных на CKAN. Национальный портал забирает описания. Руководство просит «сделать каталог для ИИ»: сервер MCP, поиск фразой и заодно «пространство данных». Выгрузка описаний неполная, у части наборов нет лицензии. Сопровождает один администратор.

Варианты. Починить лицензии и выгрузку. Поставить MCP поверх текущего API. Заменить строку поиска чатом. Вступить в чужое пространство данных или завести своё.

Критерии. Национальный портал продолжает забирать описания. Программа скачивает файл без регистрации. Лицензия видна в карточке и в выгрузке. Новый вход есть кому документировать. Обмен закрытыми данными между организациями либо уже есть в задачах портала, либо его нет.

Решение. Сначала лицензии и выгрузка. MCP ставят после этого, если помощниками уже пользуются и есть кому держать сервер. Если сервер уже даёт платформа, свой не пишут: готовый включают только на чтение и без ключа для открытых наборов. Поиск фразой можно добавить рядом с обычной строкой. Пространство данных не заводят.

Почему. MCP и поиск фразой читают то, что уже отдаёт API. Пустую карточку они отдают быстрее, чем сайт. Чат на месте каталога не оставляет числа, которое можно процитировать и загрузить в свою программу. Пространство данных нужно, когда данными обмениваются многие организации и доступ у них разный. У регионального портала открытых CSV этой задачи нет, а свой коннектор при одном администраторе останется без сопровождения.

Последствия. Помощник, которого подключат позже, увидит те же описания, что и национальный портал. Пока лицензии пустые, набор по-прежнему нельзя спокойно класть в обучающую выборку: неясно, разрешено ли это.

Когда пересмотреть. Появился устойчивый пользователь-программа и человек, который будет обновлять сервер MCP. Платформа начала давать сервер сама: тогда решают не «писать ли свой», а на каких условиях включить готовый. Или несколько организаций просят отдавать им закрытые данные по договору, и заявок больше, чем разбирает почта.

Как записать такую карточку у себя — в главе «Как обосновать решение».

ИИ на стороне каталога​

Модель ускоряет черновик описания. Публикует по-прежнему человек.

Самая дорогая часть каталога — тексты карточек. В мае 2025 года реестр каталогов dataportals-registry дополнили с помощью ИИ-агентов: по адресу сайта агент предлагал название, описание, темы и географическую привязку. Ручная работа той же глубины оценивалась в полгода для двух человек. Результат проверяли люди. Так же модель может предложить, что в колонке дата, а что код региона, и набросать словарь полей. Черновик сверяют с файлом: модель уверенно выдумывает и единицы измерения.

Поиск фразой находит набор, а не значение в таблице. На норвежском портале data.norge.no такой поиск стоит рядом с обычной строкой и запросами SPARQL, а не вместо них. О нём писали в апреле 2025 года. Человек спрашивает обычными словами, модель подбирает ссылки на наборы по их описаниям. Сам портал предупреждает, что программный интерфейс этого поиска ещё меняется и покрывает только наборы. Люди при этом часто ищут значение — сколько, где, когда. Такое значение по-прежнему берут из файла или API показателя.

Берлинский Geoexplorer — законченный прототип июля 2024 года поверх метаданных городского геопортала. Он ищет слои фразой и пишет пояснение к набору из выдачи. Код открыт, лицензия MIT, сайт в 2026 году ещё отвечал. Это витрина поиска, а не замена геопортала и не доказательство, что описание слоя можно больше не вести.

Есть и следствие для владельцев данных. Довод «машиночитаемый формат — это дорого» слабеет: если таблица опубликована хоть в каком-то виде, программу разбора можно написать быстро. В ноябре 2025 года стандартный API статистической базы Армении не отвечал, и со страниц собрали больше 900 показателей. К октябрю 2026 года там уже стоял PxWeb выпуска 2025 года, и API заработал. Подробности — в главе о каталогах показателей. Это не повод публиковать сканы. Собранное со страниц ломается при первой переделке вёрстки, а ошибки разбора никто не проверяет.

Что считать готовым для ИИ​

Open Data Institute в декабре 2025 года выпустил вторую версию рамки «данные, готовые для ИИ». Она не вводит новый формат каталога. Четыре группы почти целиком уже разобраны в других главах.

Группа в рамке ODIЧто сделать в каталогеГде разобрано
Сам набороткрытый формат, понятные коды, описанные ограниченияформаты, хорошие практики
Описаниемашиночитаемая карточка, лицензия, происхождениестандарты, лицензии
Инфраструктурапортал или страница, API, версииинтерфейсы доступа, идентификаторы
Управлениеназванный ответственный, контакт, понятный порядок доступадоступ и рабочие процессы

Тот же институт в ноябре 2024 года проверил, попадают ли британские открытые данные в общие языковые модели. Страницы data.gov.uk в выгрузке Common Crawl за апрель 2024 года нашлись: 13 556 адресов. Это были карточки со ссылкой на скачивание, а не сами таблицы. В проверке на вспоминание модели верно назвали официальную цифру в 5 случаях из 195, и все пять относились к одному набору. Тексты обычных сайтов госорганов модели помнили лучше. Вывод для каталога прямой. Карточка со ссылкой делает набор находимым для человека. В память общей модели число с этой карточки само не попадает. Текущее значение по-прежнему отдают файлом или API, а не ответом модели, обученной в прошлом году.

Государственные каталоги данных для ИИ​

Наборы для обучения моделей по-прежнему живут в основном на Hugging Face и Kaggle. Государства рядом строят свои площадки: там другой язык, отраслевые записи и более строгий доступ. Свой портал открытых данных из-за этого не переделывают в ML-каталог. Устройство типа — в главе о ML-каталогах.

  • Индия, AIKosh. По сообщению IndiaAI от 20 августа 2026 года на платформе было больше 15 тысяч наборов, 300 моделей и 30 инструментов. 26 августа 2026 года на карточках скачивание открывалось после регистрации, у набора стояла оценка качества, а в условиях чаще встречалась лицензия CC BY-NC-SA: коммерческое использование без отдельного разрешения закрыто. Это национальный репозиторий для обучения, со своими правилами на каждом наборе.
  • Корея, AI Hub. Площадка агентства NIA публикует наборы для обучения: речь, тексты, изображения, в том числе на корейском языке. По правилам площадки описание открыто без входа, а скачивание просит подтвердить личность и назвать цель. Данные предназначены для обучения моделей. Организация за рубежом и вывоз набора за границу требуют отдельной договорённости. Продажа самого набора — тоже отдельный договор, хотя исследования и разработки, в том числе коммерческие, правила в принципе допускают.
  • США, NAIRR. Пилот национального ресурса для исследований ИИ даёт исследователям доступ к вычислениям, моделям и части наборов. Это не витрина файлов для всех. 1 сентября 2026 года Национальный научный фонд объявил операционный центр, который должен превратить пилот в постоянную службу. Сайт пилота на эту дату ещё принимал заявки. С 2024 года через пилот прошли больше 800 исследовательских проектов.
  • ЕС, AI-on-Demand. Каталог описаний того, что уже опубликовано на других площадках, включая Zenodo и Hugging Face. 14 октября 2026 года счётчик на главной показывал 118 025 описаний наборов. Это размер указателя, а не архив, который ведёт Еврокомиссия.

Общее требование к такой площадке одно. Карточка называет лицензию на обучение, источник и известные ограничения. Файл может быть закрыт регистрацией. Описание при этом остаётся открытым, иначе набор не найти и нельзя решить, стоит ли подавать заявку.

Дата-продукты​

Программе-помощнику нужен набор с известным владельцем, схемой, примерами запросов и стабильным интерфейсом. В разговоре о каталогах это называют дата-продуктом: набор сопровождают, а не выкладывают один раз. Типичный портал открытых данных до такого продукта не дотягивает, поэтому и «семантический слой для ИИ» на нём получается тонким. Чем продукт отличается от набора — в главе о единицах публикации. Практический список — в главе о хороших практиках.

Модель вместо данных​

Государство может решить, что открывать таблицы больше не нужно: ответ даст чат, обученный на них. Общая модель этого не умеет. В британской проверке 2024 года она почти не помнила цифры data.gov.uk, хотя страницы портала в обучающую выгрузку попадали. Ответ модели нельзя сверить с файлом, процитировать, сравнить с прошлым годом и загрузить в свою программу. Если открытые данные закрывают и оставляют чат, это закрытие данных.

Чат уместен рядом с каталогом: он подсказывает карточку и ссылается на неё. Число, лицензию и файл чат не заменяет.

Описания для обучения моделей​

Набор, на котором сравнивают модели, описывают карточкой Croissant: состав, поля, деление на части, лицензия, известные ограничения. Версия 1.1 вышла 29 января 2026 года. Государственный портал открытых данных из-за этого не обязан становиться Hugging Face. Он обязан так указать лицензию и источник, чтобы набор нельзя было незаметно переложить в обучающую выборку. Как устроен Croissant и кто его уже отдаёт — в главах о стандартах и об ML-каталогах.

Регламент (ЕС) 2024/1689 об искусственном интеллекте эту работу возлагает на поставщика модели, а не на городской портал. С 2 августа 2025 года поставщик модели общего назначения публикует достаточно подробную сводку того, на чём модель учили. У моделей, которые уже были на рынке к этой дате, срок до 2 августа 2027 года. Портал помогает тем, что лицензия и источник стоят в карточке и в выгрузке. Сводку пишет тот, кто учил модель.

Пространства данных​

Европейские пространства данных (data spaces) договаривают доступ к данным между организациями, в том числе к данным не для всех. Это ближе к каталогу с уровнями доступа и к маркетплейсу, чем к порталу «скачай CSV».

Общее с порталом открытых данных одно. Описание читается снаружи, иначе договор не о чем заключать. Для этого хватает обычного DCAT. Файл может оставаться закрытым. Условия — «можно для исследований, нельзя передавать дальше» — записывают на языке ODRL. Переговоры о договоре и сама передача идут по Dataspace Protocol: версию 2025-1 Eclipse Foundation утвердил 23 июля 2025 года. Как устроены площадки, коннектор и примеры вроде Catena-X — в главе о других типах каталогов.

Gaia-X в этой конструкции — рамка доверия: кто участник и каким требованиям он соответствует. Это не каталог и не замена описания набора.

Чертёж Data Spaces Support Centre версии 3.0 (февраль 2026 года) собирает, что пространству нужно помимо витрины: схема управления, договоры, общие стандарты. С 2026 года зрелость такой инициативы сверяют с европейской технической спецификацией CEN/CLC/TS 18331:2026, а не с лозунгом на сайте. Европейская комиссия ведёт отраслевые пространства — здоровье, мобильность, промышленность и другие. Городской портал в этот список сам не записывается.

СитуацияЧто делать
Город публикует открытые файлыаккуратный портал или публикация в региональном
Описание можно показать всем, файл выдают по заявкекаталог с уровнями доступа, как у микроданных
Несколько организаций обмениваются данными, и права у них разныепространство данных или отраслевая площадка с договорами
Данные продаютмаркетплейс; описание всё равно открыто до оплаты
Нужно, чтобы чат отвечал жителямоставить набор, лицензию и выгрузку; чат ссылается на них

Не каждому городу нужно пространство данных. Большинству по-прежнему нужен портал, в котором описание, лицензия и файл на месте.

Правила​

Законы последних лет называют результат публикации. Платформу они называют редко.

ДокументЧто меняется для каталога
Директива (ЕС) 2019/1024 об открытых данныхдокументы госорганов отдают в машиночитаемом виде и по возможности бесплатно; страны переносят это в свои законы
Регламент (ЕС) 2023/138 о наборах высокой ценности, применяется с 9 июня 2024 годашесть категорий — геоданные, наблюдение Земли и среда, метеорология, статистика, компании, мобильность — бесплатно, через API и массовой выгрузкой
Регламент (ЕС) 2022/868, Акт об управлении данными, применяется с 24 сентября 2023 годаперечень охраняемых данных госсектора: описание открыто, файл выдают по правилам, в том числе в защищённой среде
Регламент (ЕС) 2023/2854, Акт о данных, применяется с 12 сентября 2025 годадоступ к данным подключённых устройств и обмен между компаниями; городскому порталу открытых данных новых CSV обычно не добавляет
Регламент (ЕС) 2024/1689 об искусственном интеллектес 2 августа 2025 года поставщик модели общего назначения публикует сводку обучающих данных (у уже выпущенных моделей — до 2 августа 2027 года); портал эту сводку не пишет

Шесть категорий высокой ценности и перечень охраняемых данных разобраны в глоссарии и в главе о доступе. Регламент о Европейском пространстве медицинских данных требует каталоги органов доступа к медицинским данным с 26 марта 2029 года — это тоже каталог с открытым описанием и закрытым файлом, а не портал открытых CSV.

В США меморандум OMB M-25-05 от 15 января 2025 года — руководство по закону OPEN Government Data Act. Среди целей открытого доступа он называет обучение систем искусственного интеллекта и требует от ведомств инвентаризацию данных и публикацию через федеральный каталог. Обзор Исследовательской службы Конгресса считает меморандум действующим; отчёт той же службы о data.gov от 21 мая 2026 года разбирает его как действующее руководство.

Если закон называет платформу, выбор из этой книги сужается до того, как на этой платформе включить выгрузку, лицензии и постоянные адреса. Если закон называет результат — машиночитаемость, лицензию, бесплатность, API — платформу выбирают как обычно.

Что не изменилось​

Постоянный адрес, лицензия на наборе, выгрузка всех описаний и понятный формат файла нужны и человеку, и поисковику, и агенту. Каталог, который это уже делает, переживает смену моды без переписывания. Каталог-витрина не переживает: его не видит ни федерация, ни программа.

Перед новым входом стоит проверить шесть вещей.

  1. Программа забирает все описания без входа и без капчи.
  2. Лицензия стоит на наборе и попадает в выгрузку.
  3. Файл скачивается по постоянной ссылке, а не только открывается в чате.
  4. Поиск фразой, если его включили, возвращает карточки. Обычная строка остаётся.
  5. Ответ чата, если он есть, ссылается на набор. Набор при этом по-прежнему можно скачать.
  6. Сервер MCP, если он включён, работает только на чтение, а на частые вопросы отвечает проверенными числами со ссылкой на набор.

Что из новых возможностей каталогов стоит заказывать, а что пока только чужой сервис, — в главе о передовых каталогах.

Источники​