Перейти к основному содержимому

Хорошие практики

Хорошая практика — та, без которой набор нельзя найти или нельзя использовать. Остальное зависит от типа каталога. Ниже шесть вещей для любого способа публикации, почему каждая обязательна и кто это уже делает. Сбои, в которые превращается пропуск, собраны в главе об антипаттернах.

Что сделатьПочему без этого набор не берутГде это уже видно
Файл открывается без платной программы, кодировка и разделитель написаныиначе каждый пользователь чинит таблицу заново и по-своемуоткрытые форматы и словарь полей, ниже
У колонок есть словарьколонка sum_2 формально открыта и закрыта по смыслуschema.data.gouv.fr, Table Schema
В карточке стоит частота, и она про файл, а не про правку описанияна набор строят сервис и должны знать, когда ждать новые строкиHDX: срок обновления считает сам портал
Лицензия, издатель, человек для ответа, период и территория — на наборебез них нельзя ни законно использовать файл, ни понять, подходит ли онбалл карточки на data.gouv.fr
Весь каталог забирается программой в том профиле, который уже читает верхний порталполе «по-своему» для сборщика не существуетпостраничный DCAT и еженедельные CSV data.gouv.fr
Адрес набора не меняется, и есть куда написать о поломкессылка из отчёта и чужая программа живут дольше платформыпереход data.gov в 2026 году; обсуждения на data.gouv.fr

В техническом задании эти шесть пунктов помечают как обязательные. Чек-лист для остальных развилок — в главе о требованиях. Полный перечень по типам — в карте возможностей.

Файл​

Формат открывается без платной программы. CSV, JSON, XML, GeoPackage, Parquet. PDF оставляют человеческой копией рядом: таблицу из него перепечатывают или распознают, и каждый делает это с новыми ошибками. Три вопроса, по которым файл годен для программы, — в главе о форматах.

У таблицы есть словарь полей. Название колонки, единица измерения, допустимые значения, что означает пустая ячейка. Словарь кладут рядом отдельным файлом или описывают так, как принято в отрасли: Table Schema, переменные DDI, структура SDMX. Формы и то, как французский портал проверяет файл по общей схеме темы, разобраны в главе о полноте метаданных.

Кодировка, разделитель и десятичный знак написаны. В карточке файла или в самом словаре: UTF-8 или другая кодировка, запятая или точка с запятой, точка или запятая в числах. Иначе половина таблиц одного издателя открывается, половина — нет, и нигде не сказано, где какая. Так выглядел раздел открытых данных Росстата; разбор — среди антипаттернов.

Один набор — то, что ищут по имени. Год и район, которые можно сделать колонкой, не заводят отдельными карточками ради счётчика. Делить стоит то, что ищут само по себе: бюджет города, временной ряд с постоянным адресом. Проверочный вопрос: станет ли удобнее, если склеить эти файлы в один. Если да, это дробление. Примеры и граница — в той же главе об антипаттернах.

Частота в карточке — про файл, и её кто-то сверяет. Дата обновления — дата строк, а не день, когда поправили описание. Пользователь строит на наборе расчёт и должен знать, когда ждать продолжение.

На Humanitarian Data Exchange частота — обязательное поле из короткого списка: каждый день, каждую неделю, раз в год, а также «в реальном времени», «по необходимости» и «никогда». Портал сам считает срок, к которому ждут следующий файл. С апреля 2025 года правило такое: к конечной дате периода прибавляют заявленную частоту. Набор профилей стран EM-DAT обновляют раз в неделю. 14 октября 2026 года период данных заканчивался этим же днём, а срок следующего обновления стоял 21 октября. Частоту «каждую неделю» в тот день имели 866 наборов: поле не пустует. Когда срок выходит, письмо уходит ответственному за набор, а не в общий ящик портала. Сами авторы HDX просят выбирать ближайший регулярный срок, а не «по необходимости»: иначе проверка не срабатывает.

Карточка​

Лицензия, издатель, контакт, период и территория стоят на каждом наборе, не в подвале сайта.

  • Лицензия — ссылка на текст условий. Без неё файл можно скачать и нельзя законно использовать. Какую ставить — в главе о лицензиях.
  • Издатель — организация, которая отвечает за содержимое. По нему ищут все наборы одного ведомства и отличают копию от первоисточника.
  • Контакт — человек или команда с адресом, которые ответят про ошибку в строках. Ящик info@ без фамилии этого не закрывает: письмо некому прочитать.
  • Период и территория — чтобы решить, подходит ли набор, не скачивая его. «Данные за все годы по всей стране» в описании не заменяют заполненные поля: программу по ним не отфильтровать.

Сверх этого списка нужен один профиль, который уже читает ваш верхний портал: DCAT-AP, ISO 19115, DataCite, DDI или SDMX. Не все сразу, а тот, который соответствует типу. Верхний портал и поисковик читают описание программой, и поле с местным именем для них пустое. Как выбрать язык описания — в главе о стандартах.

Копия указывает на оригинал. Город, регион и страна могут показывать одну карточку, но у копии есть ссылка на источник. Иначе ошибку правят в трёх местах, а поиск считает один набор тремя.

data.gouv.fr показывает издателю балл карточки, чтобы дыры было видно до жалобы пользователя. Руководство портала перечисляет, что в балл входит: достаточно длинное описание, описанные файлы, заполненная и соблюдённая частота, открытая лицензия, хотя бы один открытый формат, территория и уровень её детализации, период. Балл с 2022 года экспериментальный: веса могут изменить, проверку по схеме данных в него ещё не включили. 14 октября 2026 года карточка самого каталога портала проходила семь проверок из девяти, которые отдаёт API. Не были закрыты описание файлов и временной охват. Лицензия при этом стояла — французская открытая Licence Ouverte 2.0, — частота была заполнена и соблюдена, территория указана. Балл смотрит на карточку, не на строки внутри файла. Пустой файл с заполненными полями здесь получит высокий балл; как отличить одно от другого — в главе об уровнях качества.

Каталог, который забирают​

Без выгрузки всех описаний каталог не попадёт в федерацию. Без постоянного адреса на набор нельзя сослаться. Без регистрации о каталоге не узнают те, кто ищет порталы, а не отдельные наборы.

Выгрузка открывается без входа и без договора. Национальному порталу одним файлом уже тесно, и это нормально, если программа может обойти страницы. 14 октября 2026 года выгрузка DCAT data.gouv.fr содержала 74 616 наборов, по 100 на страницу, всего 747 страниц: в файле указаны общее число и адрес следующей страницы. Рядом портал публикует весь каталог таблицами. В карточке частота — еженедельно. Утром того же дня там лежали свежие CSV: список наборов на 276 МБ и список файлов на 1,1 ГБ, плюс организации, обсуждения, примеры использования и сборщики. Любой агрегатор забирает это без отдельной договорённости. Как устроены другие способы — один файл, протокол, лента изменений — в главе об API и выгрузке.

Адрес переживает смену платформы. Его проектируют до переезда: старый путь либо остаётся, либо перенаправляет на новый. data.gov при уходе с CKAN на собственную разработку в апреле 2026 года оставил прежний каталог по отдельному адресу на переходный срок, чтобы пользователи успели перенастроить программы. Как удержать адрес — в главе об идентификаторах.

API поиска включают, когда наборов сотни и больше. Для десятка хватает страниц и одного файла описаний. Описания при этом читаются без регистрации и капчи: ограничивать можно файл, не карточку.

Есть куда сообщить об ошибке, и письмо доходит до владельца данных. Форма на странице набора, адрес в карточке или открытый трекер. На data.gouv.fr у набора есть обсуждение, а примеры использования — приложения и статьи, которые читатели сами привязали к карточке, — портал отдаёт отдельным файлом в той же еженедельной выгрузке. Обратная связь тогда видна и людям, и тем, кто забирает каталог целиком. Как это устроено на французском портале в целом — в главе о порталах открытых данных.

Каталог записан там, где его ищут. Национальный и тематический реестр, а для научного репозитория — re3data. Новость на своём сайте этого не заменяет. Куда регистрироваться — в главе о находимости.

Что добавляет тип​

Шести пунктов хватает странице ведомства и городскому порталу. Тип каталога добавляет своё. Это не второй обязательный список «на всякий случай»: лишнее для вашего типа замедляет публикацию и не нужно пользователю.

ТипЧто добавить к шести пунктамГде разобрано
Портал открытых данныхпрофиль страны, чаще всего DCAT-AP, и общая схема для тем, которые публикуют многиестандарты, федерация
Научный репозиторийDOI, версии, готовая ссылка для статьи, выдача описаний по OAI-PMHнаучные репозитории
Геопорталслой можно скачать, или прямо сказано, что доступен только просмотр; описание в ISO 19115геопорталы
Каталог показателейметодика рядом с рядом; SDMX или другая массовая выгрузка таблицы, а не только экранкаталоги показателей
Каталог микроданныхуровни доступа, словарь переменных, описание открыто даже когда файл закрытмикроданные
ML-каталогописание в Croissant, неизменное деление на обучающую и тестовую части, лицензия и происхождение данныхML-каталоги
Публикация без порталастраница открывается без входа, лицензия на месте, разметка schema.org с описанием от 50 знаков, дата и контакткак сделать находимым

Диаграмма на сайте эти пункты не заменяет. Скачать по-прежнему можно файл или выгрузку.

Набор как продукт​

Практики выше можно выполнить формально: карточка заполнена, файл открывается, а пользоваться набором неудобно. Помогает другой взгляд — относиться к набору как к продукту, у которого есть пользователи. В компаниях это называют «данные как продукт». Чем дата-продукт отличается от набора и какие каталоги устроены под продукты, разобрано в главе о единицах публикации. Для открытых данных подход пока редкий. Проверка одного набора выглядит так.

  1. Известно, кто пользуется набором и для какой задачи. Хотя бы один сценарий, даже если файл бесплатный.
  2. Есть ответственный, который понимает и данные, и пользователей. Он отвечает на вопросы и правит набор по обратной связи. Не «отдел», а человек или команда с адресом.
  3. Документация опубликована и совпадает с файлом: схема, пример кода, ограничения. На HDX для ограничений есть отдельное поле карточки.
  4. Данных можно получить больше чем одним способом: файл, API, срез. Формат выбран под пользователя. Аналитику нужен CSV или Parquet, разработчику — API или JSON. Пример, как это меняет спрос на одинаковые по сути данные, — в главе о Git-репозиториях.
  5. Качество описано и проверяется постоянно, а не один раз перед первой публикацией и не по письму пользователя.
  6. Есть версии и график обновления, и график соблюдают. Для научного набора версия — то, на что ссылается статья. Для оперативного — хотя бы дата файла и прежние выпуски, если на старые уже могли сослаться.
  7. Дашборд, если он есть, стоит рядом с данными.

Пункт 6 совпадает с частотой из этой главы. Остальное — то, чего не даёт даже аккуратно заполненная карточка. О том же говорит идея «третьей волны» открытых данных: публиковать то, что нужно для конкретных задач, — см. наборы высокой ценности.

Откуда взялись эти правила​

Практики не выдуманы под один портал. Их повторяют три документа, на которые опираются национальные политики открытых данных и научные репозитории. В книге они разложены по типам: то, что обязательно научному архиву, лишнее оперативному порталу.

Практика из этой главыХартия открытых данных, 2015Data on the Web Best Practices, W3C, 2017Принципы FAIR, 2016
Открытый формат и словарь полейдоступность и пригодность к использованию; сопоставимостьформаты и словарисовместимость
Частота и полнотасвоевременность и полнотакачество данных—
Лицензия на набореоткрытость по умолчаниюлицензииповторное использование
Выгрузка всего каталогадоступностьдоступ и метаданныенаходимость
Постоянный адрес—идентификаторынаходимость
Куда сообщить об ошибкеулучшение управления и вовлечение гражданобратная связь—

Международная хартия открытых данных — шесть принципов для государств: открытость по умолчанию, своевременность и полнота, доступность и пригодность к использованию, сопоставимость и совместимость, улучшение управления и вовлечение граждан, инклюзивное развитие и инновации. На сайте хартии 14 октября 2026 года было написано, что её приняли больше 29 национальных и 146 региональных и городских правительств. Хартия говорит, что публиковать, и почти не говорит, каким файлом.

Data on the Web Best Practices — рекомендация W3C от 31 января 2017 года, 35 практик: от описания и лицензии до версий, сохранения и обратной связи. Это самый близкий к этой главе перечень. Он про данные в вебе вообще, не только про государственные порталы.

Принципы FAIR — для научных данных: находимость, доступность, совместимость, повторное использование. FAIR не значит «открыто»: набор с закрытыми файлами тоже может им соответствовать, если описание открыто, идентификатор постоянный, а порядок доступа понятен. Городскому CSV они задают словарь, не замену лицензии и выгрузки.

Как проверить свой каталог​

Короткий проход по шести пунктам. Подсчёт по выборке из 30 наборов и разбор файлов — в главе о самоаудите.

  1. Откройте один файл без платной программы. Если это CSV, прочитайте в карточке кодировку и разделитель, не угадывая.
  2. Найдите словарь полей. Если колонка понятна только автору выгрузки, набор для внешнего пользователя не готов.
  3. Сверьте дату в карточке с датой внутри файла и с заявленной частотой. Просрочка должна быть видна владельцу раньше, чем пользователю.
  4. На карточке есть лицензия ссылкой, издатель, адрес человека, период и территория.
  5. Скачайте выгрузку всех описаний без входа. Убедитесь, что в ней тот профиль, который ждёт верхний портал.
  6. Откройте старый адрес набора, если платформу уже меняли, и отправьте пробное сообщение об ошибке. Оно должно дойти до владельца данных.

Так выглядит удачный ответ на пятом шаге. Число наборов в постраничной выгрузке data.gouv.fr:

curl -s "https://www.data.gouv.fr/api/1/site/catalog.rdf" | grep -o "hydra:totalItems[^<]*"

Частота и срок обновления одного набора на HDX:

curl -s "https://data.humdata.org/api/3/action/package_show?id=emdat-country-profiles" \
  | jq '{freq: .result.data_update_frequency, due: .result.due_date, period: .result.dataset_date}'

14 октября 2026 года первая команда показывала 74 616 наборов, вторая — частоту 7 (раз в неделю) и срок 2026-10-21.

Источники​