Перейти к основному содержимому

Единицы публикации и форматы

«Опубликовать данные» значит разное. В одном каталоге это файл. В другом — сервис карты. В третьем — показатель, у которого пользователь выбирает год и регион. Путать эти единицы вредно: из них получается и число «наборов» в отчёте, и требования к платформе.

Что считают одной публикацией​

  • Файл или пачка файлов: CSV, JSON, XML, Parquet, иногда XLSX.
  • API: программа забирает те же данные запросом, без скачивания всего архива.
  • Картографический сервис: картинка слоя (WMS, WMTS) или сами объекты (WFS, OGC API Features). Картинка без объектов — просмотр, не выгрузка.
  • Показатель или куб: таблица с разрезами по времени и территории. Форматы — SDMX, JSON-stat, PC-Axis.
  • Обследование: описание переменных и файлы записей. Описание обычно в DDI.
  • Набор для обучения модели: файлы плюс карточка датасета, всё чаще в формате Croissant.

Один сюжет можно выложить десятком файлов «по году и району» или одним набором с API. Для человека десяток файлов иногда понятнее. Для отчёта «у нас 10 000 наборов» это способ раздуть число. Об этом в главе об антипаттернах.

Что считать набором​

Слово «набор данных» в разных каталогах означает разное, и при сравнении каталогов это первое, что нужно выяснить.

  • Временной ряд. У порталов центральных банков, например ЕЦБ и Банка международных расчётов, наборов мало и они огромные, но у каждого ряда — скажем, инфляции в одной стране — есть свой постоянный адрес. Пользователь обычно ищет ряд по своей стране, а не базу целиком. Поэтому поисковики данных показывают ряды отдельными карточками: в Dateno в 2024 году так было устроено около 30% записей.
  • Слой карты. Чаще всего это не файл, а адрес сервиса ArcGIS или OGC. Его принято считать набором, но честнее называть слоем.
  • Коллекция снимков. В каталогах STAC одна коллекция — серия снимков территории за разные даты, внутри тысячи и миллионы файлов. В Open Data Cube словом dataset называют как раз один снимок на дату, а то, что другие каталоги называют набором, — product. Лицензия задаётся на product.
  • Запись наблюдения. Глобальная база биоразнообразия GBIF собирает около ста тысяч наборов, а внутри них — миллиарды наблюдений видов. Если каждому наблюдению выдать идентификатор и назвать его «набором», счётчик вырастет на порядки. Именно так поступают некоторые агрегаторы, о чём в главе о цифрах.
  • Документ и лента. RSS и ATOM — данные или нет? На европейском портале data.europa.eu в 2024 году было больше 141 тысячи наборов, которые на деле были лентами ATOM геопорталов.

Рабочий критерий — повторное использование. Файл настроек программы машиночитаем, но набором данных не является: его никто не берёт для своей задачи. Коллекция текстов или фотографий не машиночитаема в обычном смысле, но как обучающая выборка — набор. Набором стоит считать то, что пользователь ищет, скачивает и использует как одно целое.

Набор или дата-продукт​

Набор данных — то, что опубликовано. Дата-продукт — то, что опубликовано для конкретных пользователей и сопровождается. Различие пришло из корпоративной работы с данными, но всё чаще применяется к открытым: в 2025–2026 годах о нём пишут, например, создатели облачного хранилища открытых данных Source Cooperative. Признаки дата-продукта:

  1. Известно, кто им пользуется и для чего: есть основные сценарии использования, даже если продукт бесплатный.
  2. Есть ответственный, который понимает и данные, и пользователей, отвечает на вопросы и вносит изменения по обратной связи.
  3. Есть документация: схема данных, примеры кода, ограничения.
  4. Доступ устроен несколькими способами сразу: API, массовая выгрузка, отдельные срезы. Доступ может быть и регламентированным — по регистрации или в облачной базе.
  5. Качество данных описано в документации и проверяется постоянно, а не один раз перед публикацией.
  6. Есть версии и график обновления.
  7. Дашборд и интерактивная витрина — дополнение к данным, а не их замена.

Под это описание подходят API Всемирного банка, реестр открытых данных Amazon (каждая запись там — документированный массив с примерами использования), российский адресный реестр ФИАС с полными выгрузками и обновлениями. Не подходят большинство наборов на типовых порталах открытых данных и дашборд с кнопкой «скачать в Excel». По оценке И. Бегтина (август 2026 года), на известных порталах открытых данных регулярно обновляется в лучшем случае 5% опубликованного, остальное выложено один раз.

Каталоги устроены под одно или другое. CKAN, DKAN, GeoNode и GeoNetwork считают наборы и прикреплённые к ним файлы. Huwise (бывшая OpenDataSoft) хранит данные таблицами и даёт к каждому набору API и выгрузки, поэтому ближе к каталогу продуктов. Source Cooperative устроен ещё проще: это хранилище файлов, где карточкой продукта служит файл README с описанием схемы, примерами кода и покрытием. Доступ у каждого продукта свой, зато большие массивы, до сотен терабайт, описаны хорошо, потому что их курируют сами авторы.

Для описания дата-продукта есть открытая спецификация ODPS (Open Data Product Specification, версия 4.1): она описывает продукт с несколькими интерфейсами доступа, условиями и ценой. Применяют её пока мало. Практический список, по которому можно проверить свой набор, — в разделе «Набор как продукт» главы о хороших практиках.

Когда файл пригоден для программы​

Шкала «пять звёзд» Тима Бернерса-Ли (2010) идёт от файла под любой лицензией к машиночитаемому открытому формату и дальше к ссылкам на общие идентификаторы. Для практики хватает трёх вопросов.

  1. Файл открывается без платной программы. CSV, JSON, XML, Parquet, GeoPackage — да. PDF и скан — нет.
  2. У таблицы есть строка заголовков и нет объединённых ячеек «для красоты». XLSX с шапкой на три строки программу ломает, хотя формат формально табличный.
  3. Колонки названы и объяснены. Схема вроде Frictionless Table Schema или CSV on the Web говорит, что в колонке число, а не текст.

Пятая звезда — связанные данные со ссылками на общие справочники — нужна, когда наборы разных организаций должны склеиваться сами. Для городского бюджета она не первый приоритет. Первые три вопроса — да.

Какой файл выложить​

Формат выбирают по трём вопросам: в чём с данными будут работать пользователи, во что можно преобразовать то, что у вас есть, и сколько у вас места на диске и пропускной способности канала. Для большинства случаев ответ укладывается в короткое правило.

  • Плоская таблица — CSV в кодировке UTF-8, разделитель — запятая, первая строка — заголовки. Такой файл прочитает любая программа. GitHub показывает его таблицей прямо в браузере, если файл не больше 512 КБ, а файл с точкой с запятой покажет просто текстом.
  • Записи со вложенными списками — у организации несколько адресов, у контракта несколько этапов — JSON Lines: одна запись JSON на строку. Программа читает такой файл строка за строкой. Один большой JSON или XML обычные библиотеки загружают в память целиком, и файл в несколько гигабайт превращается в проблему.
  • Большая таблица для аналитиков — дополнительно Parquet. Он хранит типы колонок, поэтому программе не нужно угадывать, где число, а где текст, и сжимает данные по колонкам.
  • Отраслевые данные — в отраслевом формате: GeoJSON или GeoPackage для геоданных, NetCDF для измерений, SDMX для показателей. CSV можно положить рядом, но не вместо.
  • XLSX — как дополнительная копия для тех, кто будет работать в редакторе таблиц. Импорт CSV с запятой умеет любой такой редактор.

На деле порталы публикуют иначе. В июле 2025 года поисковик Dateno насчитал у наборов с порталов открытых данных 6,7 миллиона файлов и ссылок. CSV — 15%, XLSX, XML, JSON, ZIP — по 7–8%, но ещё 7% — PDF и столько же — ссылки на HTML-страницы, то есть отчёты и чужие сайты вместо данных. Parquet встретился 1652 раза, меньше 0,025%. По опыту того же поисковика, на каждый CSV, который читается без ручной правки, приходятся два с ошибками экспорта: другим разделителем, кодировкой, лишними строками над заголовком.

Разница в объёме заметная. Один и тот же CSV на 3,5 ГБ после перевода в JSON Lines занял 8,7 ГБ, а в Parquet — 0,93 ГБ (пример из практики поисковика Dateno, 2024). JSON Lines дороже по месту, зато сохраняет то, что не ложится в таблицу.

Сжатие​

Текстовый файл больше 20–30 МБ стоит сжать. Архиватор выбирают по тому, кто и как будет читать файл.

  • gzip или zstd — для одного большого файла, который будут читать программы. Многие инструменты открывают такой файл без распаковки: DuckDB, например, сам узнаёт .csv.gz и .csv.zst по расширению.
  • ZIP — для пачки файлов, которые скачивают вместе. Zenodo показывает список файлов внутри ZIP прямо на странице записи. Аналитические программы читают ZIP хуже: тот же DuckDB без расширения zipfs его не откроет.
  • RAR и 7z — лучше не надо. Это популярные у пользователей архиваторы, но мало какая библиотека умеет читать файл изнутри таких архивов потоком, без распаковки на диск.

Что выбрать​

Публикуйте ту единицу, которой пользуются. Показатель официальной статистики не заменяют годовым CSV «для галочки», если международный обмен идёт в SDMX: CSV может быть дополнительным файлом. Слой кадастра не заменяют картинкой карты, если человеку нужно скачать границы. Научные данные к статье фиксируют версией файла, а не «всегда последней выгрузкой».

Формат без описания полей и без лицензии остаётся файлом, а не публикацией.

Источники​