Уровни качества
«Качество» в задаче называют уровнем. Их четыре, и высокий балл на одном оставляет остальные как были. Прежде чем чинить или отчитываться, спросите, какой уровень трогает оценка, и поручите работу тому, кто этот уровень держит.
Число наборов, индекс страны и балл карточки отвечают на разные вопросы. Как считать доли — в главе о метриках. Что меряет каждая известная методика — в главе о методиках. Как пройти свой каталог за один раз — в главе о самоаудите. Здесь — как разложить оценку по уровням.
Четыре уровня
| Уровень | Вопрос | Чем обычно меряют | Кто чинит | Что остаётся непроверенным |
|---|---|---|---|---|
| Данные | можно ли пользоваться файлом или слоем | формат, полнота, совпадение с источником, повторяемость расчёта | владелец данных | заполненность карточки, доступность сайта, индекс страны |
| Описания | можно ли найти набор и понять условия | заполненность полей, соответствие профилю, живая ссылка | публикатор и редактор каталога | число строк в файле, политика страны |
| Каталог как сервис | открывается ли он и отдают ли его машины | доступность, API, выгрузка, лицензии в выгрузке, постоянные адреса | администратор платформы | содержимое файлов, индекс страны |
| Система каталогов | есть ли цепочка и доходят ли по ней лицензия и источник | индексы открытости, доля наборов источника на верхнем портале, дубли | координатор открытых данных | один городской файл |
Пустой файл с заполненной карточкой — годные описания и пустые данные. Живой сайт без выгрузки — годная витрина и слабый сервис. Страна с сильным национальным порталом и мёртвыми городскими — сильный верх и слабая система. Бывает и наоборот: файл и карточка у города в порядке, а на верхнем портале лицензия пропадает. Так ушёл набор города Мальмё в 2024 году; разбор цепочки — в главе о федерации.
Один объект, разные баллы
Портал выглядит живым, файлы пустые. На data.gov.uz в феврале 2023 года было 6623 набора — больше, чем на большинстве порталов региона. Раздел мониторинга показывал почти все наборы обновлёнными. По уровню сервиса это выглядело живым. По уровню данных — нет: 96% наборов меньше 200 строк, 42,6% — одна строка, весь портал в CSV занимал 40 МБ. Карточки при этом могли быть заполнены. Балл описаний видит заполненные поля и оставляет пустые строки незамеченными: их видно после открытия файлов. Как считать распределение по строкам и второй пример, data.gov.ru в 2025 году, — в главе о самоаудите.
Значок есть, расчёт не повторяется. Воспроизводимость — возможность заново получить заявленный результат по выложенным данным и записанным шагам. Значок «открытые данные» у журнала говорит, что файл выложен. В 2021 году Хардвик и соавторы проверили 25 статей Psychological Science с таким значком за 2014–2015 годы. Без помощи авторов проверенные числа сошлись у 9 статей из 25. После пояснений авторов — у 15 из 25. Главная причина расхождения в самой работе — шаги анализа записаны неясно, хотя значок уже подтверждал, что данные выложены. Совпадает ли расчёт с текстом статьи, проверяют отдельно.
Балл карточки смотрит на карточку. data.gouv.fr показывает издателю балл качества метаданных: описание, файлы, частота, лицензия, открытый формат, территория, период. Пустой файл с заполненными полями получает высокий балл. Что входит в балл и как он выглядел 14 октября 2026 года — в главе о хороших практиках. Это уровень описаний.
Что считать годным
Годный ответ зависит от типа каталога. Шесть практик, без которых набор нельзя найти или использовать, — в главе о хороших практиках. Ниже — чем «данные» и «описания» отличаются у соседей и где уровень ломается первым.
| Тип | Данные годны, когда | Описания годны, когда | Где обычно ломается первым |
|---|---|---|---|
| Портал открытых данных | файл открывается программой, в нём есть строки и словарь колонок | лицензия, издатель, период и территория стоят на наборе | счётчик растёт за счёт пустых и нарезанных таблиц |
| Геопортал | слой скачивается файлом или через сервис WFS | у слоя есть лицензия, дата и описание | муниципальная карта: слой виден, кнопки скачивания нет |
| Научный репозиторий | по файлам и записанным шагам расчёт повторяется | есть DOI, авторы, лицензия и ссылка для статьи | значок и DOI есть, шаги анализа не записаны |
| Каталог показателей | ряд продолжается и его можно забрать целиком | методика лежит рядом с рядом, коды взяты из общего справочника | API отвечает, а ряд остановился |
| Каталог микроданных | по словарю переменных файл можно прочитать | описание открыто, уровень доступа назван | файл закрыли вместе с карточкой |
| ML-каталог | файл скачивается, деление на обучающую и тестовую части неизменно | в карточке есть лицензия и происхождение | карточка заполнена, лицензия свободнее, чем у исходных данных |
| Каталог метаданных | запись словаря или кода полна и указывает на действующую версию | запись находится по коду и теме | карточка жива, а каталог, на который она указывает, выключен |
| Страница, Git или хаб | файл открывается без входа, кодировка и колонки написаны | есть README, лицензия, разметка schema.org, дата и контакт | репозиторий есть, страницы с постоянным адресом нет |
У микроданных закрытый файл при открытой карточке — нормальный уровень, если порядок доступа написан. Ломается связка, когда прячут и описание.
Разбор поломок — в главах о порталах открытых данных, геопорталах, научных репозиториях, показателях, микроданных, ML-каталогах и каталогах метаданных.
Проверка на входе
Всё, что выше, меряют после публикации. Можно и до: каталог не принимает набор, который не прошёл проверку. Тогда качество — условие входа, а не показатель на дашборде.
Так работают архивы нейроданных. OpenNeuro принимает только наборы по стандарту BIDS — общему порядку папок, имён файлов и описаний. С предупреждениями валидатора загрузить можно, с ошибками нельзя. В DANDI кнопка публикации становится активной только после того, как исправлены все ошибки проверки описания и файлов. Опубликованная версия не меняется.
Проверка на входе работает там, где у области есть общий стандарт. Иначе она становится списком правил одного портала, и издатели обходят его пустыми полями. Для таблиц на портале открытых данных аналог — проверка файла по схеме при загрузке. Схемы для типовых таблиц уже собраны в каталоге schema.data.gouv.fr. Уровень, который такая проверка держит, — данные. Чинить файл после неё по-прежнему владельцу данных, но уже до публикации, а не после жалобы.
Другие новшества того же ряда — в главе о передовых каталогах.
Куда класть чужой балл
Чужую оценку сначала кладут на один уровень. Потом уже решают, чинить ли по ней свой каталог.
| Оценка | Какой уровень она трогает |
|---|---|
| Пять звёзд | данные: формат одного набора |
| FAIR и F-UJI | описания одной научной записи и порядок доступа |
| MQA, балл data.gouv.fr | описания каталогов, которые уже отдают карточки наверх, и живы ли ссылки |
| CoreTrustSeal | каталог как архив: процедуры и сохранность |
| Open Data Maturity, ODIN, Global Data Barometer | система каталогов и политика страны |
| Число наборов | счётчик карточек |
| Балл доверия реестра | грубый вид снаружи: жив ли сайт, указана ли лицензия |
MQA видит каталоги, которые уже отдают описания в data.europa.eu, и усредняет те карточки, которые оценка успела посчитать: это может быть доля каталога в поиске. Индекс страны складывается из политики и национальных порталов. Формулы и границы каждой методики — в главе о методиках.
В каком порядке чинить
Снизу вверх по зависимостям. Сначала файлы, которые открываются и читаются. Затем лицензия и обязательные поля. Затем выгрузка и постоянные адреса: без них описания не дойдут до верхнего портала и поисковиков. Индекс страны сдвигается, когда нижние уровни чинят во многих каталогах сразу.
Срок сбора сверху двигает выгрузку вперёд очереди — для тех наборов, которые вы правда публикуете. Заполнять карточки однострочных таблиц к этому сроку значит чинить описания там, где сломаны данные.
Задачу ставят на том уровне, где сломано. Редактору карточек поручают пустые поля. Владельцу данных — файл и его свежесть. Администратору платформы — выгрузку, API и адреса. Координатору страны — правила, по которым города отдают описания, и ответы для индекса вроде Open Data Maturity: этот балл собирают по политике и национальным порталам. Один CSV остаётся у владельца данных.
Пример: ведомству сказали поднять качество
Контекст. Региональный портал открытых данных. В мониторинге почти все наборы помечены обновлёнными. Национальный индекс страны средний, и от региона ждут вклад. Пользователь прислал бюджет: таблица из одной строки в PDF. Редакция — два человека.
Варианты. Заполнить пустые поля у всех карточек. Переписать API и выгрузку. Готовить ответы для странового индекса. Открыть выборку файлов, починить формат и состав у наборов, которыми пользуются, затем лицензию и обязательные поля, затем выгрузку.
Критерии. Человек открывает файл и пользуется им без ручной правки. Программа забирает описания без входа. Работа попадает к тому, кто держит уровень. Два редактора успевают за квартал.
Решение. Месяц уходит на данные тех наборов, которые есть в письмах и в статистике скачиваний: открытый формат, строки, словарь колонок. Следующим шагом — лицензия и обязательные поля на той же выборке, затем выгрузка всех описаний. Индекс страны в план редакции не входит.
Почему. Заполнение всех карточек поднимает балл описаний и оставляет PDF на месте: критерий «файлом можно пользоваться» оно проигрывает. Новый API при пустых файлах отдаёт те же файлы быстрее. Ответы для индекса пишутся на уровне страны и региональный файл не чинят. Выборка с живыми файлами закрывает жалобу и укладывается в работу двух человек.
Последствия. Каталог ещё квартал будет выглядеть скромнее соседа с тысячами карточек. Выгрузка появится после файлов, и до неё федерация этот портал не заберёт.
Когда пересмотреть. Выборка файлов открывается программой, и национальный портал назвал дату сбора: тогда выгрузка становится первой задачей. Или писем о содержимом больше нет, а пустые поля остались у половины карточек: тогда очередь переходит к описаниям.
Как записать свою карточку — в главе «Как обосновать решение».
Если портала нет
Те же четыре уровня есть у страницы, репозитория и набора в общем хабе.
- Данные — сам файл: он открывается, колонки названы.
- Описания — README, лицензия,
datapackage.jsonили разметка schema.org. - Сервис — страница открывается без входа, адрес не меняется от правки заголовка.
- Система — запись в каталоге, который уже ищут: национальный портал, Zenodo, re3data. Поиск по GitHub эту запись не заменяет.
Порядок тот же: сначала файл, которым можно пользоваться, затем описание, затем постоянный адрес, затем запись уровнем выше. Минимум страницы — в главе о находимости без портала. Чем короткий проход отличается от аудита портала — в разделе «Если портала нет».
Как поставить задачу
В задаче пишут уровень, охват и исполнителя.
Годная формулировка выглядит так: «На выборке из 30 наборов разных издателей файл открывается в CSV или GeoPackage без ручной правки. Срок — месяц. Делает владелец данных, редактор проверяет».
Итог прохода — одна страница из главы о самоаудите. Очередь на ней уже разнесена: что правит редактор карточек и что требует смены выгрузки или адреса.
Источники
- T. E. Hardwicke и др., Analytic reproducibility in articles receiving open data badges at the journal Psychological Science: an observational study, Royal Society Open Science, 2021 — 25 статей со значком открытых данных за 2014–2015 годы; без помощи авторов проверенные числа сошлись у 9, после пояснений авторов — у 15
- Пять звёзд открытых данных
- MQA, методика MQA
- Open Data Maturity, Global Data Barometer, ODIN
- CoreTrustSeal
- data.gouv.fr: руководство по баллу качества метаданных
- И. Бегтин, Что не так с порталом открытых данных Узбекистана?, февраль 2023 — размеры наборов data.gov.uz
- Метрики, методики и рейтинги, самоаудит
- Хорошие практики, федерация, как сделать публикацию находимой
- OpenNeuro, руководство пользователя — проверка BIDS при загрузке; DANDI, публикация наборов — публикация после исправления всех ошибок проверки; каталог схем schema.data.gouv.fr