Перейти к основному содержимому

Другие возможности

Поиск, предпросмотр, несколько языков, сбор чужих каталогов, статистика и обратная связь попадают в техническое задание, потому что они есть у большого портала. У каждой есть порог. Пока он не пройден, раньше них делают выгрузку описаний, лицензию и постоянные адреса.

Коротко:

  • Поиск по тексту описаний и фильтры нужны, когда наборов сотни и люди ищут по теме. Десяткам наборов с понятными названиями хватает списка.
  • Предпросмотр помогает выбрать файл. Ссылка в статье и запрос программы идут на файл и API: предпросмотр для них не источник.
  • Перевод кнопок и перевод названий — разные работы. Поиск на втором языке находит набор, только если на этом языке записано название или описание.
  • Сбор чужих каталогов нужен тому, кто показывает чужие наборы. Порталу со своими наборами он добавляет карточки без владельца.
  • Счётчик просмотров страницы не видит скачивание через API. В годовой отчёт такая цифра не годится: как числа каталога обманывают, разобрано в главе о метриках.
  • Форма без человека, который её читает и отвечает в названный срок, хуже контакта в карточке.

Как процесс сбора устроен у источника и у сборщика — в главе «Федерации и агрегация». Здесь — порог, место возможности в платформе и проверка живого сайта.

Когда какая нужна​

ВозможностьНужна, когдаМожно обойтись, когда
Поиск и фильтрынаборов сотни и больше, ищут по теме, организации и форматунаборов десятки, у каждого понятное название
Предпросмотрчеловек должен понять файл, не скачивая егофайлы маленькие, или данные читает только программа
Несколько языковнесколько официальных языков или международная аудитория, и есть кому вести перевод описанийодин город и один язык
Сбор чужих каталоговрегиональный, национальный портал или агрегаторпортал публикует только своё
Статистика использованияпо ней решают, что обновлять, и считают и страницы, и APIнужна одна «большая цифра» в годовом отчёте
Обратная связьпубличный портал, и назван человек, который читает сообщенияархив по регламенту гранта: хватает контакта в описании

Поиск через API — соседняя возможность, она разобрана в главе об API и выгрузке. На CKAN строка на сайте и запрос программы смотрят в один и тот же индекс, поэтому слово, которого нет в выдаче сайта, не найдётся и через API.

Поиск и фильтры​

Поиск по словам и фильтры по организации, теме и формату. На геопортале к ним добавляется поиск по карте.

Достаточно списка, когда наборов десятки. Отдельный поисковый индекс — копия описаний, устроенная для быстрого поиска, — нужен, когда наборов тысячи и люди фильтруют, а не листают. Если индекс разошёлся с базой описаний, набор есть, а поиск его не показывает.

Поиск по названию и поиск по описанию — разные настройки индекса. Слово, которым набор ищут, часто стоит в тексте карточки, а не в заголовке. Индекс, в который описание не попало, такое слово не найдёт.

У CKAN индекс — Solr, он входит в обычную установку. Обычный запрос ищет по общему полю text: туда попадают название, описание, теги и другие поля карточки. Запрос с двоеточием ищет по одному полю, например title:бюджет. Фильтры по организации, группе, тегу и формату файла тоже в ядре. У Dataverse 6.12 Solr — обязательная часть установки, и его API нельзя открывать наружу: кто достучится до Solr, сможет менять индекс мимо каталога. У GeoNetwork 4.4 индекс — Elasticsearch (в документации октября 2026 года рекомендована версия 8.19.13, минимальная — 8.14); порт самого индекса наружу не открывают, поиск идёт через каталог. У InvenioRDM в инструкции установки назван OpenSearch. У udata поиск — Elasticsearch, и он не обновляется сам в момент записи карточки.

14 октября 2026 года на data.gov.gr (CKAN 2.11.3) запрос со словом Guarantees вернул 6 наборов. В греческом названии первого этого слова нет: оно стоит в английском переводе названия. Значит, перевод названия попал в индекс. Фильтр по формату CSV в тот же день отобрал 5599 наборов из каталога: фильтр по формату на этом портале работает.

Проверка: наберите слово из середины описания, а не из названия. Затем отберите одну организацию и один формат. Если фильтра нет, а наборов больше нескольких сотен, людям приходится листать выдачу.

Предпросмотр​

Таблица, график или карта на странице набора помогают решить, тот ли это файл. Предпросмотр нельзя процитировать и нельзя надёжно забрать программой. Копия для показа устаревает отдельно от файла: её проверяют так же, как исходный файл. Об этом — в главе «Анатомия каталога».

У CKAN виды показа — плагины из поставки ядра: таблица (datatables_view), текст, картинка, видео, аудио, встроенная страница. Таблица включается, только если строки лежат в DataStore. Сам DataStore — часть ядра, а заливку CSV в него делает расширение XLoader. В документации CKAN 2.12 просмотрщиков Recline уже нет: таблицу показывает datatables_view. Карту слоя даёт расширение ckanext-geoview, выпуск 0.3.2 от 2 октября 2026 года. Файл на чужом сайте браузер со страницы CKAN сам не покажет: для этого включают прокси ресурсов, и у прокси есть предел размера. Встроенную страницу (webpage_view) не включают там, где наборы создаёт кто угодно: она показывает чужой адрес внутри портала.

На data.gov.gr 14 октября 2026 года включены и datatables_view, и datastore, и xloader. У набора о государственных гарантиях за декабрь 2023 года файл XLS в DataStore не загружен. CSV того же набора загружен, но поле datastore_contains_all_records_of_source_file равно false: в базе лежит не весь файл. Предпросмотр таблицы зависит от конкретного файла и может показать только его часть.

У Dataverse механизм подключения просмотрщиков есть в ядре (внешние инструменты), а сами просмотрщики — отдельный набор сообщества, dataverse-previewers. Их ставит администратор. На странице файла предпросмотр закрытого файла не показывают. Его видит тот, у кого уже есть право скачать файл, в том числе по отдельной ссылке предпросмотра черновика. Поэтому фраза «у Dataverse есть предпросмотр» верна для установки, где просмотрщики включены, и для файла, который этому человеку можно скачать.

У InvenioRDM просмотрщики входят в поставку: PDF, CSV, картинки, Markdown, JSON, XML, ZIP, блокноты Jupyter; с выпуска v12 ещё аудио и видео. Часть из них, включая CSV, читает файл из хранилища самой установки. У Socrata страница набора — это таблица и холст исследования: руководство по статистике называет их обычными страницами просмотра. У GeoNetwork в ядре карта слоя, а не таблица CSV.

Проверка: откройте набор с таблицей и набор с закрытым файлом. У первого на странице есть таблица или прямая ссылка на скачивание, без обещания таблицы, которой нет. У второго содержимое не видно тому, кому файл закрыт.

Несколько языков​

Здесь три разные вещи.

Язык кнопок. Меню, подписи, сообщения об ошибках. У CKAN переводы интерфейса лежат в ядре: список языков задают настройками ckan.locales_offered и ckan.locale_default. У Dataverse и InvenioRDM дополнительные языки интерфейса включаются настройкой, переводы поставляет сообщество. У GeoNetwork 4.4 список языков интерфейса выбирают в настройках; если язык один, переключатель не показывают.

Язык данных. Поле вроде dct:language говорит, на каком языке сама таблица или текст. Это не перевод карточки.

Перевод карточки. Название и описание на каждом языке, на котором порталом пользуются. У CKAN такие поля делает расширение ckanext-fluent вместе с ckanext-scheming. Оба ведёт сообщество CKAN, автоматические тесты на основной ветке 14 октября 2026 года включают CKAN 2.10, 2.11 и 2.12. У GeoNetwork несколько языков в самой записи ISO — возможность ядра: название и аннотация хранятся отдельно для каждого языка, и поиск можно ограничить языком интерфейса или вести по всем языкам записи. У Dataverse и InvenioRDM отдельные переводы полей появляются, если это заложено в схеме. Само поле «язык набора» перевод названия не заменяет.

Если кнопки на двух языках, а карточки на одном, поиск на втором языке пуст: человек переключил язык и не находит набор, который лежит под названием на первом.

data.gov.gr как раз ведёт карточки на двух языках: в списке плагинов есть fluent и scheming. У набора о государственных гарантиях за декабрь 2022 года греческое название, греческое описание и английское название говорят о декабре 2022 года, а английское описание — «Hellenic Republic Guarantees – January 2026». Перевод описания указывает на другой месяц. Поиск по английскому слову при этом работает, потому что английское название в индекс попало. Перевод, который никто не сверяет с исходной карточкой, расходится с ней тихо.

Машинный перевод собранных карточек делает их находимыми на языках ЕС: data.europa.eu так переводит названия и описания уже после сбора. Точную формулировку на двух языках по-прежнему пишет издатель. Как устроена цепочка сбора — в главе о федерациях.

Проверка: переключите язык и найдите набор словом на этом языке. Затем откройте карточку и сравните перевод описания с текстом на языке оригинала, а не только с переводом названия.

Сбор чужих каталогов​

Портал забирает описания из других каталогов по расписанию: из DCAT, API CKAN, CSW, OAI-PMH. Берут карточки, не файлы. Региональному и национальному порталу и любому агрегатору это основная работа. Ведомству, которое публикует только своё, сбор не нужен: чужие карточки увеличивают счётчик и оставляют вторую копию без владельца.

Где это живёт в платформе, сверено в октябре 2026 года:

  • CKAN. Каркас сбора — расширение ckanext-harvest. Сбор RDF делает ckanext-dcat, сбор геокаталогов — ckanext-spatial. Кто их ведёт и с какой версией ядра они работают — в главе про CKAN.
  • udata. Шесть сборщиков входят в поставку: DCAT, два варианта CSW, CKAN, DKAN и формат французского министерства сельского хозяйства. Ни один не включён, пока его нет в настройке HARVESTER_BACKENDS. Новый источник администратор ещё и подтверждает, иначе сбор не стартует. Запись в базу не попадает в поиск сама: после прохода индекс пересобирают отдельно. На data.gouv.fr 14 октября 2026 года список источников отдавал 502 записи. В ту же ночь источник «Communauté de Communes du Pays de Landivisiau» (сборщик CSW, каталог GeoBretagne) завершился без ошибок и забрал 4 набора.
  • Dataverse. Клиент сбора есть в ядре и ходит по OAI-PMH, в том числе в другие установки Dataverse. Собранный набор в поиске ведёт на исходный репозиторий, править его у себя нельзя. Сервер OAI-PMH, которым отдают свои наборы наружу, по умолчанию выключен: это отдача, а не сбор.
  • Piveau. Сбор DCAT — основная функция ядра.
  • GeoNetwork. В ядре забирает CSW, OAI-PMH, сервисы OGC и коллекции STAC.
  • Huwise. Сборщики входят в сервис: CKAN, Socrata, ArcGIS, ArcGIS Hub, файл data.json, data.gouv.fr и другие порталы Huwise. Сбор из CSW по умолчанию выключен, его включают через поддержку.
  • Socrata (Tyler Data & Insights). Catalog Connector в панели администратора забирает файл data.json и публичный ArcGIS Server, плюс есть обмен между доменами самой Socrata. Наборы из data.json после синхронизации становятся открытыми: закрытый у источника набор на стороне Socrata снова откроется. Это проверяют до подключения чужого каталога с непубличными записями.
  • JKAN и статический сайт. Сбора в шаблоне нет: файл data.json собирает генератор из страниц. Чужие каталоги забирают отдельным скриптом в том же репозитории, как на opendata.scot.

У ArcGIS Hub в этой сверке сбор произвольных чужих каталогов не подтверждён. У InvenioRDM, DSpace и NADA клиент сбора в документации этой сверки не закрывался.

На data.gov.gr у набора, забранного сборщиком DCAT-AP, в карточке есть адрес оригинала (https://portal.raise-science.eu/datasets/…) и название источника сбора. Читатель отличает чужую публикацию от городской.

Проверка: в списке источников есть живой адрес, дата последнего успешного прохода и число забранных наборов. На карточке собранного набора видна ссылка на оригинал. Слово из названия находится поиском: запись в базу без пересборки индекса на сайте не видна.

Статистика использования​

Просмотры страниц, скачивания файлов, вызовы API. По ним решают, какие наборы обновлять в первую очередь, и показывают, что каталогом пользуются. Одна цифра «просмотров портала» для этого не годится: она легко раздувается и не видит тех, кто забирает файл программой.

В документации CKAN 2.12 подсчёт просмотров — плагин tracking из поставки ядра. Его включают в список плагинов. В CKAN 2.10 и более ранних версиях тот же подсчёт включался настройкой внутри ядра. Плагин пишет просмотры страниц наборов и файлов. Сводка, которую показывает сайт, обновляется командой ckan tracking update; чтобы цифры попали в поиск, после неё пересобирают индекс. Поле recent — просмотры за 14 дней, total — все учтённые просмотры. Вызовов API этот счётчик не видит. На data.gov.gr плагин включён: 14 октября 2026 года у одного собранного набора сводка показывала 51 просмотр всего и 31 за последние 14 дней, у соседнего набора оба числа были нулями. Ноль значит, что страницу не открывали с тех пор, как подсчёт её видит.

Отдельный путь — расширение ckanext-googleanalytics (сообщество CKAN). Автоматические тесты на основной ветке идут на CKAN 2.10, 2.11 и 2.12. В главе про CKAN отмечено, что документация расширения называет версии до 2.11. Журналы веб-сервера остаются третьим способом, когда нужно увидеть запросы, которые страница не считает.

У Dataverse обычный счётчик скачиваний есть без дополнительной установки. Учёт по правилам Make Data Count — это отдельная программа Counter Processor, ежедневный запуск и обмен с DataCite. Make Data Count собирает просмотры, скачивания и цитирования исследовательских данных по правилам COUNTER для данных. Цитирования из этого обмена приходят только для наборов с DOI. Установка на Handle может посчитать просмотры и скачивания у себя, в концентратор DataCite их не отправляют.

У InvenioRDM с выпуска v12 статистика просмотров и скачиваний входит в поставку и следует тем же правилам COUNTER и Make Data Count. На карточке по умолчанию показывают уникальные просмотры и скачивания: повторный заход с того же источника второй раз не прибавляют. Актуальный выпуск линии — v14.

У Socrata статистика входит в сервис. Набор данных Site Analytics считает просмотры страниц, скачивания и чтения через API, так что программный доступ в этой системе виден. У udata счётчики лежат в карточке набора. На data.gouv.fr 14 октября 2026 года у набора «Trajets réalisés en covoiturage» (реестр подтверждённых совместных поездок) API показывал 18 334 348 просмотров и 63 155 скачиваний файлов. Рядом стоящие числа отвечают на разные вопросы: страница и файл. В отчёт о спросе берут то число, которое совпадает со способом, которым данными пользуются.

Проверка: откройте статистику набора, который скачивают скриптом, и набора, который открывают в браузере. Если у первого нули, счётчик видит только страницы.

Обратная связь​

Кнопка «нашли ошибку», обсуждение на карточке, форма «запросите набор», витрина примеров использования. Пример использования — приложение, статья или визуализация на основе набора, привязанные к его карточке. Для публичного портала органа власти это способ увидеть спрос. Для архива, куда данные кладут по регламенту гранта, достаточно контакта в описании.

Форма без человека, который её читает, хуже контакта в карточке: письма копятся, а пользователь считает, что запрос принят. Прежде чем ставить форму или витрину, называют, кто отвечает и за какой срок.

У udata обсуждения и примеры использования входят в ядро. На data.gouv.fr 14 октября 2026 года сводка портала показывала 17 732 обсуждения и 5996 примеров использования. У того же набора о совместных поездках было 23 обсуждения, из них 19 ещё открыты, и 5 примеров использования. Счётчик сообщений не говорит, ответили ли на них.

У CKAN витрину примеров делает расширение ckanext-showcase. Его ведёт сообщество CKAN, тесты на основной ветке идут на 2.10, 2.11 и 2.12, последний выпуск на 14 октября 2026 года — 1.8.4 от 22 июля 2025 года. На CKAN 2.12 для картинок витрины отдельно настраивают хранилище файлов. Страницы «о портале» делает ckanext-pages, тоже сообщество CKAN. Последний выпуск — v0.5.2 от 7 июня 2023 года. Поддержка CKAN 2.12 влита в основную ветку 26 июня 2026 года, выпуска после этого нет: на 2.12 расширение ставят из основной ветки. Тесты этой ветки включают 2.10, 2.11 и 2.12. При обновлении ядра это отдельная проверка, даже когда тесты зелёные: ставить нечего, кроме снимка ветки.

У Dataverse на карточке есть контакт, а у закрытого файла — запрос доступа. Это ядро. Книга отзывов при скачивании считает визит, письмо владельцу она не заменяет.

Проверка: отправьте сообщение об ошибке на один набор и посмотрите, дошло ли оно до владельца данных. Общий ящик, который никто не открывает, проверку не проходит.

Как это сделано в платформах​

Пометки — ядро, расширение, нет, не проверено, как в сводной таблице. «Ядро» здесь значит «входит в поставку». Плагин CKAN, который лежит в той же поставке и только включается, записан как ядро. Сверено с документацией и живыми порталами 14 октября 2026 года.

ПлатформаПоискПредпросмотрПеревод карточекСборСтатистикаОбратная связь
CKAN 2.12ядро (Solr)ядро (виды показа); таблица — при DataStore; заливка CSV — XLoader; карта — ckanext-geoviewрасширение (ckanext-fluent и scheming); кнопки — ядрорасширение (harvest, dcat, spatial)ядро (плагин tracking, просмотры страниц); ckanext-googleanalytics — расширениевитрина и страницы — расширения; контакт — поле карточки
Dataverse 6.12ядро (Solr)механизм в ядре, просмотрщики ставит администраторязык интерфейса — настройка; перевод полей — если он есть в схемеядро (клиент OAI-PMH)счётчик скачиваний — ядро; Make Data Count — отдельная программаконтакт и запрос доступа — ядро
InvenioRDM v14ядро (OpenSearch)ядроязык интерфейса — настройкане провереноядро с v12 (COUNTER, Make Data Count)не проверено
GeoNetwork 4.4ядро (Elasticsearch)карта слоя — ядроядро (языки в записи ISO и в интерфейсе)ядроне провереноне проверено
udataядро (Elasticsearch)не провереноне провереноядро (шесть сборщиков, по умолчанию выключены)ядро хранит счётчикиядро (обсуждения и примеры использования)
Huwiseядроне провереноне провереноядро (CSW включают по запросу)не провереноне проверено
Socrataядроядро (таблица и холст исследования)не провереноядро (Catalog Connector)ядро (просмотры, скачивания, чтения API)не проверено
ArcGIS Hubядроне провереноне провереноне провереноне провереноне проверено
JKAN, статический сайтфильтр по JSON в браузере, API нетнетнет: текст пишет авторнет в шаблоне; скрипт пишут отдельнонетконтакт в тексте страницы

Клетка «не проверено» значит, что в документации этой сверки ответа не было. Перед выбором платформы её закрывают по руководству этой платформы.

Пример: город копирует большой портал​

Коротко, как выглядит обоснование по шаблону карточки решения:

  • Контекст. Город публикует около 40 наборов, один официальный язык, чужих каталогов нет. В техническое задание перенесли список национального портала: поиск с фильтрами, предпросмотр таблиц и карт, три языка, сбор порталов районов, статистика для годового отчёта, форма «нашли ошибку» и витрина примеров.
  • Варианты. Требовать весь список и закрыть его расширениями CKAN. Взять Socrata или другой облачный сервис, где таблица и статистика уже входят в сервис. Записать в требования поиск и контакт, а остальное — как отказ с порогом пересмотра.
  • Критерии. Число наборов и число языков, на которых карточки реально будут вести. Есть ли чужие каталоги, которые город обязан забирать. Назван ли человек, который читает форму и обновляет переводы.
  • Решение. В требованиях остаются поиск по названию и описанию и контакт в карточке. Предпросмотр таблицы желателен только вместе с хранилищем таблиц, для тех CSV, которые туда грузят. Перевод карточек, сбор, витрина и статистика для отчёта в эту очередь не входят.
  • Почему. Весь список расширений CKAN не проходит порог: второго языка нет, районы свои каталоги городу не отдают, форму некому читать, а каждое расширение проверяют при обновлении ядра. Socrata, где таблица и статистика уже в сервисе, не проходит тот же порог: эти функции не становятся задачей от того, что они входят в тариф. Поиск и контакт закрывают сегодняшние 40 наборов.
  • Когда пересмотреть. Наборов стало больше нескольких сотен, и слово из описания не находится. Появился второй официальный язык и назван человек, который ведёт перевод карточек. Городу поручили забирать каталоги районов. На форму назначен сотрудник и срок ответа.

Публикация без портала​

На статическом сайте и в Git-репозитории эти шесть возможностей почти все остаются на авторе страницы.

Поиск — это поиск по сайту силами площадки или список с понятными названиями. Отдельный индекс автор добавляет сам, когда страниц становится много. Предпросмотра в смысле каталога нет. GitHub показывает небольшой CSV и TSV таблицей; пределы площадки разобраны в главе о форматах. Язык один, тот, на котором написана страница; второй язык — вторая страница, и её тоже нужно найти поиском. Сбора чужих каталогов нет. Статистика площадки считает визиты репозитория или сайта и пропускает тех, кто забрал файл прямой ссылкой. Обратная связь — адрес в тексте страницы и вопросы в репозитории, если их кто-то читает.

Этого хватает для небольшого набора страниц. Пороги из таблицы выше здесь те же: сотни файлов, второй язык, обязанность забирать чужие каталоги и отчёт о спросе по API возвращают к каталогу. Как сделать такую публикацию находимой — в главе «Как сделать публикацию находимой».

Как проверить живой портал​

Команды ниже выполнены 14 октября 2026 года.

Поиск по слову, которого нет в названии на языке по умолчанию, но которое есть в переводе названия. Ответ CKAN — число найденных наборов в result.count:

curl -s "https://data.gov.gr/api/3/action/package_search?q=Guarantees&rows=1"

В тот день счётчик был 6. У первого набора греческое название — про государственные гарантии за декабрь 2023 года, английское содержит слово Guarantees.

Фильтр по формату. Счётчик в том же поле:

curl -s "https://data.gov.gr/api/3/action/package_search?fq=res_format:CSV&rows=0"

Сверка перевода с исходной карточкой. Смотрите title_translated и notes_translated:

curl -s "https://data.gov.gr/api/3/action/package_show?id=eggyiseis-ellinikoy-dimosioy-dekemvrioy-2022"

Просмотры страниц, если на CKAN включён плагин tracking. В ответе поиска или карточки — объект tracking_summary с полями total и recent.

Сводка портала на udata: число наборов, обсуждений и примеров использования — в metrics.

curl -s "https://www.data.gouv.fr/api/1/site/"

Список источников сбора и число записей — в поле total:

curl -s "https://www.data.gouv.fr/api/1/harvest/sources/?page_size=1"

У одного источника смотрят last_job.status, last_job.ended и last_job.items. У источника Landivisiau в ту ночь статус был done, ошибок не было, наборов — 4.

На любом другом портале те же вопросы без этих адресов: слово из середины описания находится; фильтр по организации и формату есть, когда наборов сотни; у закрытого файла предпросмотр пуст; после смены языка поиск на этом языке что-то находит, и перевод описания совпадает с оригиналом; у собранного набора есть ссылка на источник и дата последнего прохода; счётчик скачивания скриптом не равен нулю, если скрипты — главный способ доступа; сообщение об ошибке доходит до владельца данных.

Источники​