Методические рекомендации 3.0: различия между версиями

Материал из Открытое правительство
Перейти к навигации Перейти к поиску
[непроверенная версия][непроверенная версия]
Строка 722: Строка 722:
  
 
{{sec|15|<h1>Приложение 7. Требование к представлению  реестра  наборов  открытых данных</h1>}}
 
{{sec|15|<h1>Приложение 7. Требование к представлению  реестра  наборов  открытых данных</h1>}}
 +
{{par|1|<h2>Реестр наборов открытых данных (CSV)</h2>}}
 +
{{par|2|<h3>Требования к публикации реестра наборов открытых данных в машиночитаемом формате CSV</h3>}}
 +
{{par|3|1) Требования к расположению:|1}}
 +
{{par|4|a. Машиночитаемый формат реестра открытых данных представлен отдельным файлом в формате CSV.|2}}
 +
{{par|5|b. Файл имеет название «list.csv».|2}}
 +
{{par|6|c. Файл расположен непосредственно в разделе открытых данных. Например, ваш сайт расположен по адресу «http://example.com/». Тогда, учитывая требование к названию файла и возможные адреса раздела открытых данных, файл реестра открытых данных должен быть доступен по одному из двух адресов:|2}}
 +
{{par|7|i. http://example.com/opendata/list.csv|3}}
 +
{{par|8|ii. http://opendata.example.com/list.csv|3}}
 +
{{par|9|2) Требования к формату:|1}}
 +
{{par|10|a. Соответствие файла стандарту RFC - «Common Format and MIME Type for Comma-Separated Values (CSV) Files» (http://tools.ietf.org/html/rfc4180).|2}}
 +
{{par|11|b. Дополнительные требования к CSV:|2}}
 +
{{par|12|i. Разделителем полей является знак «,» (запятая).|3}}
 +
{{par|13|ii. Ограничителем строк является знак «"» (универсальная двойная кавычка).|3}}
 +
{{par|14|iii. Разделителем целой и дробной части чисел является знак «.» (точка).|3}}
 +
{{par|15|c. Кодировка файла - «UTF-8».|2}}
 +
{{par|16|3) Требование к структуре данных:|1}}
 +
{{par|17|a. По горизонтали перечислены атрибуты полей реестра наборов открытых данных, по вертикали перечислены поля реестра наборов открытых данных.|2}}
 +
{{par|18|b. Наличие следующих обязательных атрибутов поля реестра наборов открытых данных:|2}}
 +
{{par|19|i. Атрибут поля «Наименование поля реестра наборов открытых данных»:|3}}
 +
{{par|20|1. Должен быть установлен следующий обязательный заголовок атрибута: «property».|4}}
 +
{{par|21|2. Значением атрибута является наименование поля реестра набора открытых|4}}
 +
{{par|22|ii. Атрибут поля «Заголовок поля реестра наборов открытых данных»:|3}}
 +
{{par|23|1. Должен быть установлен следующий обязательный заголовок атрибута: «title».|4}}
 +
{{par|24|2. Значением атрибута является заголовок поля реестра наборов открытых данных.|4}}
 +
{{par|25|iii. Атрибут поля «Значение поля реестра наборов открытых данных»:|3}}
 +
{{par|26|1. Должен быть установлен следующий обязательный заголовок атрибута: «value».|4}}
 +
{{par|27|2. Значением атрибута является значение поля реестра наборов открытых данных.|4}}
 +
{{par|28|iv. Атрибут поля «Формат поля реестра наборов открытых данных»:|3}}
 +
{{par|29|1. Должен быть установлен следующий обязательный заголовок атрибута: «format».|4}}
 +
{{par|30|2. Значением атрибута является формат значения поля реестра наборов открытых данных.|4}}
 +
{{par|31|с. Наличие следующих обязательных полей реестра наборов открытых данных:|2}}
 +
{{par|32|i. Поле паспорта «Версия методических рекомендаций»:|3}}
 +
{{par|33|1. Должно быть установлено следующее обязательное наименование поля: «standardversion».|4}}
 +
{{par|34|2. Должен быть установлен следующий обязательный заголовок поля: «Версия методических рекомендаций».|4}}
 +
{{par|35|3. Значением поля является ссылка на версию методических рекомендаций, которой соответствует публикация этого реестра наборов открытых данных.|4}}
 +
{{par|36|4. Атрибут «Формат поля реестра наборов открытых данных» неприменим для этого поля, поэтому значением формата поля является пустая строка.|4}}
 +
{{par|37|ii. Поле паспорта «Набор открытых данных» (данное поле повторяется столько раз, сколько опубликовано наборов открытых данных):|3}}
 +
{{par|38|1. Должно быть установлено следующее обязательное наименование поля: «<identifier>». Где <identifier> - это идентификационный номер паспорта набора открытых данных.|4}}
 +
{{par|39|2. Должен быть установлен следующий обязательный заголовок поля: «<title>». Где <title> - это наименование набора открытых данных.|4}}
 +
{{par|40|3. Значением поля является ссылка на машиночитаемый формат паспорта набора открытых данных.|4}}
 +
{{par|41|4. Значением формата поля является машиночитаемый формат набора открытых|4}}
 +
{{par|42|d. Все наборы перечислены в одном файле, постраничное представление наборов в нескольких CSV файлах не допускается. Пояснение: визуальное представление реестра наборов открытых данных может быть разбито на несколько страниц и иметь сложную навигацию в случае большого количества наборов, но при этом машинное представление должно быть представлено только одним файлом по указанному адресу и никак не зависит от страниц визуального представления.}}
 +
{{par|43|<h3>list.csv (пример)</h3>}}
 +
{{par|44|}}
 +
{{tableend}}
 +
<code>property,title,value,format
  
 +
standardversion,Версия методических рекомендаций, http://opendata.gosmonitor.ru/standard/3.0,
 +
 +
7712345678-showrooms,Список выставочных залов,http://example.com/opendata/7712345678-showrooms/meta.xml,xml
 +
 +
7712345678-libraries,Список муниципальных библиотек,http://example.com/opendata/7712345678-libraries/meta.csv,csv</code>
 +
 +
{{tablestart}}
 
{{sec|16|<h1>Приложение 8. Требование к представлению паспорта набора открытых данных</h1>}}
 
{{sec|16|<h1>Приложение 8. Требование к представлению паспорта набора открытых данных</h1>}}
  

Версия от 16:22, 4 июня 2015

Методические рекомендации 3.0
Полное наименование Методические рекомендации по публикации открытых данных государственными органами и органами местного самоуправления, а также технические требования к публикации открытых данных
Краткое наименование Методические рекомендации 3.0
(версия документа «Методические рекомендации»)
Уровень документа Федеральный
Принявший орган Правительственная комиссия по координации деятельности открытого правительства
Дата принятия 2014/05/29
Реквизиты
Утвердивший документ Протокол Правкомиссии по ОП от 29.05.2014 № 4
Тип документа Методические рекомендации
Область регулирования Регулирование открытости
Ссылка на документ Основная ссылка Резервная ссылка
Органы и организации, упомянутые в документе:
















1

Термины и определения

Абстрактная модель - модель, отражающая общие характеристики моделируемого явления. Данный тип модели представляет информацию о качественных характеристиках моделируемого объекта или явления.
Востребованный набор открытых данных - опубликованный набор открытых данных, пользующийся популярностью у пользователей.
Сводный реестр наборов открытых данных - реестр, ведущийся уполномоченным органом государственной власти Российской Федерации, содержащий сведения обо всех реестрах наборов открытых данных государственных органов и органов местного самоуправления Российской Федерации, а также сведения об иных востребованных реестрах и наборах открытых данных.
Интерфейс прикладного программирования (API) - набор готовых классов, функций, структур и констант, предоставляемых приложением (библиотекой, сервисом) для использования во внешних программных продуктах.
Машиночитаемые данные - данные, представленные в описанном формате, позволяющем информационным системам без участия человека идентифицировать, обрабатывать, преобразовывать такие данные и их составные части (элементы), а также обеспечивать доступ к ним.
Метаданные (метаинформация) - структурированная информация, описывающая, разъясняющая, а также позволяющая находить или иным способом упрощать извлечение, использование или управление информационными ресурсами.
Набор открытых данных (набор данных) - совокупность однородных элементов машиночитаемых данных и описывающей их метаинформации.
Обладатель информации - лицо, самостоятельно создавшее информацию, либо получившее на основании закона или договора право разрешать или ограничивать доступ к информации, определяемой по каким-либо признакам.
Онтология - средство связывания атрибутов наборов открытых данных между собой, представляет собой терминологический словарь синонимов/соотношений.
Опубликование (публикация) - размещение информации в сети «Интернет» для обеспечения доступа к ней неопределенного круга лиц.
Открытые данные - информация, размещенная в сети «Интернет» в виде систематизированных данных, организованных в формате, обеспечивающем ее автоматическую обработку без предварительного изменения человеком, в целях неоднократного, свободного и бесплатного использования.
Открытые государственные данные - открытые данные, опубликованные государственными органами, их территориальными органами, органами местного самоуправления или организациями, подведомственными государственным органам, органам местного самоуправления.
Ответственный представитель за публикацию открытых данных (ответственный за публикацию, публикатор) - должностное лицо, уполномоченное представлять государственный орган или орган местного самоуправления по вопросам публикации открытых данных.
Паспорт открытых данных - совокупность сведений о наборе открытых данных, необходимых для установления факта принадлежности набора открытых данных к той или иной тематической рубрике, его потенциальной пригодности для решения задач потребителя, а также установления адреса размещения, способа загрузки и последующей автоматической обработки набора открытых данных.
Потребитель открытых государственных данных (конечный потребитель) - субъект российской или международной юрисдикции, имеющий намерение и полное право использовать Открытые государственные данные в соответствии с Открытой Лицензией.
Портал открытых данных Российской Федерации - комплексная государственная информационная система, которая реализует функцию предоставления неограниченному кругу лиц доступа к реестру наборов открытых данных органов государственной власти Российской Федерации, органов местного самоуправления и организаций, действующих на территории Российской Федерации, а также иные функции, обеспечивающие реализацию политики Российской Федерации в области публикации открытых данных.
Портал открытых данных государственного (муниципального) органа - информационная система, которая реализует функцию предоставления неограниченному кругу лиц доступа к реестру наборов открытых данных соответствующего органа государственной власти Российской Федерации или органа местного самоуправления, действующего на территории Российской Федерации, а также иные функции, обеспечивающие реализацию политики Российской Федерации в области публикации открытых данных.
Раздел открытых данных на официальном сайте - раздел сайта официального органа государственной власти или органа местного самоуправления по вопросам публикации открытых данных.
Реестр наборов открытых данных - систематизированный перечень наборов открытых данных, позволяющий в автоматическом режиме осуществлять навигацию по наборам открытых данных и получать ключевые параметры этих наборов, включая гиперссылки, необходимые для доступа к наборам открытых данных.
Реестр наборов открытых данных государственного органа или органа местного самоуправления - реестр наборов открытых данных, включающий сведения о наборах открытых данных соответствующего государственного органа или органа местного самоуправления.
Связанные данные (Linked Data) - метод публикации структурированных данных, предусматривающий стандартизированное именование и связывание данных в целях обеспечения автоматической идентификации, обработки и преобразования информационными системами, соответствующий принципам связывания данных.
Совет по открытым данным - рабочая группа при Правительственной комиссии по координации деятельности открытого правительства, созданная по решению Правительственной комиссии по координации деятельности открытого правительства от 28 февраля 2013 г. (протокол № 1).
Специфические типы данных - данные, публикуемые в виде открытых данных, содержащие особенности в части использования узкоспециализированных справочников, онтологий и классификаторов, которые необходимо публиковать в виде открытых данных и/или указывать ссылки их публикации.
Система управления содержимым (CMS) - информационная система, используемая для обеспечения и организации совместного процесса создания, редактирования и управления содержимым сайта (например, Joomla, WordPress, Drupal).
CSV - (Comma-Separated Values — значения, разделенные запятыми) — текстовый формат, предназначенный для представления табличных данных. Каждая строка файла — это одна строка таблицы. Значения отдельных колонок отделяются друг от друга установленным в системе разделительным символом (delimiter).
HTML+Microdata - Микроданные (англ. microdata) — совокупность методов семантической разметки данных с использованием элементов языка HTML. Обеспечивает возможность автоматического считывания включенной в HTML-документ атрибутивной информации при сохранении стандартной функциональности (визуального просмотра документа с использованием браузера).
HTML+RDFa - (RDF in attributes) — запись внутри атрибутов произвольного HTML- документа. Пользователь-человек может воспринимать размеченную страницу как обычную веб-страницу (через браузер); в то же время программы-обработчики способны извлечь из такой страницы структурированную информацию, следуя определенным соглашениям.
JSON - (JavaScript Object Notation) — текстовый формат обмена данными, основанный на JavaScript и обычно используемый именно с этим языком. Как и многие другие текстовые форматы, JSON легко читается людьми.
RDF — (Resource Description Framework)8 - модель, разработанная Консорциумом Всемирной паутины (W3C) для представления данных, в особенности — метаданных. RDF представляет сведения о ресурсах в пригодном для машинной обработки виде.
XML - (eXtensible Markup Language — расширяемый язык разметки) — язык разметки, рекомендованный Консорциумом Всемирной паутины (W3C). Спецификация XML описывает XML-документы и частично описывает поведение XML-процессоров (программ, читающих XML-документы и обеспечивающих доступ к их содержимому).
2

Целевая аудитория

Основной аудиторией методических рекомендаций являются представители органов государственной власти, ответственные за публикацию открытых данных государственных органов или органов местного самоуправления, сотрудники государственных органов, являющиеся обладателями информации, и технические специалисты, организующие работу по публикации открытых данных в требуемом представлении.
Методические рекомендации накладывают обязательства перед ответственными представителями за публикацию открытых данных государственных органов или органов местного самоуправления в соответствии с требованиями Федерального закона от 27 июля 2006 г. № 149-ФЗ «Об информации, информационных технологиях и о защите информации» и Федерального закона от 9 февраля 2009 г. № 8-ФЗ «Об обеспечении доступа к информации о деятельности государственных органов и органов местного самоуправления» с учетом изменений, внесенных Федеральным законом от 7 июня 2013 г. № 112-ФЗ. Методические рекомендации основываются на принципах Хартии открытых данных «Группы восьми», принятой 18 июня 2013 года.
В иных случаях Методические рекомендации служат руководством для всех желающих публиковать информацию в виде открытых данных на территории Российской Федерации на добровольной основе.
Методические рекомендации будут интересны тем, кому требуется общее понимание процедуры размещения открытых государственных данных на территории Российской Федерации и принципы работы при их публикации.
3

Определение наборов открытых данных и приоритетности их публикации

Опубликованию в форме открытых данных подлежат сведения, содержащие информацию о деятельности государственных органов и органов местного самоуправления, размещаемую в сети «Интернет» в соответствии с Федеральным законом от 09 февраля 2009 г. № 8-ФЗ «Об обеспечении доступа к информации о деятельности государственных органов и органов местного самоуправления», а также сведения, содержащие информацию, собираемую, хранимую, обрабатываемую или публикуемую государственными органами или органами местного самоуправления в рамках реализации своих полномочий.
Опубликование информации в форме открытых данных необходимо осуществлять поэтапно, учитывая при этом следующие факторы:
а) востребованность соответствующих наборов открытых данных потенциальными потребителями информации, оцениваемую в соответствии с методикой мониторинга и оценки востребованности открытых данных;
б) степень готовности, характеризующуюся наличием необходимых данных в электронном виде, а также готовностью организационных, технических, технологических и иных средств, необходимых для опубликования наборов открытых данных;
в) затраты на публикацию (финансовые, временные, трудовые), необходимые для опубликования наборов открытых данных и поддержания их в актуальном состоянии. Сведения, обладающие высокой востребованностью и степенью готовности, требующие при этом минимальных затрат, должны публиковаться в форме открытых данных государственными органами и органами местного самоуправления в первоочередном порядке.
Для повышения степени готовности сведений к опубликованию в форме открытых данных государственным органам и органам местного самоуправления рекомендуется при проведении работ по проектированию, созданию или развитию автоматизированных систем устанавливать соответствующие требования к таким работам, предусматривающие использование машиночитаемых данных при сборе, обработке, хранении и публикации сведений.
При формировании как реестра наборов открытых данных, так и самих наборов открытых данных, следует учитывать:
а) публикации подлежат первичные данные, не подвергнутые предварительной обработке;
б) для каждого набора данных должно быть определено должностное лицо, ответственное по вопросам публикации открытых данных;
в) для каждого набора данных должна быть установлена периодичность обновления с учетом потребностей потребителей открытых данных.
Сформированный реестр открытых данных утверждается государственным органом или органом местного самоуправления и подлежит публикации на официальном сайте органа в сети «Интернет».
4

Условия использования открытых данных

4.1

Требования к условиям использования открытых данных

При публикации набора открытых данных на странице набора в обязательном порядке должно присутствовать описание условий использования данных (например, ссылка на открытую лицензию) или ссылка на текст опубликованного документа, устанавливающего такие условия.
Условия использования не должны требовать от пользователей заключения какого-либо договора с государственным органом или органом местного самоуправления.
Условия использования не должны ограничивать потребителей открытых данных в применении данных наборов в некоммерческих и коммерческих целях.
Условия использования должны предполагать безвозмездное предоставление открытых данных.
Должно присутствовать требование наличия ссылки на источники публикации наборов данных в проектах (в условиях использования), использующих данные наборы.
Рекомендуется при публикации открытых данных использовать открытую лицензию, содержащую требования, приведенные в разделе 4.3 настоящих методических рекомендаций, или требования, соответствующие международным лицензиям Creative Commons или Open Data Commons.
В условиях использования должны отсутствовать требования регистрации и/или авторизации на сайте для возможности использования открытых данных.
Условия использования открытых данных не должны иметь противоречий и расхождений с законодательством Российской Федерации, а также нормами международного права.
Намеренное затруднение для выполнения поиска и анализа массивов открытых данных с использованием машинных алгоритмов (например, искажения или замены кириллических символов на похожие латинские) находится в зоне ответственности публикатора открытых данных, а также государственного органа - владельца информации, размещаемой в виде наборов открытых данных.
Основные нормативные правовые акты, регламентирующие публикацию открытых данных:
Федеральный закон от 9 февраля 2009 г. № 8-ФЗ «Об обеспечении доступа к информации о деятельности государственных органов и органов местного самоуправления»;
Федеральный закон от 27 июля 2006 г. № 149-ФЗ «Об информации, информационных технологиях и о защите информации» (далее - Федеральный закон № 149-ФЗ);
постановление Правительства Российской Федерации от 10 июля 2013 г. № 583 «Об обеспечении доступа к общедоступной информации о деятельности государственных органов и органов местного самоуправления в информационно-телекоммуникационной сети «Интернет» в форме открытых данных»;
постановление Правительства Российской Федерации от 24 ноября 2009 г. № 953 «Об обеспечении доступа к информации о деятельности Правительства Российской Федерации и федеральных органов исполнительной власти»;
приказ Минкомсвязи России от 27 июня 2013 г. № 149 «Об утверждении Требований к технологическим, программным и лингвистическим средствам, необходимым для размещения информации государственными органами и органами местного самоуправления в сети «Интернет» в форме открытых данных, а также для обеспечения ее использования»;
распоряжение Правительства Российской Федерации от 10 июля 2013 г. № 1187-р (О Перечнях информации о деятельности государственных органов, органов местного самоуправления, размещаемой в сети «Интернет» в форме открытых данных).
4.2

Ограничения на использование государственной информации

В соответствии с частью 5 статьи 7 Федерального закона № 149-ФЗ информация в форме открытых данных, составляющая государственную тайну, не подлежит публикации и распространению.
Ограничение доступа к информации устанавливается федеральными законами в целях защиты основ конституционного строя, нравственности, здоровья, прав и законных интересов других лиц, обеспечения обороны страны и безопасности государства (часть 1 статьи 9 Федерального закона № 149-ФЗ).
В случае необходимости публикации информации, включающей персональные данные, необходимо выполнять обезличивание данных в соответствии с действующим законодательством.
4.3

Рекомендации по использованию открытой лицензии

Публиковать открытые данные рекомендуется с использованием открытой лицензии, которая включает представленные ниже положения и позволяет определить права и ограничения по использованию открытых данных.
Публикатор предоставляет потребителю открытых государственных данных бессрочное, бесплатное, неисключительное право использовать открытые данные в соответствии со следующими требованиями.
Потребитель открытых данных вправе:
- воспроизводить, копировать, публиковать и передавать открытые данные;
- распространять открытые данные и перегруппировывать их составные части;
- адаптировать, модифицировать или извлекать информацию из открытых данных;
- использовать открытые данные в коммерческих целях при производстве нового товара или услуги.
Потребителю открытых данных разрешено любое использование (включая коммерческое) при условии наличия ссылки на первоисточник (обязан размещать упоминание об источнике: имя или контактное лицо ответственного представителя посредством предоставления URL, содержащего исходный вариант открытых данных).
Открытые данные становятся доступными при их непосредственном производстве или их получении от обладателя информации без каких-либо иных прямых или косвенных гарантий, не предусмотренных настоящими условиями использования.
Потребитель имеет исключительное право на переработку открытых данных. При данной переработке потребитель обязуется не вовлекать третью сторону в процесс переработки, обязуется не искажать содержание открытых данных, их первоисточник и время последнего обновления.
5

Технологическая инфраструктура

Государственная информация, подлежащая опубликованию в виде набора открытых данных или гиперссылок на соответствующие наборы данных, должна размещаться на официальных сайтах государственных органов или органов местного самоуправления, являющихся обладателями информации. Вместе с тем, существует следующий перечень возможных способов публикации наборов открытых государственных данных:
- Обязательные способы публикации открытых данных;
- Альтернативные (дополнительные) способы публикации открытых данных.
5.1

Обязательные способы публикации

Обязательные способы публикации открытых данных предполагают использование одного из трех способов публикации:
- через раздел открытых данных на официальном сайте государственного (муниципального) органа в сети «Интернет»;
- через портал открытых данных государственного (муниципального) органа в сети «Интернет»;
- через портал открытых данных Российской Федерации в сети «Интернет».
5.1.1

Публикация открытых данных через раздел открытых данных на официальном сайте государственного (муниципального) органа

Данный метод является одним из наиболее простых с точки зрения Публикатора - предоставление наборов открытых данных в виде файлов для загрузки с веб-страниц. Для реализации этого выдвигается следующий список рекомендаций государственным органам и органам местного самоуправления:
а) на официальном сайте должна быть создана специализированная страница для публикации открытых данных в машиночитаемых форматах (далее - страница открытых данных);
б) на главной странице официального сайта должна располагаться визуально различимая гиперссылка на страницу наборов открытых данных с надписью «Открытые данные»;
в) страница открытых данных должна содержать реестр16 наборов открытых данных, соответствующий требованиям настоящих Методических рекомендаций;
г) для каждого опубликованного набора открытых данных на официальном сайте государственного органа или органа местного самоуправления должна быть предусмотрена прямая ссылка на набор открытых данных;
д) в целях доступности страниц открытых данных для поисковых роботов должна быть размещена ссылка на реестр наборов открытых данных - разрешение в robots.txt, указание в sitemap.xml.
5.1.2

Публикация открытых данных через портал открытых данных государственного (муниципального) органа

Данный способ представляет собой вариант развития раздела в самостоятельный портал открытых данных с необходимостью размещения расширенного реестра наборов открытых данных с классификацией размещенных данных, а также с их визуализацией. Использование портала ограничивает требования по машинному представлению реестра и паспортов наборов открытых данных в пользу свободных требований к использованию адресов паспортов наборов открытых данных и машиночитаемому представлению реестра и паспортов. В случае реализации собственного портала необходимо придерживаться следующих рекомендаций:
а) портал открытых данных должен содержать реестр наборов открытых данных, состоящий из ссылок на отдельные страницы наборов открытых данных;
б) портал открытых данных должен обеспечивать централизованный учет наборов открытых данных, форматов, способов хранения и использования имеющихся наборов открытых данных, единого хранилища открытых данных;
в) портал открытых данных должен обеспечивать классификацию и поиск, предназначенный для систематизированной классификации всех собранных на портале отрытых данных. На портале должна быть реализована функция навигации по наборам открытых данных. Классификацию наборов данных на портале рекомендуется осуществлять по следующему списку параметров и их характеристик:
- организационная структура - классификация данных по подразделениям, публикующим открытые данные на портале (департаменты, территориальные органы, подведомственные организации и другие, в зависимости от структуры государственного органа и органа местного самоуправления);
- форматы данных - классификация по способу/форматам представляемых данных (CSV, XML, JSON, API, RDF);
- предметная область:
1. по ключевым словам - классификация по перечню ключевых слов;
2. по тематическим разделам (список наборов высокой значимости (список разделов) представлен в Приложении 2).
- качество данных - классификация по определенным меткам определения шкалы качества данных (например, в соответствии с пятизвездной моделью представления данных или собственной шкалой качества данных);
- периодичность обновления и актуальность данных - оперативные данные (высокая периодичность актуализации данных - чаще, чем 1 раз в неделю), долговременные данные (реже 1 раза в неделю);
- популярность среди потребителей данных - классификация по инструменту голосования и посещения наборов открытых данных, а также по активности обсуждения наборов открытых данных;
- пользовательская лояльность - классификация по удовлетворенности совершенствования наборов данных на основе обратной связи с потребителями наборов открытых данных;
г) портал должен обеспечивать информационное представление и публичный доступ к аналитической и статистической информации по открытым государственным данным гражданам, государственным и другим организациям путем предоставления информации (счетчики посещения наборов открытых данных, счетчики загрузки файлов открытых данных);
д) портал должен содержать коммуникативную площадку или использовать коммуникативную площадку для обмена мнениями между заинтересованными потребителями открытых данных различных тематик с целью использования механизмов общественного контроля качества открытых данных в части обеспечения достоверности, полноты и актуальности открытых данных, в том числе посредством механизмов обратной связи;
е) портал должен содержать инструменты визуализации (пример инструментов визуализации представлен в Приложении 3) размещенных наборов открытых данных на портале:
- табличная визуализация (с возможностью построения различного рода графиков);
- картографическая визуализация (для данных, содержащих геометки).
ж) в целях доступности страниц открытых данных для поисковых роботов должна быть размещена ссылка на реестр наборов открытых данных - разрешение в robots.txt, указание в sitemap.xml;
з) рекомендуется предоставлять возможности API (спецификации в Приложении 10). Рекомендуемыми инструментами реализации собственных порталов открытых данных могут быть свободно используемые платформы данных с открытым исходным кодом - CKAN18 (Comprehensive Knowledge Archive Network) или DKAN19 (Drupal Knowledge Archive Network).
5.1.3

Публикация открытых данных через портал открытых данных Российской Федерации

Данный способ представляет собой развитие раздела открытых данных государственного органа на платформе портала открытых данных Российской Федерации с необходимостью размещения наборов открытых данных своей организации, используя инструменты публикации и визуализации наборов открытых данных указанного портала. Использование портала не предъявляет дополнительных требований по машинному представлению реестра и паспортов наборов открытых данных, за исключением текущих правил машиночитаемости и файлового представления опубликованных наборов открытых данных, определенных настоящими Методическими рекомендациями.
Публикация открытых данных осуществляется средствами личного кабинета портала открытых данных Российской Федерации.
5.2

Альтернативные (дополнительные) способы публикации открытых данных

5.2.1

Публикация через сайт третьей стороны

Данный метод является предпочтительным в том случае, когда одной из целей является получение обратной связи от наибольшего числа потребителей целевой аудитории. Более того, сторонний сайт может содержать средства визуализации и иные аналитические инструменты (Приложение 3).
5.2.2

Публикация через ftp-сервер

Данный метод удобен в использовании в том случае, когда целевая аудитория владеет необходимыми компетенциями для взаимодействия с наборами открытых данных описываемым методом. Также данный метод является актуальным в том случае, когда информация набора обновляется с высокой периодичностью, либо когда для таких наборов открытых данных необходимы значительные ресурсы для их перемещения и/или хранения.
5.2.3

Публикация через файлообменный протокол BitTorrent

Данный метод является одним из наиболее подходящих альтернативных способов в том случае, когда размеры наборов открытых данных значительны. Более того, сама идеология торрент-систем подразумевает увеличение предложения пропорционально уровню спроса на скачиваемые наборы, поскольку система торрентов путем диверсификации минимизирует риски перегруженности сервера (что не исключается в случае ftp-сервера).
6

Порядок публикации наборов открытых данных

Общие правила публикации в форме открытых данных, предъявляемые к государственному органу или органу местного самоуправления:
а) государственный орган или орган местного самоуправления переводит набор данных в машиночитаемый формат, в котором этот набор открытых данных подлежит публикации;
б) государственный орган или орган местного самоуправления публикует набор данных, добавляет необходимую информацию на страницу раздела (портала) открытых данных и предоставляет ссылку на страницу соответствующего набора (файлового представления набора) открытых данных Страница набора открытых данных должна включать ссылку на загрузку выбранной версии открытых данных или на интерфейс программного представления (API);
в) государственный орган или орган местного самоуправления проверяет доступность опубликованного набора открытых данных для пользователей официального сайта в сети «Интернет»;
г) государственный орган или орган местного самоуправления передает в виде файла в машиночитаемом формате запись об опубликованном наборе открытых данных, выгруженную из реестра наборов данных, открытых государственным органом или органом местного самоуправления, в уполномоченный орган государственной власти;
д) уполномоченный орган государственной власти обновляет сводный реестр открытых данных, а также другую информацию об опубликованных наборах открытых государственных данных, которую они ведут на странице в сети «Интернет» для публикации сводной информации о данных, открытых государственными органами или органом местного самоуправления в машиночитаемых форматах, тем самым поддерживая сводный реестр наборов открытых данных в актуальном состоянии.
Схема взаимодействия при публикации открытых данных (Рисунок 1) отражает ролевой подход к рассматриваемому процессу, представляя собой описание функциональной и технологической компонент. Таким образом, пиктограммами обозначены функциональные роли (у одного сотрудника может быть несколько ролей).
OrgShema.png
Рисунок 1 - Схема взаимодействия при публикации набора открытых данных
а) отраслевое подразделение государственного органа или органа местного самоуправления осуществляет подготовку материала для предоставления в форме открытых данных. Данная подготовка осуществляется ролью «Поставщик информации» (роль, ответственная за содержательное наполнение материала);
б) после подготовки материала «Поставщик информации» передает материал «Техническому специалисту» своего подразделения для его конвертации в машиночитаемые данные. При получении материала «Технический специалист» проверяет материал на ошибки и возможность корректного представления в машиночитаемые данные;
в) после перевода данных в машиночитаемое представление «Технический специалист» передает данные «Контент-менеджеру» (роль, ответственная за публикацию наборов открытых данных одним из обязательных способов, а также альтернативными способами публикации) или использует автоматизированные инструменты для самостоятельной публикации набора открытых данных;
г) «Контент-менеджер» осуществляет проверку представленных материалов для публикации на корректность ввода и осуществляет публикацию в разделе (на портале);
д) данные опубликованы в виде набора открытых данных в разделе (на портале);
е) разработчики приложений и конечные потребители открытых данных взаимодействуют с «Контент-менеджером» по интересующим их вопросам, непосредственно влияя на качество и актуальность данных по средствам обратной связи.
7

Требования к публикации реестра наборов открытых данных

7.1

Общие требования к публикации реестра наборов открытых данных

На странице публикации наборов открытых данных21 должен содержаться заголовок «Открытые данные» и обеспечиваться доступ пользователям в сети «Интернет» к следующим элементам:
- реестр наборов открытых данных;
- статистическая информация о наборах открытых данных (общее количество наборов открытых данных);
- средства поиска наборов открытых данных (в случае наличия более 20 наборов открытых данных);
- описание условий использования наборов открытых данных;
- инструмент запроса на предоставление информации в виде наборов открытых данных.
7.2

Требования к публикации реестра наборов открытых данных через раздел открытых данных на официальном сайте государственного (муниципального) органа в сети «Интернет»

Arhitektura.png
Рисунок 1 - Архитектура раздела открытых данных
1. Адрес страницы раздела «Открытые данные» на официальном сайте государственного (муниципального) органа должен формироваться по следующему шаблону: «<адрес официального сайта>/opendata». В случае кириллического адреса сайта он может быть продублирован по адресу «<адрес официального сайта>/открытые-данные» (Допускается публикация из адреса поддоменного уровня «opendata.<адрес официального сайта>»).
2. Реестр наборов открытых данных должен иметь человекочитаемое представление (с использованием средств визуализации) и машиночитаемое представление.
Человекочитаемое представление реестра наборов открытых данных должно содержать следующую информацию:
- порядковый номер набора открытых данных;
- наименование набора открытых данных;
- формат представления набора открытых данных;
- ссылка на страницу набора открытых данных.
Пример реализации:
Название набора открытых данныхФормат набора открытых данных
1Перечень территориальных органовCSV
2Перечень подведомственных организацийXML
3Сведения о вакантных должностяхJSON






Примечание: визуальное представление может отличаться от приведенного выше примера на усмотрение представителей государственного органа или органа местного самоуправления без потери содержательной составляющей.
3. Машиночитаемое представление реестра наборов открытых данных должно быть реализовано в одном из следующих форматов:
- CSV;
- XML;
- JSON;
- HTML+RDFa;
- HTML+Microdata.
4. Машиночитаемое представление реестра наборов открытых данных должно содержать следующую информацию о каждом наборе открытых данных:
- Идентификационный номер набора открытых данных;
- Название набора открытых данных;
- Ссылка на машиночитаемое представление паспорта набора открытых данных;
- Формат набора открытых данных.
5. Адрес машиночитаемого представления реестра открытых данных должен задаваться по следующему правилу:
<адрес-официального сайта>/opendata/list.расширение формата (opendata.<адрес официального сайта> list.расширение формата)
Например, файл реестра наборов открытых данных, размещенный в формате xml, должен быть доступен по следующему адресу:
<адрес официального сайта>/opendata/list.xml
Полные требования к машиночитаемому представлению реестра наборов открытых данных в зависимости от форматов представления описаны в Приложении 7.
7.3

Требования к публикации через портал открытых данных государственного (муниципального) органа

Arhitektura2.png
Рисунок 2 - Архитектура портала открытых данных государственного (муниципального) органа
1. Портал открытых данных должен находиться по адресу: «opendata.<адрес портала >» (допускается размещать портал по собственному адресу).
Дополнительно возможно существование второго (дублирующего) варианта ссылки «открытые-данные.<адрес портала>» в случае кириллического адреса сайта.
2. Реестр наборов открытых данных портала должен иметь машиночитаемое представление.
3. Адрес машиночитаемого представления реестра открытых данных должен задаваться по следующему правилу:
opendata.<адрес портала>/list.расширение формата (или <адрес портала>/list.расширение формата)
Например, файл реестра наборов открытых данных, размещенный в формате xml, должен быть доступен по следующему адресу:
opendata.<адрес портала>/list.xml
Полные требования к машиночитаемому представлению реестра наборов открытых данных в зависимости от форматов представления описаны в Приложении 7.
4. Портал открытых данных государственного органа должен удовлетворять требованиям публикации наборов открытых данных через собственный официальный сайт в сети «Интернет», описанным в разделе 5.1.2.
7.4

Требования к публикации через портал открытых данных Российской Федерации

При публикации открытых данных на портале открытых данных Российской Федерации предъявляются общие требования к публикации набора открытых данных, определенные в разделе 8.1.
8

Требования к публикации набора открытых данных

8.1

Общие требования к публикации набора открытых данных

Содержание страницы набора открытых данных должно состоять из метаинформации по публикуемому набору открытых данных, машиночитаемого представления набора открытых данных, а также человекочитаемому представлению открытых данных (визуализация данных, пользовательское взаимодействие и других). При публикации набора открытых данных должна указываться информация о версии Методических рекомендаций, в соответствии с которой публикуется набор открытых данных.
Заголовок страницы набора открытых данных должен соответствовать его названию.
Страница набора открытых данных должна обеспечивать предоставление доступа пользователям сети «Интернет» к следующим элементам набора открытых данных:
1. паспорт набора открытых данных в человекочитаемом виде (визуальном интерфейсе) и в машиночитаемом виде (файла для загрузки, инструмента программного интерфейса);
2. структура набора открытых данных в машиночитаемом виде (CSV, XSD или JSON представлении в зависимости от формата файла открытых данных);
3. описание условий использования набора открытых данных (открытая лицензия на использование наборов открытых данных);
4. открытые данные в человекочитаемом виде (визуальном интерфейсе) и в машиночитаемом виде в одном из форматов: CSV, XML, JSON, RDF или в виде API;
5. возможность визуального просмотра и немедленной загрузки опубликованного набора открытых данных без требований по дополнительной авторизации, прохождения CAPTCHA-теста и иных ограничений;
6. инструмент повышения качества наборов открытых данных (обратной связи, экранных форм для обратной связи в виде комментариев, либо ссылок на экранные формы для обратной связи), позволяющий пользователям сети «Интернет» оставлять предложения и отзывы по предоставленному набору открытых данных, в том числе по ошибкам, выявленным в наборе открытых данных. Инструмент обратной связи должен позволять потребителям наборов открытых данных указывать на ошибки и несоответствия в визуальном представлении наборов открытых данных и публиковать все поступившие замечания на единой странице, относящейся к данному набору открытых данных. Ответы представителей государственных органов должны публиковаться на той же странице. Обратная связь, реализованная на странице набора открытых данных, должна обеспечивать привязку вводимой пользователем информации к соответствующему набору открытых данных.
8.1.1

Публикация метаинформации набора открытых данных

Метаинформация набора открытых данных включает полное описание набора открытых данных.
Метаинформация набора открытых данных состоит из следующих частей:
• паспорт набора открытых данных;
• структура набора открытых данных;
• другая информация, описывающая набор открытых данных.
Паспорт и структура набора открытых данных являются обязательными требованиями к машиночитаемому представлению.
Метаинформация набора открытых данных не должна иметь никаких дополнительных ограничений на использование (например, ссылки на системы координат в закрытых форматах)
8.1.1.1

Публикация паспорта набора открытых данных

Страница набора открытых данных должна содержать паспорт набора открытых данных.
Заголовок страницы набора открытых данных должен соответствовать названию набора открытых данных.
Паспорт набора открытых данных должен иметь четко заданную структуру следующего вида:
1 Идентификационный номер
2 Наименование набора открытых данных
3 Описание набора открытых данных
4 Владелец набора открытых данных
5 Ответственное лицо
6 Телефон ответственного лица
7 Адрес электронной почты ответственного лица
8 Гиперссылка (URL) на открытые данные
9 Формат набора открытых данных
10 Описание структуры набора открытых данных
11 Дата первой публикации набора открытых данных
12 Дата последнего внесения изменений
13 Содержание последнего изменения
14 Дата актуальности набора данных
15 Ключевые слова, соответствующие содержанию набора данных
16 Гиперссылки (URL) на версии открытых данных
17 Гиперссылки (URL) на версии структуры набора данных
18 Версия методических рекомендаций













1) Идентификационный номер (код) набора открытых данных формируется следующим образом:
а) формат идентификационного номера: <код организации>-<наименование набора>;
б) код организации представляет собой идентификационный номер налогоплательщика (ИНН), соответствующий государственному органу, органу местного самоуправления или организации, опубликовавшей набор открытых данных;
в) наименование набора открытых данных - сокращенное англоязычное название набора открытых данных, указывается в одно слово (уникальное в пределах организации).
Пример: 7712345678-showrooms.
2) Наименование набора открытых данных выбирается следующим образом:
а) наименование набора данных должно отражать его содержание;
б) наименование набора открытых данных не должно повторять информацию, содержащуюся в идентификационном номере (коде) набора открытых данных (см. ниже). Наименование должно быть уникальным в пределах организации.
Пример: Список выставочных залов.
8.1.1.2

Публикация структуры набора открытых данных

1. структура наборов открытых данных должна представлять описание каждого информационного поля открытых данных;
2. структура открытых данных должна иметь машиночитаемое представление в формате XSD для открытых данных, представленных в формате XML или RDF;
3. структура наборов открытых данных должна иметь машиночитаемое представление в формате CSV для наборов открытых данных в формате CSV;
4. структура наборов открытых данных должна иметь машиночитаемое представление в формате JSON для наборов открытых данных в формате JSON;
5. при изменении структуры открытых данных должна обеспечиваться версионность структуры и соответствие данной версии последующим итерациям открытых данных;
6. необходимо обеспечивать хранение всех версий структуры открытых данных;
7. атрибуты каждой структуры открытых данных должны иметь англоязычное представление (в виде англоязычных имен или краткого текста транслитерации);
8. описание структуры открытых данных должно содержать описание (в том числе в виде ссылок) всех справочников, онтологий и классификаторов, используемых для формирования набора открытых данных;
9. при использовании общепринятых стандартов, систем и справочников обязательным требованием является указание данных онтологий в структуре набора открытых данных (например, для формата xsd структуры - <xs:documentation xml:lang="ru">Дата первой публикации набора данных в формате ISO 8601.</xs:documentation>). При использовании собственных справочников (например, ОКАТО или другой специализированный справочник) необходимо указывать ссылку на справочник или на онтологию справочника в структуре набора открытых данных. Используемые общепринятые стандарты, системы и справочники не должны иметь никаких ограничений в использовании;
10. при публикации специфических наборов (различные тематические направления, например, геоданные) необходимо использовать унифицированные онтологии (например, в проекции EPSG: 4326 для геоданных) с обязательным указанием наименования и ссылки на онтологию в структуре набора;
11. в случае предоставления доступа к набору открытых данных через программный интерфейс, указывается гиперссылка на файл, содержащий описание такого интерфейса и условия открытого использования.
Примеры публикации структуры наборов открытых данных в различных форматах приведены в Приложении 9.
8.1.1.3

Публикация другой информации, описывающей набор открытых данных

Предъявляется требование к необходимости публикации исходных документов (информации, которая преобразуется в открытые данные) на странице набора открытых данных в качестве дополнительной информации к открытым данным.
8.1.2

Машиночитаемое представление открытых данных

Машиночитаемое представление открытых данных должно быть реализовано посредством представления данных через API или в одном из перечисленных форматов:
1 CSV;
2 XML;
3 JSON;
4 любой из открытых форматов, реализующих модель RDF.
Название и адрес размещения машиночитаемого представления открытых данных должно соответствовать одному из следующих шаблонов:
• <адрес официального сайта>/opendata/<код организации>-<наименование набора>.расширение файла - в случае публикации через раздел открытых данных на официальном сайте;
• opendata.<адрес официального сайта>/<код организации>-<наименование набора>.расширение файла - в случае публикации через портал открытых данных государственного органа.

Общие требования к публикации машиночитаемого представления набора открытых данных

а. открытые данные должны публиковаться в форматах CSV, XML, JSON, RDF или с применением API (в случае наборов открытых данных со специфическими особенностями). В формате CSV рекомендуется публиковать данные, имеющие плоскую табличную форму, при этом в содержании записи не допускается использование символа перевода строки. Сложные иерархические данные рекомендуется публиковать в форматах XML, JSON. Для облегчения последующего процесса связывания наборов данных рекомендуется публиковать в одном из открытых форматов, реализующих модель RDF. Подробная схема представления связей между метаданными, открытыми данными и онтологиями представлена в Приложении 1;
б. в случае если размер набора имеет значительный объем данных (более 30 Мбайт), рекомендуется архивировать его с помощью алгоритма архивирования, имеющего спецификацию в виде открытого стандарта (см. п.8.1.4);
в. для представления наборов открытых данных, содержащих сведения из различных предметных областей, должны использоваться существующие форматы разметки типовых данных (schema.org, YMapsML, XAL и т.п.), имеющие опубликованную спецификацию;
г. необходимо избегать смены формата представления открытых данных, так как это может затруднить процесс автоматической обработки. В случае смены формата необходимо заранее уведомлять потребителей и фиксировать суть изменений (например, путем установки соответствующего значения параметра «Содержание последнего изменения» в «Изменение структуры данных» набора открытых данных);
д. атрибуты каждого набора открытых данных должны иметь краткое англоязычное представление (в виде англоязычных имен или краткого текста транслитерации);
е. машиночитаемое представление набора открытых данных (в соответствующем формате или через API) должно обеспечивать возможность автоматической идентификации и обработки информационными системами составных элементов набора (записей, сущностей и т.д.) и атрибутов этих элементов; не допускается представление данных в неструктурированной форме, затрудняющей автоматическую обработку (например, недопустимо представление набора данных в виде бинарных данных, включенных в файл офисного документа).
Полные требования и примеры к машиночитаемому представлению открытых данных представлены в Приложениях 7-10.
8.1.3

Человекочитаемое представление открытых данных

Рекомендуется применять инструменты автоматической визуализации наборов открытых данных, что не исключает требования публикации машиночитаемых данных. При визуальном представлении наборов открытых данных, содержащих географические координаты в качестве атрибутов объектов открытых данных, необходимо обеспечить корректное отображение данных объектов на карте местности в соответствии с координатными данными.
Для визуализации табличных данных необходимо использовать инструменты, позволяющие осуществить предварительный просмотр данных в веб-браузере в табличном виде.
8.1.4

Требования к архивированию открытых данных

В случае если размер открытых данных имеет значительный размер (определяется в соответствии с аппаратно-техническими возможностями), рекомендуется архивировать его с помощью алгоритма архивирования LZMA (LZMA2).
В случае если на сайте хранится более 10 версий открытых данных одного набора открытых данных, рекомендуется все версии старше десятой хранить в архивах.
В случае если публикуется многотомный набор, все тома рекомендуется архивировать и хранить в одном архиве.
8.1.5

Частота обновления набора данных

Наборы открытых данных разделяются на оперативные данные (высокая периодичность актуализации данных - чаще, чем 1 раз в неделю) и долговременные (реже, чем 1 раз в неделю)
Для каждого набора открытых данных в паспорте набора должна быть указана дата его актуальности.
Частота обновления набора может быть следующей:
Оперативные данные:
• больше одного раза в день;
• ежедневно;
• еженедельно.
Долговременные данные:
• ежемесячно;
• ежеквартально;
• каждые полгода;
• ежегодно;
• по мере изменения данных.
Глубина хранения наборов открытых данных
При наличии у обладателя информации соответствующих технических возможностей необходимо стремиться обеспечить хранение всех версий наборов открытых данных.
8.2

Требования к публикации набора открытых данных через раздел открытых данных на официальном сайте государственного (муниципального) органа в сети «Интернет»

Адрес страницы набора открытых данных должен формироваться по следующему шаблону: «<адрес официального сайта>/opendata/<код организации>-<наименование набора>». В случае кириллического адреса сайта он может быть продублирован по адресу «<адрес официального сайта>/открытые-данные/<код организации>-<наименование набора>» (Допускается публикация из адреса поддоменного уровня «opendata.<адрес официального сайта>»).
Пример:
<адрес официального сайта>/opendata/7712345678-showrooms
Набор открытых данных должен включать данные, перечисленные в Приложении 9.
8.3

Требования к публикации набора открытых данных через портал открытых данных государственного (муниципального) органа в сети «Интернет»

Специальных требований к адресу публикации наборов открытых данных не предъявляется, за исключением официального стандарта RFC 1738.
Технические требования к наборам открытых данных представлены в Приложении 9.
8.4

Требования к публикации набора открытых данных через портал открытых данных Российской Федерации

Предъявляются требования к метаинформации в части заполнения паспорта (Раздел 8.1.1.1 - Публикация паспорта набора открытых данных) и представления структуры открытых данных (Раздел 8.1.1.2 - Публикация структуры набора открытых данных), а также к машиночитаемому представлению (Раздел 8.1.2 - Машиночитаемое представление открытых данных).
8.5

Дополнительные требования к наборам открытых данных со специфическими технологическими особенностями в части хранения, описания и представления

К наборам открытых данных со специфическими технологическими особенностями относятся многотомные наборы открытых данных, периодически пополняемые (оперативные) наборы открытых данных и иные типы открытых данных, к которым предъявляются следующие требования:
- в случае значительных объемов (более 30 Мбайт) необходимо пользоваться вышеописанными средствами архивирования (Раздел 8.1.4 - Требования к архивированию открытых данных);
- в случае значительных объемов (более 30 Мбайт), частых обновлений (чаще 1 раза в неделю) или необходимости формирования специфических выборок, открытые данные должны предоставляться через программный интерфейс, имеющий опубликованную спецификацию (Приложение 10); программный интерфейс должен обеспечивать возможность полностью автоматического (без участия человека) доступа ко всем сведениям набора открытых данных (спецификации протоколов, форматов данных, первичные параметры доступа к сервису и пр.) (Приложение 10).
9

Приложение 1. Концептуальное представление связей между метаданными, данными и онтологиями

SvyaziVRDF.png
Рисунок 4 - Системное видение связей между метаданными, данными и онтологиями на примере открытых данных в RDF
Примечание: При публикации информации в форме открытых данных необходимо пользоваться общеупотребительными международными и отечественными (в случае национальной специфики той или иной области знаний) онтологиями. Часто используемые онтологии необходимо выкладывать в виде открытых данных для предоставления возможности последующего связывания наборов между собой.
10

Приложение 2. Классификация типов открытых данных

Классификация типов открытых данных представляется по следующим основным критериям:
- предметная область;
- формат данных;
- структура данных (линейная, иерархическая и т.д.);
- объем данных;
- способ публикации;
- способ хранения;
- периодичность обновления и актуальности данных.
Часть критериев классификации включено в качестве метаинформации к паспорту набора данных:
- формат данных;
- объем данных;
- способ публикации;
- способ хранения;
- периодичность обновления и актуальности данных.
Критерий предметной области выделяет специфические особенности публикации открытых данных по специализированным тематикам.
Тематики наборов предполагают использование различных справочников и стандартов для связывания наборов открытых данных между собой. Для связывания наборов открытых данных возможно использование международных общепринятых стандартов, систем и справочников, таких как: ISO 8601 (международный стандарт, описывающий формат даты и времени), EPSG: 4326 (система координат геоданных). При использовании общепринятых стандартов, систем и справочников обязательным требованием является указание данных онтологий в структуре набора открытых данных (например, для формата xsd структуры - <xs:documentation xml:lang="ru">Дата первой публикации набора данных в формате ISO 8601.</xs:documentation>). При использовании собственных справочников (например, ОКАТО или другой специализированный справочник) необходимо указывать ссылку на справочник или на онтологию справочника в структуре набора открытых данных. Используемые общепринятые стандарты, системы и справочники не должны иметь никаких ограничений в использовании.
В том случае, если в рамках перечисленных тематик используются различные и/или закрытые справочники и стандарты, необходимо согласование и утверждение единых открытых спецификаций в рамках тематики. Процедура выработки технических спецификаций осуществляется посредством Совета по открытым данным.
В соответствии с перечнем наиболее важных сегментов открытых данных, выделенных в Хартии открытых данных, классификация наборов может проводиться по следующим тематикам:
Категория данных Примеры массивов данных
Компании Компании/реестр предприятий
Преступность и правосудие Статистика преступности, безопасность
Наблюдение за планетой Метеорологические данные/сведения о погоде, сельском хозяйстве, лесоводстве, рыбной ловле и охоте
Образование Список школ; результативность работы школ, цифровые навыки
Энергетика и окружающая среда Уровни загрязнения, энергопотребление
Финансовые и контрактные вопросы Заключенные сделки, подписанные контракты, поданные заявки на участие в тендере, будущие тендеры, местный бюджет, национальный бюджет (планируемый и расходуемый)
Геопространственные данные Топография, почтовые индексы, национальные карты, местные карты
Международное развитие Предоставление помощи, продовольственная безопасность, добывающая промышленность, землепользование
Подотчетность правительственного аппарата и демократия Контактная информация для связи с правительством, результаты выборов, нормативно-законодательные акты и уставы, заработные платы (ставки заработной платы), знаки признательности/подарки
Здравоохранение Данные о назначаемых препаратах, данные о результатах
Наука и исследования Данные о геномах, исследовательская и образовательная деятельность, результаты экспериментов
Статистика Национальная статистика, перепись, инфраструктура, уровень благосостояния, профессиональные навыки
Социальная мобильность и благосостояние Жилищное обеспечение, медицинское страхование и пособие по безработице
Транспорт и инфраструктура Расписание общественного транспорта, точки доступа к широкополосным каналам
11

Приложение 3. Рекомендуемые инструменты визуализации

Наименование инструмента Гиперссылка Описание/характеристики
Google Chart Tools http://code.google.com/apis/chart/ Javascript API от Google для простого создания таблиц визуализации для постоянно изменяющихся данных.
GeoCommons http://geocommons.com Инструментарий визуализации для совместного использования геоданных.
JavaScript InfoVis Toolkit http://thejit.org Javascript-инструментарий для создания и поддержки визуализации различного рода графиков.
Google Public Data Explorer http://www.google.com/publicdata/home Каталог общего набора данных и инструмент для публикации и визуализации больших наборов данных.
Maps Marker WP-Plugin http://www.mapsmarker.com Wordpress-плагин для отображения карты с аннотацией достопримечательностей в блоге Wordpress.
DataMaps.eu - map your data http://www.datamaps.eu/ Инструмент для создания привлекательных карт визуализации, которые могут быть созданы в браузере через официальный сайт без знания программирования.
Ushahidi http://www.ushahidi.com Открытое программное обеспечение для сбора, визуализации и интерактивного отображения на основе определения местоположения данных в реальном времени (например, от чрезвычайных ситуаций, политических выборов и т.д.).
Eclipse BIRT http://www.eclipse.org/birt/phoenix/ Система отчетности eclipse (http://www.eclipse.org) для создания визуально привлекательных отчетов больших объемов данных.
Chartle.net http://www.chartle.net Бесплатное интерактивное онлайн-приложение по созданию графиков. Интуитивно понятный интерфейс, специальных навыков не требует, однако и набор возможностей ограниченный. Применяется, когда нужен быстрый результат: круглые и столбчатые диаграммы, линейные графики, динамические схемы, географическая карта двух видов. Итоговая визуализация интерактивна, и ее код легко встраивается в html-страницу.
Hohli c,s,FFFFFF&max=100&agent=hohli.com Онлайн-инструмент для визуализации данных с помощью стандартного набора диаграмм. (Нет возможности создавать карты.)
IBM Many Eyes http://www-958.ibm.com/software/data/cognos/manyeyes/ Популярный онлайн-инструмент для визуализации данных. Бесплатный. Есть возможность совместной работы над проектами.
TagCrowd http://www.tagcrowd.com Онлайн-приложение для анализа и визуализации частотности употребления слов в тексте. Бесплатное.
Wordle http://www.wordle.net Онлайн-приложение для анализа и визуализации частотности употребления слов в тексте. Бесплатное.
Dundas http://www.dundas.com Программное обеспечение для создания интерактивных визуализаций. Может обрабатывать большие массивы данных. Создает визуализации, в числе прочего, в виде панелей из нескольких компонентов, что позволяет одновременно представить несколько измерений. Работает онлайн, коммерческое, платное. Предлагают 45-дневный бесплатный испытательный срок.
Leximancer https://www.leximancer.com Профессиональная программа для анализа текста и визуализации результатов этого анализа. Коммерческая, платная, кроссплатформенная.
SMILE Widgets http://www.simile-widgets.org Собрание разнообразных виджетов и их кодов. Коды открыты, их можно адаптировать под свои нужды, но для этого требуются соответствующие навыки. Среди прочего, есть инструменты, позволяющие обрабатывать большие массивы данных и конструировать карты, тайм-лайны, интерактивные таблицы и многое другое. Инструмент Exibit позволяет создавать целые интерактивные веб-страницы с возможностью поиска и самостоятельного исследования представленной базы данных.
GeoCommons http://geocommons.com Бесплатный (и свободный) веб-инструмент по созданию карт на основе данных.
Gephi http://gephi.org Программное обеспечение для визуализации графов. Используется как один из инструментов анализа соцсетей. Бесплатное, открытый код, кроссплатформенное.
Graphviz http://www.graphviz.org Программа для визуализации графов. Открытый код, кроссплатформенная, бесплатная.
NewRadial http://sourceforge.net/projects/newradial/ Комплекс инструментов для визуального представления нечисловых данных (в том числе изображений).
12

Приложение 4. Требования к семантическому представлению реестра и паспорта набора открытых данных

Данные семантические требования рекомендуются для способа публикации в разделе открытых данных официального сайта государственного органа и органа местного самоуправления.
Общие сведения
Настоящие требования к представлению наборов открытых данных базируются на следующих стандартах:
• RDF (Resource Description Framework) — разработанная консорциумом Всемирной паутины (World Wide Web Consortium - W3C) абстрактная модель для представления данных, в особенности — метаданных, пригодных для машинной обработки;
• RDFa (Resource Description Framework in attributes) — модель для представления данных в формате RDF через атрибуты программных сред HTML, XHTML и XML;
• Microdata - один из способов семантической разметки веб-страниц сведениями о разнообразных сущностях, используя стандартные элементы языка HTML (или XHTML);
• W3C Recommendation: RDFa Core 1.1 - Рекомендация от W3C по использованию RDFa;
• RFC2413 - Общепризнанный интернет-стандарт «Encoding Dublin Core Metadata in HTML»;
• ГОСТ Р 7.0.10-2010 - Российский стандарт «Набор элементов метаданных «Дублинское ядро»;
• W3C Recommendation: XML Schema Part 2: Datatypes - Рекомендация от W3C по использованию типов данных.
Для представления наборов открытых данных используются следующие словари:
• schema.org - http://schema.org/;
• dc (Dublin Core) - "http://purl.org/dc/terms/" - для предоставления свойств объекта (используется редакция «Qualified Dublin Core», так как содержит расширенный реестр свойств);
• foaf (Friend of a Friend) - "http://xmlns.com/foaf/0.1/" - для предоставления класса объекта.
Требования
Каждая страница реестра наборов отрытых данных должна содержать объект, к которому предъявляются следующие обязательные требования:
1) объект должен быть элементом текущей страницы набора.
2) объект должен иметь класс «Collection» онтологии «dc» или «CreativeWork» онтологии schema.org.
Соблюдение этих требований однозначно сопоставляет данный объект с текущей страницей реестра открытых данных и определяет данный объект, как машиночитаемый формат реестра открытых данных.
Объект реестра открытых данных содержит следующие значения:
Свойство Онтологическое значение (schema.org) Онтологическое значение (dc) Формат значения
Набор открытых данных - hasPart xsd:anyURI
Предыдущая страница - prev xsd:anyURI
Следующая страница - next xsd:anyURI
Свойство «Набор открытых данных» объекта реестра открытых данных повторяется ровно столько раз, сколько существует публикуемых наборов открытых данных.
Свойства «Предыдущая страница» и «Следующая страница» объекта реестра открытых данных указываются обязательно, если данные значения существуют.
Каждая страница набора открытых данных должна содержать объект, к которому предъявляются следующие обязательные требования:
1) объект должен быть субъектом текущей страницы набора.
2) объект должен иметь класс «Document» онтологии «foaf» или «CreativeWork» онтологии schema.org.
Соблюдение этих требований однозначно сопоставляет данный объект с текущей страницей набора открытых данных и определяет данный объект, как машиночитаемый формат текущего набора открытых данных.
Паспорт набора открытых данных в соответствии с текущей версией Методических рекомендаций содержит следующие значения:
Свойство Онтологическое значение (schema.org) Онтологическое значение (dc) Формат значения
Идентификационный номер (код) набора данных - identifier xsd:string
Наименование набора данных name title xsd:string
Описание набора данных description description xsd:string
Владелец набора данных creator creator xsd:string
Ответственное лицо publisher publisher foaf: Person
schema: Person
Дата первой публикации набора данных dateCreated created xsd:dateTime
Дата последнего внесения изменений dateModified modified xsd:dateTime
Ключевые слова, соответствующие содержанию набора данных keywords subject xsd:string
Список всех версий наборов открытых данных url source dc:Collection
schema:DataCatalog
Свойство «Ответственное лицо» набора открытых данных ссылается на объект ответственного лица набора данных. К объекту ответственного лица набора данных предъявляются следующие обязательные требования:
1) объект должен иметь класс «Person» онтологии «foaf» или «Person» онтологии schema.org.
Объект ответственного лица набора данных содержит следующие значения:
Свойство Онтологическое значение(schema.org) Онтологическое значение (foaf) Формат значения
Полное имя ответственного лица givenName
familyName
name xsd:string
Телефон ответственного лица telephone phone xsd:string
Электронный адрес ответственного лица email mbox xsd:string
Свойство «Список всех версий наборов открытых данных» набора открытых данных ссылается на объект коллекции всех версий наборов данных. К объекту коллекции всех версий наборов данных предъявляются следующие обязательные требования:
1) объект должен иметь класс «Collection» онтологии «dc» или DataCatalog онтологии schema.org.
Объект коллекции всех версий наборов данных содержит следующие значения:
Свойство Онтологическое значение (schema.org) Онтологическое значение (dc) Формат значения
Версия набора данных dataset hasPart dc:Document
schema:Dataset
Свойство «Версия набора данных» объекта коллекции всех версий наборов данных повторяется ровно столько раз, сколько существует публикуемых версий текущего набора открытых данных.
Свойство «Версия набора данных» объекта коллекции всех версий наборов данных ссылается на объект набора данных. К объекту набора данных предъявляются следующие обязательные требования:
1) объект должен иметь класс «Document» онтологии «foaf» или «Dataset» онтологии schema.org.
Объект набора данных содержит следующие значения:
Свойство Онтологическое значение (schema.org) Онтологическое значение (dc) Формат значения
Гиперссылка (URL) на набор данных «source» из словаря «dc» source xsd:anyURI
Дата актуальности temporal valid xsd:DateTime
Место применимости набора spatial spatial - dc:string
schema:Place
Дата создания набора данных dateCreated created xsd:dateTime
Содержание последнего изменения - provenance xsd:string
Структура набора данных - conformsTo dc:Document
schema:Dataset
Свойство «Структура набора данных» объекта набора данных ссылается на объект структуры набора данных. К объекту структуры набора данных предъявляются следующие обязательные требования:
1) объект должен иметь класс «Document» онтологии «foaf» или Dataset онтологии schema.org.
Объект структуры набора данных содержит следующие значения:
Свойство Онтологичеcкое значение (schema.org) Онтологическое значение (dc) Формат значения
Гиперссылка (URL) на структуру набора данных url source xsd:anyURI
Дата создания структуры набора данных DateCreated created xsd:dateTime
13

Приложение 5. Исходный пример материала для публикации в виде открытых данных

Исходные данные (представлены в XLSX)
Информация необходимая для размещения в виде набора данных
Название Округ Район Адрес Телефон
ГБУК г. Москвы «Выставочный зал «Солянка ВПА» Центральный административный округ Басманный район улица Солянка, дом 1/2, строение 2 (495) 621-55-72;
(495) 621-59-61
ГБУК г. Москвы «Выставочный зал «Творчество» Центральный административный округ Таганский район Таганская улица, дом 31/22 (495) 678-55-78
ГБУК г. Москвы «Московский выставочный зал «Галерея А3» Центральный административный округ район Арбат Староконюшенный переулок, дом 39 (495) 697-14-56
ГБУК г. Москвы «ГВЗ «Ковчег» Северный административный округ Тимирязевский район улица Немчинова, дом 12 (499) 977-00-44;
(499) 977-00-88
ГБУК г. Москвы «ГВЗ «Галерея на Песчаной» Северный административный округ район Сокол Новопесчаная улица, дом 23/7 (499) 943-51-31
ГБУК г. Москвы «ГВЗ «Ростокино» Северо-Восточный административный округ район Ростокино Ростокинская улица, дом 1 (499) 187-10-45
ГБУК г. Москвы «ГВЗ «Галерея L» Северо-Восточный административный округ район Марьина Роща Октябрьская улица, дом 26 (495) 689-24-91
ГБУК г. Москвы «ГВЗ «Галерея «Измайлово» Восточный административный округ район Измайлово Измайловский проезд, дом 4 (499) 166-44-96
ГБУК г. Москвы «Выставочный зал «Богородское» Восточный административный округ район Богородское Открытое шоссе, дом 5, корпус 6 (499) 168-30-15
ГБУК г. Москвы «ГВЗ истории войны в Афганистане» Восточный административный округ район Перово 1-я Владимирская улица, дом 12, корпус 1 (495) 306-43-30
ГБУК г. Москвы «ГВЗ «АРТ -Измайлово» Восточный административный округ район Измайлово Измайловский бульвар, дом 30 (499) 367-45-81
ГБУК г. Москвы «Выставочный зал «Арт-холл Юго-восток» Юго-Восточный административный округ район Выхино-Жулебино Ташкентская улица, дом 9 (495) 377-21-00;
(499) 356-21-10
ГБУК г. Москвы «ГВЗ «Пересветов переулок» Южный административный округ Даниловский район Пересветов переулок, дом 4, корпус 1 (495) 675-22-28
ГБУК г. Москвы «ГВЗ-музей «Наследие» Южный административный округ район Бирюлево Восточное Лебедянская улица, дом 24, корпус 2 (495) 329-60-39
ГБУК г. Москвы «Выставочный зал «На Каширке» Южный административный округ район Нагатино-Садовники улица Академика Миллионщикова, дом 35, корпус 5 (499) 612-95-17;
(499) 612-11-61
ГБУК г. Москвы «ГВЗ «Варшавка» Южный административный округ Нагорный район Варшавское шоссе, дом 75, корпус 1 (499) 723-10-75
ГБУК г. Москвы «ГВЗ «Замоскворечье» Южный административный округ Даниловский район улица Серпуховской Вал, дом 24, корпус 2 (495) 954-30-09
ГБУК г. Москвы «ГВЗ «Галерея Беляево» Юго-Западный административный округ район Коньково Профсоюзная улица, дом 100 (495)335-83-22
ГБУК г. Москвы «ГВЗ «Галерея Нагорная» Юго-Западный административный округ район Котловка улица Ремизова, дом 10 (499) 127-47-02
ГБУК г. Москвы «Выставочный зал «Солнцево» Западный административный округ район Солнцево улица Богданова, дом 44 (495) 435-66-24;
(495) 439-51-80
ГБУК г. Москвы «Выставочный зал «Феникс» Западный административный округ Можайский район Сколковское шоссе, дом 32, корпус 2 (495) 417-42-28;
(495) 446-40-87;
(495) 446-29-64
ГБУК г. Москвы «Выставочный зал «Галерея ХХI век» Западный административный округ район Фили-Давыдково Рублевское шоссе, дом 9 (495) 445-16-50
ГБУК г. Москвы «Выставочный зал «Тушино» Северо-Западный административный округ район Южное Тушино бульвар Яна Райниса, дом 19, корпус 1 (495) 492-23-00
ГБУК г. Москвы «Выставочный зал «Ходынка» Северо-Западный административный округ район Щукино улица Ирины Левченко, дом 2 (499) 943-69-41
ГБУК г. Москвы «Выставочный зал «Зеленоград» Зеленоградский административный округ район Крюково город Зеленоград, корпус 1410 (499) 717-16-02
14

Приложение 6. Визуальное представление паспорта набора открытых данных

Название поля паспорта Значение поля паспорта
1 Идентификационный номер 7712345678-showrooms
2 Наименование набора данных Список выставочных залов
3 Описание набора данных Список выставочных залов с указанием контактных данных по округам и районам.
4 Владелец набора данных Министерство культуры
5 Ответственное лицо Иванов Иван Иванович
6 Телефон ответственного лица 74951234567
7 Адрес электронной почты ответственного лица ivanov@example.com
8 Гиперсылка (URL) на набор data-2013-06-01T00-00-structure-2013-04-01T00-00.xml
9 Формат данных XML
10 Описание структуры набора данных structure-2013-04-01T00-00.xsd
11 Дата первой публикации набора данных 01.04.2013
12 Дата последнего внесения изменений 01.06.2013
13 Содержание последнего изменения Изменение данных
14 Дата актуальности набора данных 01.07.2013
15 Ключевые слова, соответствующие содержанию набора данных Выставка, зал, выставочный зал, культура
16 Гиперссылки (URL) на версии набора данных
17 Гиперссылки (URL) на версии структуры набора данных
15

Приложение 7. Требование к представлению реестра наборов открытых данных

Реестр наборов открытых данных (CSV)

Требования к публикации реестра наборов открытых данных в машиночитаемом формате CSV

1) Требования к расположению:
a. Машиночитаемый формат реестра открытых данных представлен отдельным файлом в формате CSV.
b. Файл имеет название «list.csv».
c. Файл расположен непосредственно в разделе открытых данных. Например, ваш сайт расположен по адресу «http://example.com/». Тогда, учитывая требование к названию файла и возможные адреса раздела открытых данных, файл реестра открытых данных должен быть доступен по одному из двух адресов:
i. http://example.com/opendata/list.csv
ii. http://opendata.example.com/list.csv
2) Требования к формату:
a. Соответствие файла стандарту RFC - «Common Format and MIME Type for Comma-Separated Values (CSV) Files» (http://tools.ietf.org/html/rfc4180).
b. Дополнительные требования к CSV:
i. Разделителем полей является знак «,» (запятая).
ii. Ограничителем строк является знак «"» (универсальная двойная кавычка).
iii. Разделителем целой и дробной части чисел является знак «.» (точка).
c. Кодировка файла - «UTF-8».
3) Требование к структуре данных:
a. По горизонтали перечислены атрибуты полей реестра наборов открытых данных, по вертикали перечислены поля реестра наборов открытых данных.
b. Наличие следующих обязательных атрибутов поля реестра наборов открытых данных:
i. Атрибут поля «Наименование поля реестра наборов открытых данных»:
1. Должен быть установлен следующий обязательный заголовок атрибута: «property».
2. Значением атрибута является наименование поля реестра набора открытых
ii. Атрибут поля «Заголовок поля реестра наборов открытых данных»:
1. Должен быть установлен следующий обязательный заголовок атрибута: «title».
2. Значением атрибута является заголовок поля реестра наборов открытых данных.
iii. Атрибут поля «Значение поля реестра наборов открытых данных»:
1. Должен быть установлен следующий обязательный заголовок атрибута: «value».
2. Значением атрибута является значение поля реестра наборов открытых данных.
iv. Атрибут поля «Формат поля реестра наборов открытых данных»:
1. Должен быть установлен следующий обязательный заголовок атрибута: «format».
2. Значением атрибута является формат значения поля реестра наборов открытых данных.
с. Наличие следующих обязательных полей реестра наборов открытых данных:
i. Поле паспорта «Версия методических рекомендаций»:
1. Должно быть установлено следующее обязательное наименование поля: «standardversion».
2. Должен быть установлен следующий обязательный заголовок поля: «Версия методических рекомендаций».
3. Значением поля является ссылка на версию методических рекомендаций, которой соответствует публикация этого реестра наборов открытых данных.
4. Атрибут «Формат поля реестра наборов открытых данных» неприменим для этого поля, поэтому значением формата поля является пустая строка.
ii. Поле паспорта «Набор открытых данных» (данное поле повторяется столько раз, сколько опубликовано наборов открытых данных):
1. Должно быть установлено следующее обязательное наименование поля: «<identifier>». Где <identifier> - это идентификационный номер паспорта набора открытых данных.
2. Должен быть установлен следующий обязательный заголовок поля: «<title>». Где <title> - это наименование набора открытых данных.
3. Значением поля является ссылка на машиночитаемый формат паспорта набора открытых данных.
4. Значением формата поля является машиночитаемый формат набора открытых
d. Все наборы перечислены в одном файле, постраничное представление наборов в нескольких CSV файлах не допускается. Пояснение: визуальное представление реестра наборов открытых данных может быть разбито на несколько страниц и иметь сложную навигацию в случае большого количества наборов, но при этом машинное представление должно быть представлено только одним файлом по указанному адресу и никак не зависит от страниц визуального представления.

list.csv (пример)

property,title,value,format

standardversion,Версия методических рекомендаций, http://opendata.gosmonitor.ru/standard/3.0,

7712345678-showrooms,Список выставочных залов,http://example.com/opendata/7712345678-showrooms/meta.xml,xml

7712345678-libraries,Список муниципальных библиотек,http://example.com/opendata/7712345678-libraries/meta.csv,csv




16

Приложение 8. Требование к представлению паспорта набора открытых данных

17

Приложение 9. Требование к представлению открытых данных

18

Приложение 10. Методические рекомендации по инструменту доступа к открытым данным (API)