Abstract: В статье рассматривается подход к управлению идентификацией пользователей корпоративной сети учреждений РАН. Управление идентификацией представляет собой процесс, охватывающий весь жизненный цикл учетных записей пользователей и контроль над правами доступа в распределенных средах. Рассматриваемый подох позволяет интегрировать управление идентификацией пользователей сетевых, вычислительных и информационных сервисов. Архитектура предлагаемого решения основывается на открытых стандартах, использовании многоуровневой компонентной архитектуры LDAP-систем (OpenLDAP, iPlanet Directory) и доступа к ним как через локальные, так и через глобальные сети. Эти работы поддержаны грантами РФФИ 03-07-90140в, 04-07-96003, 02-07-90305ск.
В качестве основного вида хранилищ конфигурационной информации сетевых сервисов сейчас обычно рассматриваются LDAP каталоги. Во множестве конфигурационной информации сетевых сервисов выделяются данные, представляющие интерес для информационно-справочных сервисов – так называемые «метаданные сетевых сервисов».
Поскольку LDAP каталоги часто используются в качестве корпоративных справочников общего назначения, чтобы осуществить принципы «единой точки доступа», «согласованной модификации данных» как информационной, так и сетевой и вычислительной инфраструктур научного учреждения, проводится сравнение схем метаданных информационно-справочных системы ИСИР и стандартных схем LDAP каталогов.
Кроме того, уделяется внимание и такому варианту использования LDAP каталогов как репозитория хранимых объектов информационно-справочных сервисов. Предлагается способы отображения RDFS схемы данных в LDAP схемы.

Abstract:

Every year the size of the global big data market is growing. Analysing these data is essential for good decision-making. Big data technologies lead to a significant cost reduction with use of cloud services, distributed file systems, when there is a need to store large amounts of information. The quality of data analytics is dependent on the quality of the data themselves. This is especially important if the data has a retention policy and migrates from one source to another, increasing the risk of a data loss. Prevention of negative consequences from data migration is achieved through the process of data reconciliation – a comprehensive verification of large amounts of information in order to confirm their consistency.

This article discusses probabilistic data structures that can be used to solve the problem, and suggests an implementation – data integrity verification module using a Counting Bloom filter. This module is integrated into Apache Airflow to automate its invocation.

Abstract: В работе рассматривается общая архитектура новой версии системы ИСИР, опирающейся на открытые стандарты W3C: Semantic Web [SW], XML[XML] технологии, и на применение opensource решений. Архитектура позволяет разрабатывать распределённые объектно-ориентированные информационные системы - цифровые библиотеки, информационные и корпоративные порталы, сайты на базе различных типов хранилищ информации, таких как объектные и реляционные базы данных, LDAP-каталоги. Система параметризуется описанием объектной схемы данных конкретной предметной области и легко адаптируется к её изменениям. Для описания схемы используется W3C стандарт на описание схем Интернет ресурсов - RDFS. Архитектура имеет многоуровневую модульную организацию, каждый уровень имеет собственные цели и абстракции. Фундамент решения - ядро ИСИР - унифицирует механизмы работы с хранимыми объектными данными, предоставляет ряд услуг по управлению этими данными, например, разграничение прав доступа, журнализация изменений. На базе ядра строятся более высокоуровневые сервисы такие, как RDF/XML-обмен данными, репликация информации между репозиториями, атрибутно - полнотекстовая индексация данных и др. Имеются средства для простой и эффективной разработки пользовательских Web-интерфейсов. Средства публикации информации и построения отчётов применяют механизмы XSLT и поддерживают широкий спектр целевых форматов. Служба управления потоками работ по редактированию ресурсов репозиториев следует стандартам WfMC - канонической модели и языку спецификации потоков работ XPDL. Служба управления содержанием Web-сайта обеспечивает мульти - иерархическую каталогизацию слабоструктурированной информации, отличающейся нерегулярностью взаимосвязи ее элементов.