Аннотация: В статье рассматривается подход к управлению идентификацией пользователей корпоративной сети учреждений РАН. Управление идентификацией представляет собой процесс, охватывающий весь жизненный цикл учетных записей пользователей и контроль над правами доступа в распределенных средах. Рассматриваемый подох позволяет интегрировать управление идентификацией пользователей сетевых, вычислительных и информационных сервисов. Архитектура предлагаемого решения основывается на открытых стандартах, использовании многоуровневой компонентной архитектуры LDAP-систем (OpenLDAP, iPlanet Directory) и доступа к ним как через локальные, так и через глобальные сети. Эти работы поддержаны грантами РФФИ 03-07-90140в, 04-07-96003, 02-07-90305ск.
В качестве основного вида хранилищ конфигурационной информации сетевых сервисов сейчас обычно рассматриваются LDAP каталоги. Во множестве конфигурационной информации сетевых сервисов выделяются данные, представляющие интерес для информационно-справочных сервисов – так называемые «метаданные сетевых сервисов».
Поскольку LDAP каталоги часто используются в качестве корпоративных справочников общего назначения, чтобы осуществить принципы «единой точки доступа», «согласованной модификации данных» как информационной, так и сетевой и вычислительной инфраструктур научного учреждения, проводится сравнение схем метаданных информационно-справочных системы ИСИР и стандартных схем LDAP каталогов.
Кроме того, уделяется внимание и такому варианту использования LDAP каталогов как репозитория хранимых объектов информационно-справочных сервисов. Предлагается способы отображения RDFS схемы данных в LDAP схемы.

Аннотация: В работе рассматривается общая архитектура новой версии системы ИСИР, опирающейся на открытые стандарты W3C: Semantic Web [SW], XML[XML] технологии, и на применение opensource решений. Архитектура позволяет разрабатывать распределённые объектно-ориентированные информационные системы - цифровые библиотеки, информационные и корпоративные порталы, сайты на базе различных типов хранилищ информации, таких как объектные и реляционные базы данных, LDAP-каталоги. Система параметризуется описанием объектной схемы данных конкретной предметной области и легко адаптируется к её изменениям. Для описания схемы используется W3C стандарт на описание схем Интернет ресурсов - RDFS. Архитектура имеет многоуровневую модульную организацию, каждый уровень имеет собственные цели и абстракции. Фундамент решения - ядро ИСИР - унифицирует механизмы работы с хранимыми объектными данными, предоставляет ряд услуг по управлению этими данными, например, разграничение прав доступа, журнализация изменений. На базе ядра строятся более высокоуровневые сервисы такие, как RDF/XML-обмен данными, репликация информации между репозиториями, атрибутно - полнотекстовая индексация данных и др. Имеются средства для простой и эффективной разработки пользовательских Web-интерфейсов. Средства публикации информации и построения отчётов применяют механизмы XSLT и поддерживают широкий спектр целевых форматов. Служба управления потоками работ по редактированию ресурсов репозиториев следует стандартам WfMC - канонической модели и языку спецификации потоков работ XPDL. Служба управления содержанием Web-сайта обеспечивает мульти - иерархическую каталогизацию слабоструктурированной информации, отличающейся нерегулярностью взаимосвязи ее элементов.

Аннотация:

Из года в год возрастает объем мирового рынка больших данных. Их анализ является неотъемлемой частью для принятия немедленных и надежных решений. Технологии больших данных ведут к значительному снижению стоимости за счет использования облачных сервисов, распределенных файловых систем, когда возникает потребность в хранении больших объемов информации. Их аналитика неразрывно связана с понятием качества данных, что особенно важно, если они имеют определенный срок хранения – метрику устаревания – и мигрируют из одного источника в другой, увеличивая риск потери данных. Предупреждение негативных последствий достигается за счет процесса сверки данных – комплексной проверки больших объемов информации с целью подтверждения их согласованности.

В статье рассмотрены вероятностные структуры данных, которые могут быть использованы для решения задачи, а также предложена реализация – модуль проверки целостности данных с использованием фильтра Блума с подсчетом. Данный модуль интегрирован в Apache Airflow для автоматизации процесса.