Архив наблюдательных данных САО РАН

В конце 80-х годов возникла тенденция по объединению локальных архивов в общий наблюдательный архив обсерватории. Она была обусловлена потребностью поддержания "старых" архивов в рабочем состоянии и широким использованием астрономическим сообществом FITS-формата. Но некоторые локальные архивы сохраняются и поддерживаются в индивидуальном порядке. В том виде, в котором он существует сейчас, общий архив поддерживается с 1995 года. Сейчас в архив обсерватории входят "сырые" и калибровочные данные, получаемые на БТА и Цейсс-1000 почти всеми методами наблюдений и данные радиометров континуума РАТАН-600 (первый и шестой облучатели).
Начиная с 1988 года, для архивирования данных в обсерватории используется FITS-формат. Сейчас основная часть данных сохраняются в FITS или в FITS-подобных самодокументируемых форматах. Для хранения используются следующие носители: магнитные ленты, DAT-кассеты, магнитооптические и оптические диски. Ведутся работы по восстановлению и перезаписи "старых" данных в существующие стандартные форматы. Эти данные входят в общий архив. Объем архива наблюдательных данных в оптическом диапазоне: с 1983 года по 1995 (хранение на магнитных лентах), компрессированные данные - 100Мб, с 1995 по 2000г.г. (хранение на магнитооптических и оптических дисках), компрессированные данные - 15Гб, то есть общий объем - порядка 50Гб. Среднесуточный поток данных - 200Мб, пиковый - 400Мб. При введении в эксплуатацию новых светоприемников (ПЗС-матрица 2000Х2000 пикселей, 2001г.) среднесуточный поток данных возрастет до 1Гб.

Объем архива наблюдательных данных в радио диапазоне: с 1979 по 1982 - хранение на магнитных лентах, с 1982 по 1995 - DAT-кассеты, объем данных - 800Мб, с 1995 по нынешнее время - CD-ROMы, объем данных - 7Гб. Среднесуточный поток данных - 5Мб, пиковый - 10Мб. Объем архива данных в радиодиапазоне меньше, поскольку наблюдения - одномерные сканы. Запись и работа с данными ведется средствами операционной системы LINUX. Запрос на получение данных направляется по электронной почте системным администраторам серверов БТА и РАТАН-600. Общий архив поддерживается и сохраняется отделом информатики.

Технология наблюдательного процесса и каскадная схема архивизации

• постановка астрофизической задачи,
• планирование наблюдательного времени,
• подготовка наблюдательного эксперимента,
• наблюдение (управление телескопом, управление приемниками, регистрация и сбор наблюдательных данных),
• архивизация наблюдательных данных,
• доступ к данным
• обработка
• интерпретация полученных результатов.

• первичная входная информация для систем управления и сбора, передаваемая из расписания наблюдений;
• вторичная входная информация, получаемая в течение наблюдения при корректировании начальных значений;
• первичная выходная информация, получаемая от систем контроля и сбора, как собственно файл данных;
• вторичная выходная информация с добавленными и измененными параметрами при первичной редукции и информацией для доступа к данным;
• конечные выходные данные и параметры, получаемые из систем обработки и интерпретации наблюдательных данных.

Планирование наблюдательного эксперимента это двухуровневый процесс. На первом этапе подаются конкурсные заявки на наблюдательное время. Подача заявок происходит дважды в год для каждого из трех основных телескопов обсерватории. Исходя из научной значимости предложенных программ, выделяется телескопное время заявителям и составляется календарный план наблюдений на полгода. В календарном плане, который является основным руководящим документом для обслуживающего персонала, указывается необходимая аппаратура для каждой наблюдательной программы.
Проведение наблюдений - Проведение наблюдений - основной этап технологической цепочки. На этом этапе идет регистрация наблюдательных и инструментальных данных. Результатом наблюдения является файл в самодокуметированном формате. Информация в заголовок файла попадает из следующих источников: системы управления телескопом (метеоданные, координаты), системы сбора и управления прибором (начало и конец экспозиции) и интерфейса пользователя (дата, название объекта, экспозиция, название программы, ответственный наблюдатель).

Каждый метод наблюдения связан с определенным компьютерно-аппаратным комплексом - системой сбора. Входом локального архива является выход системы сбора. После записи файла на диск начинается процесс архивизации наблюдения, состоящий из трех взаимосвязанных частей: сбора данных, долговременного хранения и извлечения необходимых данных из архива. Схема архивизации данных - каскадная, то есть, данные переходят последовательно с одного уровня архива на другой, находясь на каждом уровне определенный период времени, кроме четвертого, где они хранятся постоянно. Архив состоит из четырех слоев или уровней хранения:

Буферный архив - это область дискового пространства выделенного файл-сервера. По окончании сета наблюдательной программы в этой области хранятся все полученные данные, затем они переносятся в промежуточный архив на магнитооптические диски.

После окончания сета наблюдательной программы наблюдения передаются в архив. Ответственный наблюдатель сам определяет потоки информации, сроки обмена между системой сбора и буферным архивом (ежесуточный, по окончанию сета, и т.д.), формат наблюдательных данных, а также дублирование файлов как на компьютере системы сбора, так и в буферном архиве. Вся эта информация будет определяться в заявке на пользование буферным архивом. В буферном архиве хранятся данные одного сета, а в промежуточном - неупорядоченные данные нескольких сетов. Затем данные переносятся в оперативный архив на RAID и одновременно погружаются в среду СУБД.

В оперативном архиве происходит упорядочивание данных, возжна коррекция параметров, описывающих наблюдение, сборка мусора. После коррекции информации формируется образ диска и данные переносятся на CD-диски для постоянного хранения в CD-библиотеке. Каскадная схема архивизации реализована частично: поисково-информационная система разрабатывается и опробуется CD-библиотека для доступа к архивным данным, которые записаны на оптические диски.

Базовые принципы архива наблюдательных данных

• в архиве предполагается хранить результаты всех наблюдений, выполненных на телескопах обсерватории;
• основной смысловой единицей (item) архива является наблюдение;
• архив является прозрачным для пользователя, то есть, он не меняет форматы и параметры хранящихся данных; в каком формате поступили данные на вход архива, в таком их и получили при запросе;
• он является частью банка данных САО РАН;
• в архив погружаются текущие наблюдения;
• наблюдательные данные могут копироваться в архивах пользователей по их запросам с любого архивного уровня; "старые" наблюдения подгружаются в архивную систему по требованию;
• исключительное авторское право использования данных архива, содержащих информацию об астрофизических объектах, в течение 2 лет после выполнения наблюдений принадлежит заявителям наблюдательной программы.

Основные требования к архивной системе и сервисные функции

• надежное хранение данных;
• сетевой доступ к данным;
• контроль доступа;
• отсутствие жестких ограничений на форматы хранимых данных.

• удобный пользовательский интерфейс с использованием стандартных Web-броузеров;
• архивизация необработанных данных с предоставлением необходимых данных для выполнения предварительной обработки (калибровки);
• стандартные и параметрические запросы;
• организация запросов по нескольким локальным архивам;
• предварительный просмотр отобранных данных;
• организация выдачи выбранных данных по сети.

Архивная система САО имеет двухуровневую организацию: собственно архивы наблюдательных данных и поисково-информационную систему OASIS (Obsevational Archive Search Information System) на базе реляционной СУБД. Информационно-поисковая система - это справочная часть, где на каждое наблюдение хранится сервисный информационный блок (Service Information Block-SIB). Такой информационный блок снимает ограничения на форматы, хранимых файлов. Второй уровень информационной - собственно хранилище файлов с наблюдательными данными.

OASIS - поисково-информационная система архива наблюдательных данных

Поскольку инструменты обсерватории являются инструментами коллективного пользования, то предполагается интенсивный обмен наблюдательной информацией. Для реализации этого необходимо не только систематизированное хранение наблюдательных данных, но и возможность эффективного доступа к ним с использованием сети Интернет.
Создание информационной системы архива наблюдательных данных (OASIS) на основе сетевых технологий обеспечит доступ к наблюдательным данным большому числу пользователей.
Создание системы позволит:

• реализовать многоаспектный поиск информации,
• оптимизировать доступ к архивной информации,
• обеспечить удобный интерфейс для доступа к архивным данным на основе стандартного браузера,
• авторизировать доступ к архивным наблюдательным данным,
• получать различные срезы данных в рамках предметной области,
• обеспечить хорошую сопровождаемость системы и эксплуатационную надежность.

• исследование предметной области
• разработка системы сетевого доступа к архивам наблюдательных данных;
• реализация информационной системы;
• введение системы в опытную эксплуатацию;
• подключение к системе раннее накопленного архивного материала.

Выделенные понятия предметной области определили структуру и параметры сервисного информационного блока. В сервисном информационном блоке имеются параметры для однозначной идентификации наблюдения, для организации стандартных запросов в информационной системе, информация о местонахождении файла и количестве обращений к нему, формат хранимого файла и информация, позволяющая контролировать доступ к наблюдениям. SIB снимает ограничения на форматы, хранимых файлов, позволяет отслеживать положение файла на уровнях каскадной схемы архивизации, отслеживать последовательность обработки данных.

Оперативный процесс сбора и архивизации наблюдательных данных предполагает автоматическое занесение в информационную систему следующей информации:

• временные характеристики наблюдения:
• дата,
• начало наблюдения,
• экспозиция,
• объект наблюдения
• название объекта,
• координаты
• метод наблюдения
• телескоп,
• прибор,
• параметры прибора, используемые в процессе наблюдения
• программа наблюдения,
• участники наблюдения,
• физическое расположение результата наблюдения (FITS-файла) в архиве (оперативном и долгосрочном).

Процесс доступа к наблюдательным данным предполагает эффективный поиск с использованием системы доступа к архивным данным.
Задавая различные критерии поиска, можно получить:

• информацию о FITS-файле,
• информацию о наблюдениях по временным характеристикам,
• по объектам наблюдения,
• участникам,
•  программам наблюдений и т.д.

• астрономы - заявители программ наблюдений,
• астрономы, имеющие доступ к архиву,
• администратор архива наблюдательных данных,
• администратор архива доступа,
• любой пользователь Интернет, имеющий доступ к открытой информации архива.

• программы наблюдений;
• справочник телескопов;
• справочник астрофизических приборов, установленных на телескопах;
• справочник астрономов;
• справочник ответственных наблюдателей;
• справочник объектов наблюдений;
• идентификация заархивированных астрономических данных, полученных в процессе наблюдения;
• зарегистрированные пользователи архива.

Разработка информационной системы ведется отделом информатики САО РАН совместно с ЮРЦИВШ при Ростовском государственном университете.
Макет интерфейса пользователя, разработанного ростовскими коллегами, можно посмотреть по адресу: http://worabl.rnd.runnet.ru:8080/des_sao/owa/mns0010$.startup.
Коррекция интерфейса пользователя с учетом особенностей наблюдательного процесса в обсерватории и пожеланий пользователей будет выполняться в САО.

Пожелания и предложения можно присылать по адресу: id@sao.ru