Сегодня в блоге мы публикуем третью, заключительную часть статьи об автономной базе данных. Мы уже рассказали, что автономная база данных умеет делать для руководителей, аналитиков и DBA, и описали волшебные механизмы, которые превращают ее в «скатерть-самобранку», что подтверждают клиенты, имевшие возможность протестировать ее функции. Финальная часть посвящена используемым алгоритмам машинного обучения и раскрывает, как работает автономный сервис Oracle Autonomous Data Warehouse Cloud Service, который уже доступен для заказа клиентам во всем мире, включая Россию.
Как Oracle использует машинное обучение
Автономные базы данных немыслимы без использования алгоритмов машинного обучения. Такие алгоритмы и модели используются в Oracle Management Cloud (в сервисах Log Analytics и IT Analytics), в трех компонентах Autonomous Health Framework (Trace File Analyzer, Cluster Health Advisor, Hang Manager), при защите БД от внешнего и внутреннего вторжения, в работе служб технической поддержки для выявления самых важных и приоритетных для исправления ошибок и т. д.
Log Analytics, как отмечалось, использует механизм кластеризации, в других системах используется байесовская сеть для поиска причин возникновения нештатной ситуации или причин возникновения негативных тенденций. Как правило, все эти компоненты работают по следующему принципу. Автоматически строится базовая модель нормального поведения системы. Далее при работе системы выявляются отклонения от базовой модели, производится анализ этих отклонений и на основе результатов анализа либо выявляются тенденции ухудшения работы, либо выявляются причины отклонений. После чего, если необходимо, автоматически выполняются корректирующие действия. Например, так работает Cluster Health Advisor. При работе Trace File Analyzer также выявляются аномалии в работе, но на их основе определяется список файлов, которые нужно собрать и отправить в службу технической поддержки для разрешения проблем и поиска причин возникновения ошибок.
Модели, используемые для работы этих компонентов генерируются с помощью алгоритмов машинного обучения, в составлении которых участвуют эксперты по машинному обучению. Далее эти модели загружаются в систему и используются для анализа работы подсистем. Модели постоянно совершенствуются и обновляются. В будущем планируется ещё более широкое использование машинного обучения в автономных базах данных (Рисунок 1).
Рисунок 1. Машинное обучение. Создание и использование моделей
Кому пора подписаться на Oracle Autonomous Data Warehouse Service
Первый специализированный сервис автономной БД Oracle называется "Сервис Автономного Хранилища Данных" (Oracle Autonomous Data Warehouse Cloud Service - ADWS). Он предоставляется из облака и российские компании могут подписаться на него уже сегодня.
«В начале этого года компания Oracle предложила нам принять участие в пилотировании проекта ADWH. В качестве теста использовали витрину данных размером 700 Гб из нашего Корпоративного Хранилища Данных. Она была обезличена, верифицирована на предмет отсутствия пользовательских и других чувствительных данный и перемещена в облачное хранилище. Миграция вызвала некоторые сложности, но они были преодолены, данные загружены, после чего прогон тестовых SQL-запросов показал существенное ускорение запросов на аналогичном по количеству CPU оборудовании, развернутом в банке. Основная идея автономных сервисов – минимизировать участие ИТ-поддержки в решении пользовательских задач, увеличив их скорость выполнения. Помимо экономии ресурсов ИТ-поддержки можно говорить о снижении затрат на ИТ-инфраструктуру банка под размещение пользовательских «песочниц», - отмечает Александр Хохлов, заместитель начальника управления вычислительных комплексов департамента информационных технологий банка ВТБ.
Архитектура сервиса приведена на схеме (Рисунок 2). ADWH позволяет за несколько минут создать базу данных для витрины или хранилища данных. Затем пользователь может создать в этой БД таблицы и начать работать с ними.
Работать с ADWS можно через хорошо всем знакомый SQL Developer, интегрировать с ней другие системы можно через различные интеграционные сервисы от Oracle или других производителей, причем эти интеграционные сервисы могут работать как в облаке, так и в ЦОД закзачика. Для загрузки данных в таблицы созданного хранилища их нужно поместить на облачную систему Oracle (Oracle Object Storage) или Amazon. В базе данных есть процедура для загрузки этих данных или для работы с ними как с внешними таблицами.
Рисунок 2. Архитектура ADWS
Для анализа загруженных в таблицы данных можно использовать любые BI-инструменты, умеющие работать с БД по SQL*Net, работающие как в облаке так и в ЦОД. У ADWS есть веб-консоль для контроля его работы и встроенный инструмент для простого анализа данных и машинного обучения.
Искать ли DBA новую работу?
Может показаться, что автономная база данных полностью исключает работу администраторов баз данных, и им срочно нужно переквалифицироваться или искать новую работу. На самом деле, это не так. Автономная база данных автоматизирует именно рутинные задачи. Администратор может поддерживать теперь больше баз данных, больше времени уделять инновационным проектам.
«Моей первой реакцией на концепцию автономной базы данных был вопрос - если компьютер может делать то, что делаю я, в чем тогда моя работа? Но познакомившись с технологией поближе, я изменил свое отношение. Oracle просто берет лучшие практики, о которых компания рассказывала нам в течение многих лет, и теперь база данных просто следует им сама. Кроме того, автономные машины никогда не устают и могут наблюдать за всем сразу», – комментирует Джим Кзупрински, ИТ-архитектор Vion Corporation, а в прошлом DBA c 20-летним стажем.
Сегодня автономные базы данных особенно хорошо подходят для разработчиков приложений, аналитиков, для создания небольших витрин и некритичных приложений.
Высоконагруженные системы, критичные для бизнеса (такие как биллинг, банковские и карточные системы и т. д.) без администратора баз данных обойтись не могут. Пока опытные DBA работают намного лучше, чем машина. Нам предстоит ещё долгий путь совершенствования алгоритмов самоуправления, однако уже сейчас, благодаря автономным базам данных, работу администратора баз данных можно упростить. Кроме того, загрузку данных в хранилище и миграцию данных из других систем никто, кроме администратора, выполнить не сможет.
Конечно, администраторам БД придется постепенно перестраивать свой подход к работе. Они будут меньше внимания уделять поддержке работающих БД, а больше - освоению новых продуктов и инноваций, разработке архитектуры, планированию и моделированию данных, настройке кода приложений, управлению жизненным циклом данных, обеспечению безопасности систем. У администратора БД появится больше времени на общение с разработчиками приложений и представителями бизнеса, и он сможет лучше и быстрее реагировать на их запросы.
«Мне нравится использовать облачные сервисы, потому что они позволяют сразу работать с данными, и мне не приходится неделями ждать, пока ИТ-специалисты настроят среду. А автономная база данных для меня – синоним быстрого развития бизнеса. Кроме того, я хочу иметь возможность увеличить или уменьшить размер хранилища данных, основываясь на моих потребностях. И Oracle Autonomous DataWarehouse Cloud Service очень хорошо справляется с этой задачей», - комментирует Нитин Венгурлекар, CTO компании Viscosity, которая помогает своим клиентам получать максимум из их данных
