В общих чертах мы уже познакомились с многопроцессорными и многомашинными вычислительными системами. Однако с некоторыми конкретными и, в тоже время. Практическими системами необходимо познакомиться более близко. К таким системам относятся кластерные системы.
Концепция кластерных систем
Впервые в классификации вычислительных систем термин "кластер" определила компания Digital Equipment Corporation (DEC). По определению DEC, кластер — это группа вычислительных машин, которые связаны между собою и функционируют как один узел обработки информации.
Кластер функционирует как единая система, то есть для пользователя или прикладной задачи вся совокупность вычислительной техники выглядит как один компьютер. Именно это и является самым важным при построении кластерной системы.
Рисунок 14.1 Кластерная система
LAN – Local Area Network, локальная сеть
SAN – Storage Area Network, сеть хранения данных
Первые кластеры компании Digital были построены на машинах VAX. Эти машины уже не производятся, но все еще работают на площадках, где были установлены много лет назад. И наверное самое важное то, что общие принципы, заложенные при их проектировании, остаются основой при построении кластерных систем и сегодня. К общим требованиям, предъявляемым к кластерным системам, относятся:
Общий доступ к ресурсам
Естественно, что при частных реализациях одни из требований ставятся во главу угла, а другие отходят на второй план. Так, например, при реализации кластера, для которого самым важным является быстродействие, для экономии ресурсов меньше внимания придают высокой готовности. В общем случае кластер функционирует как мультипроцессорная система, поэтому, важно понимать классификацию таких систем в рамках распределения программно-аппаратных ресурсов.
Рис. 14.2 Тесно связанная мультипроцессорная система
Рис.14.3 Умеренно связанная мультипроцессорная система
Рис.14.4 Слабо связанная мультипроцессорная система
Обычно на PC платформах, с которыми нам приходится работать, используются реализации кластерной системы в моделях тесно связанной и умеренно связанной мультипроцессорных архитектур.
Разделение на High Availability и High Performance системы
В функциональной классификации кластеры можно разделить на "Высокоскоростные" (High Performance, HP), "Системы Высокой Готовности" (High Availability, HA), а также "Смешанные Системы". Высокоскоростные кластеры используются для задач, которые требуют значительной вычислительной мощности. Классическими областями, в которых используются подобные системы, являются:
обработка изображений: рендеринг, распознавание образов
научные исследования: физика, биоинформатика, биохимия, биофизика
промышленность (геоинформационные задачи, математическое моделирование)
Кластеры, которые относятся к системам высокой готовности, используются везде, где стоимость возможного простоя превышает стоимость затрат, необходимых для построения кластерной системы, например:
управление предприятием, и т.п.
Смешанные системы объединяют в себе особенности как первых, так и вторых. Позиционируя их, следует отметить, что кластер, который обладает параметрами как High Performance, так и High Availability, обязательно проиграет в быстродействии системе, ориентированной на высокоскоростные вычисления, и в возможном времени простоя системе, ориентированной на работу в режиме высокой готовности.
Средства построения корпоративной инфраструктуры
Кластерная система от Microsoft
10 октября ООО «Майкрософт Рус» объявило о выходе в России комплексного решения для параллельных вычислительных систем Windows Compute Cluster Server 2003, а также об открытии русскоязычной версии веб-сайта, посвященного данному системному кластеру.
9 июня текущего года было сделано сообщение о запуске Windows Compute Cluster Server 2003 в производство, теперь новое кластерное решение стало доступно и в России. Системный кластер от Microsoft представляет собой надежную платформу для параллельных и высокопроизводительных вычислений. К ряду преимуществ, отличающих кластерную систему Microsoft от других высокопроизводительных вычислительных систем, можно отнести:
- упрощенную систему развертки и управления кластером;
- улучшенный процесс интеграции с существующей ИТ-инфраструктурой;
- поддержку широкого ряда приложений и знакомую разработчикам ИТ-среду.
Windows Compute Cluster Server 2003 поддерживает работу ряда таких ключевых технологий, как:
- 64-процессорные кластерные вычислительные узлы;
- интерфейс передачи сообщений v2 (MPI2);
- гигабитный Ethernet, Ethernet по удаленному и прямому доступу к памяти (RDMA), InfiniBand, а также технологии «Миринет»;
- компиляторы и библиотеки независимых разработчиков.
Кроме того, была открыта русская версия веб-сайта, посвященная новому кластерному решению. Здесь будет размещаться вся необходимая информация о Windows Compute Cluster Server 2003 как для разработчиков, так и для представителей ИТ-подразделений различных отраслей. Адрес веб-сайта: http://www.microsoft.com/rus/hpc.
VMware анонсирует новую версию VMware Converter 3
В начале октября компания VMware анонсировала продукт VMware Converter 3, который объединяет функциональность двух приложений от VMware — P2V Assistant и Virtual Machine Importer, — в рамках одного интегрированного решения, упрощающего преобразование существующих физических и виртуальных систем в виртуальные машины VMware.
Компонент VMware P2V Assistant создает «снимок» состояния физической операционной системы и формирует на его основе виртуальную машину, исключая необходимость в повторной установке и настройке комплексных программных систем. VMware Virtual Machine Importer позволяет использовать в качестве «заготовок» виртуальные машины в различных исходных форматах.
Основой для виртуальной машины может стать любой компьютер, работающий под управлением операционной системы Windows XP, Windows Server 2003 (включая 64-битные версии этих ОС), а также Windows 2000 или Windows NT 4 SP4+.
Продукт VMware Converter 3 в настоящее время находится в стадии бета-тестирования, а окончательная его версия должна появиться в продаже в течение следующих шести месяцев.
IBM Lotus Sametime 7.5
Компания IBM объявила о доступности продукта Lotus Sametime 7.5 — платформы для организации коллективной работы. Благодаря своей гибкости и расширяемости новое решение не ограничивается предоставлением таких возможностей, как мгновенный обмен сообщениями и проведение web-конференций. Компании, внедрившие этот продукт, смогут использовать подключаемые модули, предлагаемые разработчиком продукта или сторонними производителями.
Так, один из дополнительных модулей позволит специалистам получать оперативную информацию о доступности того или иного лица из списка контактов, определять его текущее местоположение и одним нажатием на кнопку устанавливать телефонную связь с выбранным абонентом. Другой модуль, разработанный партнером IBM — компанией Radvision, позволит перейти от обмена текстовыми сообщениями к полноценному аудио- или видеочату, принять участие в котором смогут не только пользователи ПК, но и владельцы мобильных устройств, в том числе современных моделей сотовых телефонов.
IBM Workplace Web Content Management 6.0
В сентябре компания IBM выпустила новую, шестую версию продукта Workplace Web Content Management — качественного средства управления информационным наполнением интернет-сайтов.
Решение, доступное в качестве компонента платформы WebSphere или отдельного приложения, может с одинаковым успехом использоваться для размещения информации на внутрикорпоративных и внешних сайтах.
Пользователям версии Workplace Web Content Management 6.0 предлагаются расширенные возможности разработки и редактирования web-контента, а также его публикации независимо от текущего географического местоположения. Для хранения материалов теперь применяется удобный репозитарий Java Content Repository. Кроме того, авторы смогут организовать рассылку информации по каналам Real Simple Syndication (RSS) и Atom или размещать ссылки на другие источники.
Borland InterBase 2007
В конце сентября компания Borland Software анонсировала продукт InterBase 2007 — новую версию мультиплатформенной встраиваемой базы данных, которая успешно используется тысячами приложений.
Новая версия поставляется в двух редакциях: InterBase 2007 Server Edition и InterBase 2007 Desktop Edition. Также ожидается выпуск третьей редакции — InterBase 2007 Developer Edition, которая войдет в комплект поставки пакета Borland Developer Studio, интегрированной среды разработки Windows .NET-приложений. Предлагаемая база данных также тесно интегрируется с другими популярными средствами разработки, включая Delphi, C++Builder, C#Builder и JBuilder.
Версия InterBase 2007 отличается повышенной масштабируемостью и производительностью и к тому же предлагает усовершенствованные механизмы защиты данных и новые средства восстановления после сбоя. Среди внесенных усовершенствований стоит отметить поддержку критически важных бизнес-приложений.
CA Harvest Change Manager 7.1
В начале октября компания Computer Associates анонсировала новую версию продукта CA Harvest Change Manager, которая поможет корпоративным специалистам, вовлеченным в процесс разработки ПО, автоматизировать ряд ключевых операций, выполняемых на разных этапах жизненного цикла приложений. Продукт возьмет на себя управление вносимыми изменениями и настройкой параметров создаваемого программного обеспечения. Для хранения данных CA Harvest 7.1 предлагает новый репозитарий на базе Microsoft SQL Server. В решении также реализована поддержка самых популярных сред разработки (в том числе Microsoft .NET 2005) и инструментов Eclipse.
CA Harvest входит в состав портфеля решений CA Service Management Accelerator — всеобъемлющего набора продуктов, сервисов и учебных мероприятий, которые позволят организовать процесс разработки в соответствии с методологиями ITIL.
Новые планы Microsoft и Citrix Systems
Компании Microsoft и Citrix Systems, Inc. объявили о совместных планах по расширению партнерства в сфере доступа к приложениям, делающим компьютерное сообщение между сотрудниками одной компании в территориально распределенных офисах быстрым, надежным и экономичным. Сотрудничество Microsoft и Citrix будет сконцентрировано в направлении поддержки нового многофункционального решения Citrix для обеспечения доступа к приложениям из удаленных офисов на базе операционной системы Microsoft Windows Server и брандмауэра Microsoft Internet Security and Acceleration (ISA) Server с использованием нового решения Citrix WANScaler. Подобное сочетание помогает решить основные проблемы поддержки пользователей в удаленных офисах из центрального.
Новые продукты должны сочетать серверные технологии Microsoft и акселерацию приложений Citrix, а также технологии широкомасштабных сетей (WAN), что позволит им отвечать потребностям каждой компании в области безопасности доступа.
Oracle Content Database и Oracle Records Database
В сентябре компания Oracle объявила о доступности двух новых продуктов, расширяющих функциональные возможности корпоративной платформы Oracle Database Enterprise Edition.
Решения Oracle Content Database и Oracle Records Database cделают проще управление документами Office и PDF, файлами изображений и другими неструктурированными данными. Эти решения могут быть внедрены в масштабах всей организации. Они позволят повысить продуктивность сотрудников и гарантируют существенное сокращение затрат на управление данными. Компании, перешедшие на сервисно-ориентированную архитектуру, смогут с легкостью интегрировать решения в корпоративную инфраструктуру и связывать их с ключевыми бизнес-процессами и приложениями.
Доступ к корпоративным системам с мобильных устройств
Недавно компания Sybase объявила о доступности продукта Sybase Unwired Accelerator 8.0, который позволит быстро и без лишних усилий предоставить пользователям мобильных устройств доступ к корпоративным системам (SAP ERP, BMC Remedy Service Desk, Business Objects, Crystal Reports XI и Lotus Notes), базам данных JDBC, а также к web-сервисам и приложениям.
Sybase Unwired Accelerator 8.0 является ключевым компонентом недавно представленного пакета Sybase Information Anywhere Suite, в состав которого вошли средства для «мобилизации» корпоративных приложений, управления устройствами и их защиты, а также ряд других инструментов, позволяющих повысить эффективность труда мобильных пользователей. Ключевыми особенностями версии Sybase Unwired Accelerator 8.0 являются поддержка NET Compact Framework и разных типов архитектур, включая SOA (Service Orientated Architecture).
Средства защиты данных
Защита от бот-программ корпорации Trend Micro
В сентябре корпорация Trend Micro, Inc. анонсировала продукт InterCloud Security Service, предоставляющий широкие возможности для выявления случаев заражения ПК бот-программами, отправки инфицированных систем в карантин и их последующего лечения. Решение разрабатывалось с учетом требований к производительности и масштабируемости, предъявляемых обладателями крупных сетевых инфраструктур.
Большинство бот-программ не могут быть обнаружены с помощью стандартных механизмов защиты. Поэтому при разработке нового сервиса специалисты из Trend Micro воспользовались патентованной технологией Behavioral Analysis Security Engine (BASE), способной анализировать поведение приложений и данных в масштабах всей сетевой инфраструктуры, включая DNS-запросы и таблицы маршрутизации Border Gateway Protocol (BGP) и обнаруживать присутствие бот-приложения по ряду характерных признаков.
Интегрированная платформа Service Delivery Platform позволяет осуществлять регулярное обновление продукта. Кроме того, IT-специалисты смогут воспользоваться удобным web-порталом для получения целостного представления о работе корпоративной сети, централизованного управления политиками защиты, а также получения отчетов и уведомлений о нарушении принятых политик.
Новые средства защиты Panda Software
Компания Panda Software объявила о выпуске новых решений, ориентированных на домашних пользователей и представителей малого бизнеса.
Разработчики продуктов Panda Antivirus 2007, Panda Antivirus+Firewall 2007 (new Titanium) и Panda Internet Security 2007 (new Platinum) постарались решить сразу две задачи: предоставить потенциальным клиентам удобные в эксплуатации и нетребовательные к ресурсам приложения и обеспечить максимально надежную защиту от большинства современных угроз.
Пакет Panda Antivirus 2007 предлагает средства превентивного обнаружения вредоносного кода и позволяет принять действенные меры в случае проникновения вируса в систему. Продукт защитит обладателей домашних компьютеров от различных вирусов, сетевых червей, троянов, шпионских приложений, а также от самых современных методов кражи пользовательской информации. Технология эвристического анализа Genetic Heuristic Engine позволяет с высокой точностью идентифицировать новые типы угроз и блокировать работу вредоносных приложений.
Решение Panda Antivirus + Firewall 2007 (new Titanium) гарантирует двухуровневую защиту от всех типов интернет-угроз. Реализованная в продукте поддержка технологий TruPrevent повышает эффективность операций по обнаружению ранее неизвестного вредоносного кода. Тесная интеграция с продуктом Panda Firewall до минимума сокращает вероятность хакерской атаки.
Пакет Panda Internet Security 2007 (new Platinum) не только обеспечивает защиту от вирусов и шпионских приложений, но и предоставляет средства для борьбы со спамом и интернет-мошенничеством, встроенный межсетевой экран Panda Firewall и средства защиты идентификационной информации.
Trend Micro Internet Security Suite 2007
Компания Trend Micro анонсировала новую версию популярной системы защиты Internet Security 2007. Новый пакет от Trend Micro может идентифицировать известные вирусы, троянские приложения и шпионские программы, блокировать их работу и удалить их.
Помимо этого решение освободит пользователя от спама, своевременно уведомит его о попытке несанкционированного доступа к сети с беспроводного устройства, выполняет фильтрацию содержимого сайтов (в том числе безошибочно распознает мошеннические web-ресурсы) и полностью исключит вероятность хищения идентификационных данных пользователя.
Технологии, перешедшие в собственность Trend Micro после покупки компании InterMute, позволяют обнаруживать вредоносный программный код с еще большей эффективностью. Новаторская разработка Venus Spy Trap дает возможность выявлять истинные намерения подозрительной программы путем мониторинга ее поведения, а уникальный модуль Rootkit Common Module сделает невозможной работу rootkit-приложений. С помощью компонента TrendSecure пользователи смогут в режиме онлайн предотвращать доступ к конфиденциальным данным. Модуль Transaction Guard обезопасит ввод идентификационных сведений с незащищенного компьютера.
Средства разработки приложений
Поддержка 64-разрядных платформ Windows в средствах защиты Aladdin
2 октября компания Aladdin объявила о выпуске HASP4 RUS (Remote Update System — системы удаленного обновления) к электронным ключам HASP4 64-разрядных платформ Windows. Теперь приложения, защищенные с помощью HASP4 для x32, могут использовать новую универсальную систему HASP4 RUS API для удаленного обновления информации в памяти электронного ключа при работе с 64-разрядной платформой Windows.
Напомним, что для электронных ключей нового поколения HASP HL технология RUS для платформ Windows x64 была реализована одновременно с появлением ключей на рынке.
Поддержка .NET Framework 2.0 в средствах защиты Aladdin
10 октября компания Aladdin выпустила новую версию утилиты для автоматической защиты HASP HL Envelope, в которой реализована поддержка .NET Framework 2.0. Технологии защиты, реализованные в HASP HL Envelope для .NET Framework 2.0, включают многоуровневую защиту, методы противодействия анализу кода с использованием отладчиков и методы противодействия восстановлению исходного кода приложений.
Как сообщают в Aladdin, данная версия HASP HL Envelope для .NET Framework 2.0 является предварительной и работа с ней возможна только через интерфейс командной строки. Полнофункциональная версия HASP HL Envelope для .NET Framework 2.0, включающая защиту на уровне классов, защиту файлов динамических библиотек (DLL) и интеграцию с Envelope, будет выпущена до конца текущего года.
Altova представляет DatabaseSpy 2007
В сентябре компания Altova объявила о выпуске новой версии продукта DatabaseSpy 2007 — универсального и доступного по цене инструмента для проектирования баз данных и управления ими. DatabaseSpy выгодно отличается от большинства стандартных инструментов для работы с базами данных, которые обычно привязаны к СУБД конкретного типа, ограничены по функциональности и имеют не слишком удобный интерфейс. DatabaseSpy поддерживает базы данных следующих типов: Microsoft SQL Server (версии 2000 и 2005), Microsoft Access 2003, Oracle (версии 9i и 10g), IBM DB2 (8.x и 9), MySQL (4.x и 5.x), а также Sybase 11.
Мастер Quick Connect Wizard позволяет извлекать данные из любой таблицы базы данных и изучать их структуру. Пользователи DatabaseSpy также могут одновременно подключаться к нескольким базам данных. Встроенный редактор SQL Editor поможет быстро и без труда генерировать SQL-операторы благодаря поддержке механизмов автозавершения, проверки синтаксиса, выделения цветом отдельных синтаксических конструкций. Инструмент Database Design Editor позволяет заниматься визуальным дизайном и проектированием структуры базы данных без написания кода SQL. Кроме того, специалисты по достоинству оценят исчерпывающие возможности экспорта данных в форматы XML, XML Structure, CSV, HTML и Microsoft Excel, а также импорта данных из файлов CSV.
События
Центр компетенции в области высокопроизводительных вычислений на основе технологий Microsoft
27 сентября ООО «Майкрософт Рус» объявило об открытии в Нижегородском государственном университете имени Н.И.Лобачевского (ННГУ) Центра компетенции в области высокопроизводительных вычислений на основе технологий Microsoft. Работа Центра компетенции будет связана с обучением, исследованиями и разработками, проведением научных и технических семинаров и конференций, а также с оказанием услуг в области высокопроизводительных вычислений организациям Приволжского федерального округа. В Центре компетенции также можно будет увидеть готовые решения на основе высокопроизводительных вычислений. Здесь будут проводиться работы по усовершенствованию современных компьютерных систем, основанных на суперкомпьютерах, на базе технологий Microsoft для наиболее эффективного решения научных, технических и производственных задач в образовательных, промышленных и бизнес-организациях.
Еще одним направлением деятельности Центра компетенции станет реализация прикладных проектов в области высокопроизводительных вычислений. Кроме того, студенты, преподаватели вузов, специалисты исследовательских институтов и представители компаний региона получат возможность пройти на базе центра подготовку, переподготовку или повысить свою квалификацию.
Первый российский Центр инноваций Microsoft
9 октября ООО «Майкрософт Рус» объявило об открытии в Московском инженерно-физическом институте (МИФИ) Центра инноваций Microsoft. Центр инноваций в МИФИ предоставляет ресурсы и услуги по трем направлениям. Первое направление связано с накоплением интеллектуального капитала и включает в себя курсы по разработке программного обеспечения, тренинги для студентов в сфере бизнеса, а также программы по их трудоустройству. В рамках второго направления центр будет способствовать развитию сотрудничества в ИТ-индустрии, ориентированного на создание партнерских программ в области лицензирования программного обеспечения. Третье и основополагающее направление работы центра — разработки инноваций в сфере программного обеспечения.
В настоящее время действует 60 подобных центров инноваций Microsoft по всему миру. До конца текущего года планируется организовать работу более 90 центров инноваций в 30 странах, включая Россию.
Содержание статьи
Как известно, кластеры позволяют решать проблемы, связанные с производительностью, балансировкой нагрузки и отказоустойчивостью. Для построения кластеров используются различные решения и технологии, как на программном, так и на аппаратном уровне. В этой статье будут рассмотрены программные решения, предлагаемые компаниями Microsoft и Oracle.
Виды кластеров
Кластер — это группа независимых компьютеров (так называемых узлов или нодов), к которой можно получить доступ как к единой системе. Кластеры могут быть предназначены для решения одной или нескольких задач. Традиционно выделяют три типа кластеров:
- Кластеры высокой готовности или отказоустойчивые кластеры (high-availability clusters или failover clusters) используют избыточные узлы для обеспечения работы в случае отказа одного из узлов.
- Кластеры балансировки нагрузки (load-balancing clusters) служат для распределения запросов от клиентов по нескольким серверам, образующим кластер.
- Вычислительные кластеры (compute clusters), как следует из названия, используются в вычислительных целях, когда задачу можно разделить на несколько подзадач, каждая из которых может выполняться на отдельном узле. Отдельно выделяют высокопроизводительные кластеры (HPC — high performance computing clusters), которые составляют около 82% систем в рейтинге суперкомпьютеров Top500.
Системы распределенных вычислений (gird) иногда относят к отдельному типу кластеров, который может состоять из территориально разнесенных серверов с отличающимися операционными системами и аппаратной конфигурацией. В случае грид-вычислений взаимодействия между узлами происходят значительно реже, чем в вычислительных кластерах. В грид-системах могут быть объединены HPC-кластеры, обычные рабочие станции и другие устройства.
Такую систему можно рассматривать как обобщение понятия «кластер». ластеры могут быть сконфигурированы в режиме работы active/active, в этом случае все узлы обрабатывают запросы пользователей и ни один из них не простаивает в режиме ожидания, как это происходит в варианте active/passive.
Oracle RAC и Network Load Balancing являются примерами active/ active кластера. Failover Cluster в Windows Server служит примером active/passive кластера. Для организации active/active кластера требуются более изощренные механизмы, которые позволяют нескольким узлам обращаться к одному ресурсу и синхронизовать изменения между всеми узлами. Для организации кластера требуется, чтобы узлы были объединены в сеть, для чего наиболее часто используется либо традиционный Ethernet, либо InfiniBand.
Программные решения могут быть довольно чувствительны к задержкам — так, например, для Oracle RAC задержки не должны превышать 15 мс. В качестве технологий хранения могут выступать Fibre Channel, iSCSI или NFS файловые сервера. Однако оставим аппаратные технологии за рамками статьи и перейдем к рассмотрению решений на уровне операционной системы (на примере Windows Server 2008 R2) и технологиям, которые позволяют организовать кластер для конкретной базы данных (OracleDatabase 11g), но на любой поддерживаемой ОС.
Windows Clustering
У Microsoft существуют решения для реализации каждого из трех типов кластеров. В состав Windows Server 2008 R2 входят две технологии: Network Load Balancing (NLB) Cluster и Failover Cluster. Существует отдельная редакция Windows Server 2008 HPC Edition для организации высокопроизводительных вычислительных сред. Эта редакция лицензируется только для запуска HPC-приложений, то есть на таком сервере нельзя запускать базы данных, web- или почтовые сервера.
NLB-кластер используется для фильтрации и распределения TCP/IPтрафика между узлами. Такой тип кластера предназначен для работы с сетевыми приложениями — например, IIS, VPN или межсетевым экраном.
Могут возникать сложности с приложениями, которые полага ются на сессионные данные, при перенаправлении клиента на другой узел, на котором этих данных нет. В NLB-кластер можно включать до тридцати двух узлов на x64-редакциях, и до шестнадцати — на x86.
Failoverclustering — это кластеризации с переходом по отказу, хотя довольно часто термин переводят как «отказоустойчивые кластеры».
Узлы кластера объединены программно и физически с помощью LAN- или WAN-сети, для multi-site кластера в Windows Server 2008 убрано требование к общей задержке 500 мс, и добавлена возможность гибко настраивать heartbeat. В случае сбоя или планового отключения сервера кластеризованные ресурсы переносятся на другой узел. В Enterprise edition в кластер можно объединять до шестнадцати узлов, при этом пятнадцать из них будут простаивать до тех пор, пока не произойдет сбой. Приложения без поддержки кластеров (cluster-unaware) не взаимодействуют со службами кластера и могут быть переключены на другой узел только в случае аппаратного сбоя.
Приложения с поддержкой кластеров (cluster-aware), разработанные с использованием ClusterAPI, могут быть защищены от программных и аппаратных сбоев.
Развертывание failover-кластера
Процедуру установки кластера можно разделить на четыре этапа. На первом этапе необходимо сконфигурировать аппаратную часть, которая должна соответствовать The Microsoft Support Policy for Windows Server 2008 Failover Clusters. Все узлы кластера должны состоять из одинаковых или сходных компонентов. Все узлы кластера должны иметь доступ к хранилищу, созданному с использованием FibreChannel, iSCSI или Serial Attached SCSI. От хранилищ, работающих с Windows Server 2008, требуется поддержка persistent reservations.
На втором этапе на каждый узел требуется добавить компонент Failover Clustering — например, через Server Manager. Эту задачу можно выполнять с использованием учетной записи, обладающей административными правами на каждом узле. Серверы должны принадлежать к одному домену. Желательно, чтобы все узлы кластера были с одинаковой ролью, причем лучше использовать роль member server, так как роль domain controller чревата возможными проблемами с DNS и Exchange.
Третий не обязательный, но желательный этап заключается в проверке конфигурации. Проверка запускается через оснастку Failover Cluster Management. Если для проверки конфигурации указан только один узел, то часть проверок будет пропущена.
На четвертом этапе создается кластер. Для этого из Failover Cluster Management запускается мастер Create Cluster, в котором указываются серверы, включаемые в кластер, имя кластера и дополнительные настройки IP-адреса. Если серверы подключены к сетям, которые не будут использоваться для общения в рамках кластера (например, подключение только для обмена данными с хранилищем), то в свойствах этой сети в Failover Cluster Management необходимо установить параметр «Do not allow the cluster to use this network».
После этого можно приступить к настройке приложения, которое требуется сконфигурировать для обеспечения его высокой доступности.
Для этого необходимо запустить High Availability Wizard, который можно найти в Services and Applications оснастки Failover Cluster Management.
Cluster Shared Volumes
В случае failover-кластера доступ к LUN, хранящему данные, может осуществлять только активный узел, который владеет этим ресурсом. При переключении на другой узел происходит размонтирование LUN и монтирование его для другого узла. В большинстве случаев эта задержка не является критичной, но при виртуализации может требоваться вообще нулевая задержка на переключение виртуальных машин с одного узла на другой.
Еще одна проблема, возникающая из-за того, что LUN является минимальной единицей обхода отказа, заключается в том, что при сбое одного приложения, находящегося на LUN, приходится переключать все приложения, которые хранятся на этом LUN, на другой сервер. Во всех приложениях (включая Hyper-V до второго релиза Server 2008) это удавалось обходить за счет многочисленных LUN, на каждом из которых хранились данные только одного приложения. В Server 2008 R2 появилось решение для этих проблем, но предназначенное для работы только с Hyper-V и CSV (Cluster Shared Volumes).
CSV позволяет размещать на общем хранилище виртуальные машины, запускаемые на разных узлах кластера — тем самым разбивается зависимость между ресурсами приложения (в данном случае виртуальными машинами) и дисковыми ресурсами. В качестве файловой системы CSV использует обычную NTFS. Для включения CSV необходимо в Failover Cluster Manage выполнить команду Enable Cluster Shared Volumes. Отключить поддержку CSV можно только через консоль:
Для использования этой команды должен быть загружен Failover Clusters, модуль PowerShell. Использование CSV совместно с live migration позволяет перемещать виртуальные машины между физическими серверами в считанные миллисекунды, без обрыва сетевых соединений и совершенно прозрачно для пользователей. Стоит отметить, что копировать любые данные (например, готовые виртуальные машины) на общие диски, использующие CSV, следует через узел-координатор.
Несмотря на то, что общий диск доступен со всех узлов кластера, перед записью данных на диск узлы запрашивают разрешение у узлакоординатора. При этом, если запись требует изменений на уровне файловой системы (например, смена атрибутов файла или увеличение его размера), то записью занимается сам узел-координатор.
Oracle RAC
Oracle Real Application Clusters (RAC) — это дополнительная опция Oracle Database, которая впервые появилась в Oracle Database 9i под названием OPS (Oracle Parallel Server). Опция предоставляет возможность нескольким экземплярам совместно обращаться к одной базе данных. Базой данных в Oracle Database называет ся совокупность файлов данных, журнальных файлов, файлов параметров и некоторых других типов файлов. Для того, чтобы пользовательские процессы могли получить доступ к этим данным, должен быть запущен экземпляр. Экземпляр (instance) в свою очередь состоит из структур памяти (SGA) и фоновых процессов. В отсутствии RAC получить доступ к базе данных может строго один экземпляр.
Опция RAC не поставляется с Enterprise Edition и приобретается отдельно. Стоит отметить, что при этом RAC идет в составе Standard Edition, но данная редакция обладает большим количеством ограничений по сравнению с Enterprise Edition, что ставит под сомнение целесообразность ее использования.
Oracle Grid Infrastructure
Для работы Oracle RAC требуется Oracle Clusterware (или стороннее ПО) для объединения серверов в кластер. Для более гибкого управления ресурсами узлы такого кластера могут быть организованы в пулы (с версии 11g R2 поддерживается два варианта управления — на основании политик для пулов или, в случае их отсутствия, администратором).
Во втором релизе 11g Oracle Clusterware был объединен с ASM под общим названием Oracle Grid Infrastructure, хотя оба компонента и продолжают устанавливаться по различным путям.
Automatic Storage Management (ASM) — менеджер томов и файловая система, которые могут работать как в кластере, так и с singleinstance базой данных. ASM разбивает файлы на ASM Allocation Unit.
Размер Allocation Unit определяется параметром AU_SIZE, который задается на уровне дисковой группы и составляет 1, 2, 4, 8, 16, 32 или 64 MB. Далее Allocation Units распределяются по ASM-дискам для балансировки нагрузки или зеркалирования. Избыточность может быть реализована, как средствами ASM, так и аппаратно.
ASM-диски могут быть объединены в Failure Group (то есть группу дисков, которые могут выйти из строя одновременно — например, диски, подсоединенные к одному контролеру), при этом зеркалирование осуществляется на диски, принадлежащие разным Failure Group. При добавлении или удалении дисков ASM автоматически осуществляет разбалансировку, скорость которой задается администратором.
На ASM могут помещаться только файлы, относящиеся к базе данных Oracle, такие как управляющие и журнальные файлы, файлы данных или резервные копии RMAN. Экземпляр базы данных не может взаимодействовать напрямую с файлами, которые размещены на ASM. Для обеспечения доступа к данным дисковая группа должна быть предварительно смонтирована локальным ASM-экземпляром.
Oracle рекомендует использовать ASM в качестве решения для управления хранением данных вместо традиционных менеджеров томов, файловых систем или RAW-устройств.
Развертывание Oracle RAC
Рассмотрим этапы установки различных компонентов, необходимых для функционирования Oracle RAC в режиме active/active кластера с двумя узлами. В качестве дистрибутива будем рассматривать последнюю на момент написания статьи версию Oracle Database 11g Release 2. В качестве операционной системы возьмем Oracle Enterprise Linux 5. Oracle Enterprise Linux — операционная система, базирующаяся на RedHat Enterprise Linux. Ее основные отличия — цена лицензии, техническая поддержка от Oracle и дополнительные пакеты, которые могут использоваться приложениями Oracle.
Подготовка ОС к установке Oracle стандартна и заключается в создании пользователей и групп, задании переменных окружения и параметров ядра. Параметры для конкретной версии ОС и БД можно найти в Installation Guide, который поставляется вместе с дистрибутивом.
На узлах должен быть настроен доступ к внешним общим дискам, на которых будут храниться файлы базы данных и файлы Oracle Clusterware. К последним относятся votingdisk (файл, определяющий участников кластера) и Oracle Cluster Registry (содержит конфигурационную информацию — например, какие экземпляры и сервисы запущены на конкретном узле). Рекомендуется создавать нечетное количество votingdisk. Для создания и настройки ASMдисков желательно использовать ASMLib, которую надо установить на всех узлах:
# rpm -Uvh oracleasm-support-2.1.3-1.el4.x86_64.rpm
Кроме интерфейса для взаимодействия с хранилищем на узлах желательно настроить три сети — Interconnect, External и Backup.
Необходимо настроить IP-адресацию (вручную или с использованием Oracl e GNS) и DNS для разрешения всех имен (или только GNS).
Вначале осуществляется установка Grid Infrastructure. Для этого загружаем и распаковываем дистрибутив, затем запускаем установщик. В процессе установки необходимо указать имя кластера; указать узлы, которые будут входить в кластер; указать назначение сетевых интерфейсов; настроить хранилище.
В конце нужно выполнить с правами root скрипты orainstRoot.sh и root.sh. Первым на всех узлах выполняется скрипт orainstRoot.sh, причем запуск на следующем узле осуществляется только после завершения работы скрипта на предыдущем. После выполнения orainstRoot.sh последовательно на каждом узле выполняется root.sh. Проверить успешность установки можно с помощью команды:
/u01/grid/bin/crsctl check cluster –all
Выполнив проверку, можно приступать к установке базы данных. Для этого запускаем Oracle Universal installer, который используется и для обычной установки базы.
Кроме active/active-кластера в версии 11g R2 существуют две возможности для создания active/passive-кластера. Одна из них — Oracle RACOneNode. Другой вариант не требует лицензии для RAC и реализуется средствами Oracle Clusterware. В этом случае вначале создается общее хранилище; затем устанавливается Grid Infrastructure, с использованием ASM_CRS и SCAN; а после этого на узлы устанавливается база данных в варианте Standalone. Далее создаются ресурсы и скрипты, которые позволяют запускать экземпляр на другом узле в случае недоступности первого.
Заключение
Oracle RAC совместно с Oracle Grid Infrastructure позволяют реализовать разнообразные сценарии построения кластеров. Гибкость настройки и широта возможностей компенсируются ценой такого решения.
Решения же Microsoft ограничены не только возможностями самой кластеризации, но и продуктами, которые могут работать в такой среде. Хотя стоит отметить, что набор таких продуктов все равно шире, чем одна база данных.
