Exadata

Exadata — линейка машин баз данных (англ. database machine) производства корпорации Oracle, функционирующих под управлением системы управления базами данных Oracle Database. Машины являются кластером серверов архитектуры x86-64 (с 2008 года до середины 2009 года использовалось оборудование Hewlett-Packard, позднее — аппаратное обеспечение поглощённой Sun Microsystems^[1]), объединяемых средствами технологии Oracle RAC с применением ряда особых программных решений, не поставляемых отдельно без комплексов. Машины поставляются в виде предварительно собранных телекоммуникационных шкафов размером 42 юнита, наполненных серверами, узлами системы хранения данных, коммутаторами InfiniBand и Ethernet.

Exadata под наименованием Oracle Database Machine представлена на ежегодной конференции Oracle Open World в Сан-Франциско в сентябре 2008 года, появление в линейке продуктов такого комплекса было оценено наблюдателями как претензия на рынок аппаратного обеспечения^[2][3]. Комплекс был основан на серверах архитектуры x86-64 корпорации Hewlett-Packard, иногда упоминался как HP/Oracle Database Machine.

Наименование торговой марки (с использованием экса- — кратной приставки, множителя 10¹⁸) использовано в пику наименованию компании-поставщика аппаратно-программных комплексов — кластеров баз данных Teradata (тера- — 10¹²)^[2]. Однако, в отличие от конкурирующих аппаратно-программных комплексов Teradata и Netezza^[3], Oracle позиционирует Exadata не только как продукт для организации хранилищ данных для аналитической обработки, но и как решение консолидации баз данных, в том числе для оперативной обработки транзакций. Изначально, слово Exadata фигурировало только для наименования системы хранения данных комплекса — Exadata Storage Server. В дальнейшем первую версию всего комплекса стали идентифицировать как Exadata I, или Exadata V1.

После объявления о поглощении корпорацией Oracle в 2009 году крупного поставщика аппаратного обеспечения Sun Microsystems, комплексы были перепроектированы на основе оборудования Sun. Выпущенные на основе нового оборудования — Exadata V2, X2-2, X2-8, X3-2, X3-8, X4-2 — иногда фигурируют под наименованием Exadata II.

На конец 2010 года на комплексы поступило заказов на сумму $2 млрд^[4]. Exadata положила начало большой линейке аппаратно-программных комплексов Oracle (называемых производителем англ. engineered systems): по схожим принципам начиная с 2010 года последовательно спроектированы и выпущены предконфигурированный кластер серверов приложений Exalogic, аналитический комплекс Exalytics, малый комплекс для СУБД Database Appliance, RISC-комплекс SuperCluster, Hadoop-кластер Big Data Appliance, конвергентная инфраструктурная платформа Virtual Compute Appliance, комплекс резервирования СУБД Zero Data Loss Recovery Appliance.

С 2015 года заказчикам представлена возможность докупать отдельные узлы в комплексы, до этого Exadata поставлялась только в строго ограниченном наборе конфигураций.

Комплекс поставлялся в комплекте из 8 серверов Hewlett-Packard ProLiant DL360 G5, 14 узлов системы хранения данных на основе серверов на базе ProLiant DL180 G5, 4 коммутаторов InfiniBand и коммутаторов Ethernet. Альтернативно поставлялась конфигурация в ½ шкафа, из 4 серверных узлов и 7 узлов хранения. В каждый сервер устанавливалось два четырёхъядерных процессора Intel Xeon E5430 частотой 2,66 ГГц и 32 Гбайт оперативной памяти. В каждом узле хранения данных под управлением двух четырёхъядерных Intel Xeon E5430 и 8 Гбайт оперативной памяти устанавливалось 12 дисков SAS объёмом по 450 Гбайт каждый или 12 дисков SATA объёмом каждый 1 Тбайт, таким образом, максимальный физический объём системы хранения составлял 168 Тбайт. Комплекс позиционировался как предконфигурированное решение для организации хранилищ данных.

Комплекс работал под управлением Oracle Enterprise Linux 5.1 и Oracle Database 11.2. С 2009 года Exadata I не выпускается, осуществляется только техническая поддержка поставленных заказчикам комплексов.

Комплекс V2 целиком спроектирован на оборудовании Sun, в этом комплексе впервые реализована функция smart flash cache — кэширование наиболее частых результатов выборок стороне узлов хранения данных на твердотельных накопителях; в отличие от первой версии комплекса, V2 позиционировалось как универсальное решение, предлагаемое как для реализации хранилищ данных, так и для систем оперативной обработки транзакций и консолидации баз данных^[5][6]. Как и в первой версии, использовалось 8 серверов и 14 узлов хранения в конфигурации для полного шкафа, 4 сервера и 7 узлов хранения для половинной конфигурации, а также появилась конфигурация в ¼ шкафа, из 2-х серверных узлов и 3-х узлов хранения.

Комплексы X2-2 комплектовались серверами Sun x4170 M2 с двумя шестиядерными процессорами Intel Xeon X5670 на частоте 2,93 ГГц и 96 Гбайт оперативной памяти в каждом.

Шкафы поставлялись в трёх наполнениях с различной стоимостью (по прейскуранту^[7] для покупателей из США):

• ¼ шкафа (англ. quater rack), 2 сервера, 3 узла хранения Exadata Storage Server — $300 тыс. ;
• ½ шкафа (англ. half-rack), 4 сервера, 7 узлов хранения — $550 тыс.;
• полный шкаф (англ. full rack), 8 серверов, 14 узлов хранения — $1 млн.

В состав версии комплекса X2-8 входили два сервера Sun x4800 с восемью процессорными гнёздами типа Socket LS и четырнадцать узлов хранения Exadata Storage Server^[8]. В серверы комплекса устанавливались восьмиядерные процессоры Intel Xeon X7560 частотой 2,26 ГГц и по 1 Тбайт оперативной памяти в каждый из двух узлов. Поставлялась только одна комплектация (полный шкаф) со стоимостью $1,5 млн для потребителей из США^[7]. Вес шкафа — 943 кг, пиковое энергопотребление — 17 КВт, заявляемое производителем среднее энергопотребление — 11,9 КВт.

В 2012 году линейка X2 обновлена, прежде всего, за счёт усиления процессорных мощностей и расширения ёмкости оперативной памяти серверов и флеш-памяти узлов сети хранения. Основное программное отличие поколения X3 — поддержка возможности кэширования во флеш-памяти узлов сети хранения не только для операций чтения, но и для записи, и представление об иерархическом подходе к системе хранения: наиболее часто используемые данные обрабатываются целиком в оперативной памяти серверов, актуальные данные — во флеш-памяти узлов сети хранения, редко используемые — на дисковых накопителях узлов сети хранения^[9].

Серверы комплексов X3-2, наследующих серию X2-2, комплектуются двумя восьмиядерными процессорами Xeon E5-2690, работающими на частоте 2,9 ГГц и 128 Гбайт оперативной памяти. Кроме полной, половинной и четвертной конфигурации поставляется также и ⅛ шкафа, притом по оборудованию она совпадает с конфигурацией ¼ шкафа (2 сервера и 3 узла хранения), только половина ядер и половина ресурсов оперативной памяти серверов и половина дисков и флеш-памяти сети хранения в ней программно блокируется. Цены на комплексы: ⅛ шкафа — $200 тыс., ¼ шкафа — $330 тыс., ½ шкафа — $625 тыс., полный шкаф — $1,1 млн^[10].

В серверы комплексов X3-8, наследующих машины линейки X2-8, устанавливаются десятиядерные процессоры Xeon E7-8870 (2,4 ГГц) и 2 Тбайт оперативной памяти. Цена за комплекс установлена на уровне $1,65 млн^[10].

С декабря 2013 года поставляются комплексы X4-2, продолжающие линейки машин с двухпроцессорными серверными узлами X2-2 и X3-2^[11]. В серверах этих комплексов устанавливались двенадцатиядерные процессоры Xeon E5-2697, работающие на частое 2,7 ГГц, а размер оперативной памяти увеличен до 256 Гбайт. Цены на комплекс сохранены на том же уровне, что и для X3-2^[12]. Основные отличия данных комплексов от X3-2 — удвоение ёмкости всех (твердотельных и дисковых) накопителей на узлах хранения.

Летом 2014 года выпущена очередная версия комплекса с двумя восьмипроцессорными узлами — X4-8, использующая пятнадцатиядерные процессоры Xeon E7-8895 с частотой 2,8 ГГц, разрабатывавшиеся во взаимодействии с Oracle с учётом особенностей нагрузок для Oracle Database^[13].

Машина X5-2 вышла в январе 2015 года, в ней впервые появилась конфигурация с узлами хранения целиком на твердотельных накопителях, а также появилась возможность устанавливать любое дополнительное количество серверов и узлов сети хранения к предопределённым конфигурациям в ⅛, ¼, ½ шкафа^[14]. Серверные узлы комплектуются двумя шестнадцатиядерными процессорами Xeon E5-2699 частотой 2,3 ГГц, также появилась возможность увеличивать оперативную память (от 256 Гбайт на сервер в стандартной комплектации до 768 Гбайт). Цены на комплекс в сравнении с предыдущей версией изменены незначительно, добавлена конфигурация, идентифицируемая как ⅛ шкафа по цене $220 тыс., совпадающая по числу узлов с ¼, но в которой деактивирована половина процессорных мощностей и вдвое уменьшена ёмкость узлов хранения; цена на дополнительный сервер с дооснащением необходимой Infinband-инфраструктурой установлена в $40 тыс.^[15] Вес полного шкафа X5-2 — 864 кг, пиковое энергопотребление — 14,2 КВт, заявляемое среднее энергопотребление — 10 КВт.

Каждый полный комплекс Exadata X2, X3, X4 и X5 комплектуется 14 двухъюнитовыми узлами сети хранения данных под названием Exadata Storage Server. В моделях для машин серии X3 на каждом узле Storage Server устанавливалось два шестиядерных процессора Intel Xeon L5640, 24 Гбайт оперативной памяти, 4 устанавливаемых в PCI-слот твердотельных накопителя ёмкостью 400 Гбайт (называемых производителем Exadata Smart Flash Cache, в серии X2 ставился один накопитель), 12 корзин для жёстких дисков SAS, соединённых с дисковым контроллером с кэшем 512 Мбайт и двойным портом InfiniBand. В моделях для машин серии X4 ёмкость всех накопителей удвоена. До линейки X4 включительно выпускались варианты конфигурации с дисковыми накопителями ёмкостью по 600 Гбайт со скоростью вращения 15 тыс. об/мин (конфигурация HP, англ. high performance) и с дисковыми накопителями ёмкостью 2 Тбайт со скоростью вращения 7,2 тыс. об/мин. (конфигурация HC, англ. high capacity). стоимость обоих конфигураций одинаковая^[10]. В линейке X5 вместо конфигурации HC поставляется конфигурация EF (extreme flash), в которой вместо дисков устанавливается по восемь подключаемых по NVMe твердотельных накопителя ёмкостью по 1,6 Тбайт, а в конфигурации HP ёмкость дисковых накопителей удвоена до 4 Тбайт и ёмкость Smart Flash Cache доведена до 6,4 Тбайт на узел.

Под наименованием Storage Expantion Rack отдельно поставляются сконфигурированные шкафы, наполненные только узлами Exadata Storage Server (плюс необходимым сетевым оборудованием) как расширения системы хранения данных для ранее закупленных комплексов. Полный шкаф содержит 18 узлов, половинный — 9, четвертной — 4; начиная с поколения X5 к предконфигурированным комплектациям возможно приобретение отдельных узлов хранения по цене $48 тыс.^[15]

Основой всех комплексов линейки Exadata является Oracle Database с опцией Real Application Cluster, позволяющей нескольким физическим серверам работать с единым хранилищем как единая база данных без программных модификаций прикладного программного обеспечения. Специально для Exadata разработана такая возможность Oracle Database как «гибридное столбцовое сжатие» (англ. hybrid columnar compression), основанная на принципах столбцового хранения (с конца 2011 года эта возможность доступна также на системах хранения Pillar Axiom и сетевых хранилищах ZFS Storage Appliance). До 2014 года устанавливалась версия Oracle Database 11g, после — поддерживается СУБД версии как 11g, так и 12c.

Серверные узлы работают под управлением 64-битной редакции Oracle Linux, а с августа 2011 года на серверы комплексов X2-2 и X2-8 может быть как альтернатива Linux установлена операционная система Solaris Express версии 11^[16].

На каждый узел сети хранения предустанавливается специализированное программное обеспечение — Storage Software, лицензируемое по цене $10 тыс. за дисковый накопитель для конфигураций HC и HP, а для конфигураций EF — $20 тыс. за каждый твердотельный накопитель^[15].

Oracle, пропагандируя Exadata, приводила пример заказчика, мигрировавшего с аппаратно-программного комплекса Teradata и кратно увеличившего производительность решения. Этот пример был подвергнут критике, так как у заказчика заменялся заведомо устаревший комплекс и основной прирост в производительности обеспечило более современное аппаратное обеспечение, лежащее в основе Exadata, и сравнение с линейкой Teradata в этом смысле некорректно^[17].

Конкуренты также отмечают, что будучи ориентированными как на OLTP, так и OLAP-обработку одновременно, комплексы менее эффективны для аналитической обработки, на которой сконцентрированы аналогичные решения Teradata и Netezza, в частности, отмечается неоптимальность использования подхода с симметричным доступом со всех серверов ко всем узлам хранения (симметричного параллелизма) в противовес полному разделению данных между узлами в конкурирующих аналитических комплексах с массово-параллельной обработкой^[8].

• Greenwald, Rick; Stackowiak, Robert; Alam, Maqsood; Bhuller, Mans. Achieving Extreme Performance with Oracle Exadata. — New York: McGraw-Hill, 2011. — 432 p. — (Oracle press). — ISBN 9780071752596.
• Osborne, Kerry; Johnsn, Randy and Põder Tanel. Expert Oracle Exadata. — New York: Apress, 2011. — 500 p. — ISBN 9781430233923.

• oracle.com/exadata/ — официальный сайт аппаратно-программного комплекса Exadata