Центры обработки данных стали ключевыми компонентами современной ИТ-инфраструктуры. Росту российского рынка ЦОД способствует национальная программа «Цифровая экономика Российской Федерации» [1].
Требования к потреблению энергии и охлаждению в центрах обработки данных являются критическими проблемами как с точки зрения растущих эксплуатационных расходов, так и с точки зрения их воздействия на окружающую среду.
Одним из основных параметров центров обработки данных является энергоэффективность. Энергоэффективность ЦОД определяется отношением общей мощности, потребляемой ЦОД, к мощности, потребляемой ИТ-оборудованием. Основным фактором, влияющим на энергоэффективность ЦОД, является эффективность систем охлаждения [2].
При определении требований к центрам обработки данных необходимо учитывать тенденции развития информационных систем и телекоммуникаций. Для решения задачи управлениями ресурсами требуются динамические методы. Технологии, используемые в современных серверных платформах на базе архитектуры x86, позволяют в режиме реального времени контролировать энергопотребление, выделяемое тепло от оборудования и утилизацию вычислительных ресурсов. Эти данные доступны в интерфейсе IPMI (Intelligent Platform Management Interface). На основе этих данных возможно принятие взвешенных решений по оптимизации вычислительной нагрузки на оборудование.
Основными методами повышения энергоэффективности ЦОД являются:
- консолидация вычислительной нагрузки;
- балансировка вычислительной нагрузки;
- использование кондиционеров с частотно-регулируемым приводом.
Консолидация нагрузки заключается в том, чтобы сконцентрировать вычислительную нагрузку на наиболее производительных серверах, а менее производительные серверы перевести в режим ожидания. Снижение потребления мощности основано на переводе менее загруженных и менее производительных серверов в состояние пониженного энергопотребления.
Балансировка рабочей нагрузки – это метод, направленный на создание единого профиля по стойкам и рядам (Uniform Outlet Profile, UOP), чтобы уменьшить количество горячих и холодных точек в ЦОД. Наличие горячих и холодных точек в ЦОД нарушает распространение охлажденного воздуха от кондиционеров и значительно снижает эффективность систем охлаждения.
Применение кондиционеров с частотно-регулируемым приводом (Variable Frequency Drive, VFD) – это метод, подразумевающий модификацию систем охлаждения. Управление кондиционерами с частотно-регулируемым приводом позволяет снижать мощность систем охлаждения в наименее нагруженных частях центров обработки данных.
Цель исследования заключается в оценке эффективности применении методов повышения энергоэффективности ЦОД на основе данных телеметрии, полученной с интерфейса IPMI.
Материал и методы исследования
Оценка эффективности применении методов повышения энергоэффективности ЦОД состояла из нескольких этапов:
- настройка тестового стенда и подключение к платформе Intel DCM Energy Director;
- проведение нагрузочного тестирования на стенде и фиксация данных об энергопотреблении и тепловыделении посредством платформы Intel DCM Energy Director;
- моделирование полученных данных ЦОД в САПР Autodesk CFD.
Тестовый стенд состоит из двух серверных стоек 42U. В стойках размещены коммутаторы Arista DCS-7050T, серверы Dell PowerEdge R540 и серверы Dell PowerEdge R240 на базе Intel Xeon E-2200. Схема расположения оборудования в стойках представлена на рисунке 1.
Был проведен анализ имитационной модели со случайным распределением вычислительной нагрузки без применения каких-либо методов повышения энергоэффективности ЦОД. После чего проводился анализ с последовательным применением каждого из методов:
- консолидации нагрузки;
- балансировки вычислительной нагрузки;
- использования кондиционеров с частотно-регулируемым приводом.
В таблице 1 отображен результат применения метода консолидированного распределения вычислительной нагрузки. Указана средняя мощность (указано за год). Температура усредняется по 14 блокам CRAC.
Данные, собранные в ходе нагрузочного тестирования, были использованы для создания имитационной модели машинного зала, состоящего из:
- 300 серверных стоек 42U;
- 15 блоков распределения питания (Power Distribution Unit, PDU PDU).
- 14 блоков кондиционирования воздуха в серверных помещениях (Computer Room Air Conditioner, CRAC).
Схема машинного зала представлена на рисунке 2. Имитационная модель построена на архитектуре центра обработки данных с чередующимися горячими и холодными коридорами [3].
Полученные данные использовались для оптимизации распределения вычислительной нагрузки на основе телеметрии вычислительной платформы. Затем полученные данные были применены к имитационной модели, которая состоит из методов вычислительной гидродинамики (Computational Fluid Dynamics, CFD) для оценки влияния оптимизации распределения вычислительной нагрузки на энергопотребление и тепловыделение центра обработки данных в среде Autodesk CFD.
Метод консолидации вычислительной нагрузки значительно повлиял на общее потребление мощности и количество серверов. Благодаря консолидации нагрузки удалось освободить примерно 24 серверные стойки.
После этого к модели, оптимизированной при помощи метода консолидации нагрузки, был применен метод балансировки вычислительной нагрузки (UOP), чтобы уменьшить количество горячих и холодных точек в машинном зале.
Рис. 1. Схема тестового стенда, используемого для сбора данных
Рис. 2. Схема машинного зала, используемого для исследования
Таблица 1
Сравнение результатов моделирования при случайном распределении нагрузки и при консолидированном распределении нагрузки
Показатель |
Случайное распределение нагрузки |
Консолидированное распределение нагрузки |
Общая мощность (МВт·ч/год) |
10,643 |
10,340 |
Мощность системы охлаждения (МВт·ч/год) |
3,622 |
3,608 |
Мощность ИТ-оборудования (МВт·ч/год) |
5,517 |
5,253 |
Температура холодного коридора (°C) |
23 |
22 |
Поток охлаждающего воздуха (м3/час) |
240,167 |
240,154 |
Активные серверы (шт.) |
3,704 |
2,701 |
Среднее значение IOPS (106·с-1) |
2,824 |
2,744 |
Таблица 2
Сравнение результатов моделирования при консолидированном распределении нагрузки и при балансировке нагрузки после консолидации
Показатель |
Консолидированное распределение нагрузки |
Балансировка нагрузки после консолидации |
Общая мощность (МВт·ч/год) |
10,340 |
10,188 |
Мощность системы охлаждения (МВт·ч/год) |
3,608 |
3,601 |
Мощность ИТ-оборудования (МВт·ч/год) |
5,253 |
5,120 |
Температура холодного коридора (°C) |
22 |
23 |
Поток охлаждающего воздуха (м3/час) |
240,154 |
246,161 |
Активные серверы (шт.) |
2,701 |
2,701 |
Среднее значение IOPS (106·с-1) |
2,744 |
3,191 |
Таблица 3
Сравнение результатов моделирования при балансировке нагрузки после консолидации и при использовании кондиционеров с VFD
Показатель |
Балансировка нагрузки после консолидации |
Применение кондиционеров с VFD |
Общая мощность (МВт·ч/год) |
10,188 |
8,794 |
Мощность системы охлаждения (МВт·ч/год) |
3,601 |
2,810 |
Мощность ИТ-оборудования (МВт·ч/год) |
5,120 |
5,121 |
Температура холодного коридора (°C) |
23 |
25 |
Поток охлаждающего воздуха (м3/час) |
246,161 |
154,113 |
Активные серверы (шт.) |
2,701 |
2,701 |
Среднее значение IOPS (106·с-1) |
3,191 |
3,183 |
В таблице 2 отображен результат применения метода балансировки вычислительной нагрузки после применения метода консолидированного распределения вычислительной нагрузки.
Таблица 2 не показывает существенного изменения энергопотребления. Однако достигнуто повышение производительности вычислительного оборудования по показателю IOPS.
Основным преимуществом балансировки вычислительной нагрузки является устранение горячих и холодных точек в машинном зале. Равномерность тепловыделения в машинном зале позволяет использовать кондиционеры с частотно-регулируемым приводом [4].
В таблице 3 отображен результат применения в блоках CRAC кондиционеров с частотно-регулируемым приводом.
Таблица 4
Результаты оптимизации
Этапы |
Оптимизированный ресурс |
Результат оптимизации |
Этап 1. Консолидированное распределение нагрузки |
Пространство |
Освобождение 8% стоек |
Этап 2. Балансировка нагрузки |
Производительность серверов |
Увеличение производительности на 16% |
Этап 3. Применение кондиционеров с VFD |
Энергопотребление |
Уменьшение энергопотребления системой охлаждения на 22% |
Рис. 3. Энергопотребление неоптимизированного и оптимизированного ЦОД
Таблица 3 демонстрирует существенное изменение использования ресурсов ЦОД в первую очередь за счет снижения энергопотребления системы охлаждения. Это изменение связано с применением метода UOP и кондиционеров с VFD.
Результаты исследования и их обсуждение
Оптимизация центров обработки данных – это поиск нерационально использующихся ресурсов. Основные результаты, достигнутые путем поэтапного применения трех методов оптимизации:
- уменьшилось количество активных серверов;
- увеличилась производительность активных серверов;
- уменьшилось энергопотребление системы охлаждения.
Достигнутые результаты представлены в таблице 4.
На рисунке 3 представлено энергопотребление в центре обработки данных до применения методов оптимизации и после трех этапов оптимизации. Разница энергопотребления составила 22%.
Основным показателем энергоэффективности центра обработки данных является PUE [2]:
PUE = EDC / EIT.
В результате применения методов оптимизации PUE моделируемого центра обработки данных улучшился с 1,93 до 1,71 [2].
Необходимо учитывать ряд ограничений при использовании представленного анализа методов повышения энергоэффективности на примере имитационной модели:
- имитационная модель построена на архитектуре центра обработки данных с чередующимися горячими и холодными коридорами [3];
- практические результаты будут зависеть от ряда условий, в первую очередь от архитектуры ЦОД и моделей вычислительного оборудования;
- для использования данных телеметрии с вычислительного оборудования необходим интерфейс IPMI (он есть на большинстве современных серверных платформ);
- использование кондиционеров с частотно-регулируемым приводом подразумевает аппаратную модификацию блоков CRAC;
- методы консолидации вычислительной нагрузки и балансировка вычислительной нагрузки в среде виртуализации подразумевают под собой миграцию виртуальных машин, которая может вызвать деградацию производительности [5].
Заключение
Результаты оценки эффективности методов оптимизации, полученные в итоге имитационного моделирования, могут применяться в центрах обработки данных. Использование телеметрии, полученной через интерфейсы IPMI, позволяют эффективно управлять нагрузкой на вычислительное оборудование и системами охлаждения. Важно отметить, что практические результаты будут зависеть от ряда условий. В первую очередь от архитектуры ЦОД и моделей вычислительного оборудования ЦОД.
Библиографическая ссылка
Свиридов А.Н., Демкин В.И. АНАЛИЗ МЕТОДОВ ПОВЫШЕНИЯ ЭНЕРГОЭФФЕКТИВНОСТИ ЦЕНТРОВ ОБРАБОТКИ ДАННЫХ // Современные наукоемкие технологии. – 2022. – № 2. – С. 110-115;URL: https://top-technologies.ru/ru/article/view?id=39044 (дата обращения: 16.08.2024).