Научный журнал

Современные наукоемкие технологии

ISSN 1812-7320

"Перечень" ВАК

ИФ РИНЦ = 0,940

• Авторы
• Резюме
• Файлы
• Ключевые слова
• Литература

Свиридов А.Н. 1 Демкин В.И. 1

---

1 ФГАОУ ВО «Национальный исследовательский университет «МИЭТ»

В статье рассматриваются основные методы повышения энергоэффективности центров обработки данных. Ключевым показателем эффективности центров обработки данных является коэффициент энергоэффективности – PUE (Power Utilization Efficiency). В статье приведен анализ методов повышения энергоэффективности путем оптимизации распределения вычислительной нагрузки между серверами и путем оптимизации работы систем охлаждения. Для принятия решений по оптимизации используются данные телеметрии с интерфейсов IPMI (Intelligent Platform Management Interface) серверов на базе архитектуры x86. Используются данные с датчиков температуры, датчиков мощности и данные об утилизации вычислительных ресурсов серверов. Эффективность методов оптимизации оценивается по результатам моделирования в системе автоматизированного проектирования Autodesk CFD с использованием вычислительной гидродинамики. На первом этапе выполняется консолидация нагрузки на серверы и перевод наименее нагруженных серверов в режим энергосбережения. На втором этапе выполняется балансировка нагрузки между активными серверами. На третьем этапе выполняется оптимизация систем охлаждения путем применения кондиционеров с частотно-регулируемым приводом. На каждом из этапов выполняется моделирование для оценки эффективности оптимизации. Эффективность методов оптимизации оценивается по рассчитанному энергопотреблению ИТ-оборудования, энергопотреблению систем охлаждения и общему энергопотреблению.

Статья в формате PDF

552 KB

коэффициент энергоэффективности

вычислительная гидродинамика

центр обработки данных

консолидация нагрузки

балансировка нагрузки

1. Указ Президента Российской Федерации от 7 мая 2018 г. № 204 «О национальных целях и стратегических задачах развития Российской Федерации на период до 2024 года». [Электронный ресурс]. URL: http://static.kremlin.ru/media/acts/files/0001201805070038.pdf (дата обращения: 24.01.2022).

2. ГОСТ Р ИСО/МЭК 30134-2-2018. Информационные технологии. Центры обработки данных. Ключевые показатели эффективности. Часть 2. Коэффициент энергоэффективности (PUE). М.: Стандартинформ, 2018. 24 с.

3. Методические рекомендации по проектированию центров обработки данных. Минстрой России, 2019. 47 с.

4. Ahuja N. Real Time Monitoring and Availability of Server Airflow for Efficient Data Center Cooling. IEEE Semi-Therm Symposium. 2013. Vol. 29. No. 1. P. 243-247. DOI: 10.1109/SEMI-THERM.2013.6526836.

5. Nathan S., Kulkarni P., and Bellur U. Resource Availability Based Performance Benchmarking of Virtual Machine Migrations. In Proc. of the ACM/SPEC International Conference on Performance Engineering (ICPE). 2013. Vol. 4. No. 1. P. 387-398. DOI: 10.1145/2479871.2479932.

Центры обработки данных стали ключевыми компонентами современной ИТ-инфраструктуры. Росту российского рынка ЦОД способствует национальная программа «Цифровая экономика Российской Федерации» [1].

Требования к потреблению энергии и охлаждению в центрах обработки данных являются критическими проблемами как с точки зрения растущих эксплуатационных расходов, так и с точки зрения их воздействия на окружающую среду.

Одним из основных параметров центров обработки данных является энергоэффективность. Энергоэффективность ЦОД определяется отношением общей мощности, потребляемой ЦОД, к мощности, потребляемой ИТ-оборудованием. Основным фактором, влияющим на энергоэффективность ЦОД, является эффективность систем охлаждения [2].

При определении требований к центрам обработки данных необходимо учитывать тенденции развития информационных систем и телекоммуникаций. Для решения задачи управлениями ресурсами требуются динамические методы. Технологии, используемые в современных серверных платформах на базе архитектуры x86, позволяют в режиме реального времени контролировать энергопотребление, выделяемое тепло от оборудования и утилизацию вычислительных ресурсов. Эти данные доступны в интерфейсе IPMI (Intelligent Platform Management Interface). На основе этих данных возможно принятие взвешенных решений по оптимизации вычислительной нагрузки на оборудование.

Основными методами повышения энергоэффективности ЦОД являются:

- консолидация вычислительной нагрузки;

- балансировка вычислительной нагрузки;

- использование кондиционеров с частотно-регулируемым приводом.

Консолидация нагрузки заключается в том, чтобы сконцентрировать вычислительную нагрузку на наиболее производительных серверах, а менее производительные серверы перевести в режим ожидания. Снижение потребления мощности основано на переводе менее загруженных и менее производительных серверов в состояние пониженного энергопотребления.

Балансировка рабочей нагрузки – это метод, направленный на создание единого профиля по стойкам и рядам (Uniform Outlet Profile, UOP), чтобы уменьшить количество горячих и холодных точек в ЦОД. Наличие горячих и холодных точек в ЦОД нарушает распространение охлажденного воздуха от кондиционеров и значительно снижает эффективность систем охлаждения.

Применение кондиционеров с частотно-регулируемым приводом (Variable Frequency Drive, VFD) – это метод, подразумевающий модификацию систем охлаждения. Управление кондиционерами с частотно-регулируемым приводом позволяет снижать мощность систем охлаждения в наименее нагруженных частях центров обработки данных.

Цель исследования заключается в оценке эффективности применении методов повышения энергоэффективности ЦОД на основе данных телеметрии, полученной с интерфейса IPMI.

Материал и методы исследования

Оценка эффективности применении методов повышения энергоэффективности ЦОД состояла из нескольких этапов:

- настройка тестового стенда и подключение к платформе Intel DCM Energy Director;

- проведение нагрузочного тестирования на стенде и фиксация данных об энергопотреблении и тепловыделении посредством платформы Intel DCM Energy Director;

- моделирование полученных данных ЦОД в САПР Autodesk CFD.

Тестовый стенд состоит из двух серверных стоек 42U. В стойках размещены коммутаторы Arista DCS-7050T, серверы Dell PowerEdge R540 и серверы Dell PowerEdge R240 на базе Intel Xeon E-2200. Схема расположения оборудования в стойках представлена на рисунке 1.

Был проведен анализ имитационной модели со случайным распределением вычислительной нагрузки без применения каких-либо методов повышения энергоэффективности ЦОД. После чего проводился анализ с последовательным применением каждого из методов:

- консолидации нагрузки;

- балансировки вычислительной нагрузки;

- использования кондиционеров с частотно-регулируемым приводом.

В таблице 1 отображен результат применения метода консолидированного распределения вычислительной нагрузки. Указана средняя мощность (указано за год). Температура усредняется по 14 блокам CRAC.

Данные, собранные в ходе нагрузочного тестирования, были использованы для создания имитационной модели машинного зала, состоящего из:

- 300 серверных стоек 42U;

- 15 блоков распределения питания (Power Distribution Unit, PDU PDU).

- 14 блоков кондиционирования воздуха в серверных помещениях (Computer Room Air Conditioner, CRAC).

Схема машинного зала представлена на рисунке 2. Имитационная модель построена на архитектуре центра обработки данных с чередующимися горячими и холодными коридорами [3].

Полученные данные использовались для оптимизации распределения вычислительной нагрузки на основе телеметрии вычислительной платформы. Затем полученные данные были применены к имитационной модели, которая состоит из методов вычислительной гидродинамики (Computational Fluid Dynamics, CFD) для оценки влияния оптимизации распределения вычислительной нагрузки на энергопотребление и тепловыделение центра обработки данных в среде Autodesk CFD.

Метод консолидации вычислительной нагрузки значительно повлиял на общее потребление мощности и количество серверов. Благодаря консолидации нагрузки удалось освободить примерно 24 серверные стойки.

После этого к модели, оптимизированной при помощи метода консолидации нагрузки, был применен метод балансировки вычислительной нагрузки (UOP), чтобы уменьшить количество горячих и холодных точек в машинном зале.

Рис. 1. Схема тестового стенда, используемого для сбора данных

Рис. 2. Схема машинного зала, используемого для исследования

Таблица 1

Сравнение результатов моделирования при случайном распределении нагрузки и при консолидированном распределении нагрузки

Таблица 2

Сравнение результатов моделирования при консолидированном распределении нагрузки и при балансировке нагрузки после консолидации

Таблица 3

Сравнение результатов моделирования при балансировке нагрузки после консолидации и при использовании кондиционеров с VFD

В таблице 2 отображен результат применения метода балансировки вычислительной нагрузки после применения метода консолидированного распределения вычислительной нагрузки.

Таблица 2 не показывает существенного изменения энергопотребления. Однако достигнуто повышение производительности вычислительного оборудования по показателю IOPS.

Основным преимуществом балансировки вычислительной нагрузки является устранение горячих и холодных точек в машинном зале. Равномерность тепловыделения в машинном зале позволяет использовать кондиционеры с частотно-регулируемым приводом [4].

В таблице 3 отображен результат применения в блоках CRAC кондиционеров с частотно-регулируемым приводом.

Таблица 4

Результаты оптимизации

Рис. 3. Энергопотребление неоптимизированного и оптимизированного ЦОД

Таблица 3 демонстрирует существенное изменение использования ресурсов ЦОД в первую очередь за счет снижения энергопотребления системы охлаждения. Это изменение связано с применением метода UOP и кондиционеров с VFD.

Результаты исследования и их обсуждение

Оптимизация центров обработки данных – это поиск нерационально использующихся ресурсов. Основные результаты, достигнутые путем поэтапного применения трех методов оптимизации:

- уменьшилось количество активных серверов;

- увеличилась производительность активных серверов;

- уменьшилось энергопотребление системы охлаждения.

Достигнутые результаты представлены в таблице 4.

На рисунке 3 представлено энергопотребление в центре обработки данных до применения методов оптимизации и после трех этапов оптимизации. Разница энергопотребления составила 22%.

Основным показателем энергоэффективности центра обработки данных является PUE [2]:

PUE = EDC / EIT.

В результате применения методов оптимизации PUE моделируемого центра обработки данных улучшился с 1,93 до 1,71 [2].

Необходимо учитывать ряд ограничений при использовании представленного анализа методов повышения энергоэффективности на примере имитационной модели:

- имитационная модель построена на архитектуре центра обработки данных с чередующимися горячими и холодными коридорами [3];

- практические результаты будут зависеть от ряда условий, в первую очередь от архитектуры ЦОД и моделей вычислительного оборудования;

- для использования данных телеметрии с вычислительного оборудования необходим интерфейс IPMI (он есть на большинстве современных серверных платформ);

- использование кондиционеров с частотно-регулируемым приводом подразумевает аппаратную модификацию блоков CRAC;

- методы консолидации вычислительной нагрузки и балансировка вычислительной нагрузки в среде виртуализации подразумевают под собой миграцию виртуальных машин, которая может вызвать деградацию производительности [5].

Заключение

Результаты оценки эффективности методов оптимизации, полученные в итоге имитационного моделирования, могут применяться в центрах обработки данных. Использование телеметрии, полученной через интерфейсы IPMI, позволяют эффективно управлять нагрузкой на вычислительное оборудование и системами охлаждения. Важно отметить, что практические результаты будут зависеть от ряда условий. В первую очередь от архитектуры ЦОД и моделей вычислительного оборудования ЦОД.

Библиографическая ссылка