Введение

В регрессионном анализе одной из ключевых проблем является селекция предикторов, обусловленная необходимостью выделения действительно значимых факторов среди множества потенциальных регрессоров. Традиционные пошаговые алгоритмы не всегда гарантируют глобально оптимальный выбор подмножества переменных, особенно в условиях высокой размерности пространства признаков [1, с. 665–668; 2, с. 19–21]. В качестве эффективной альтернативы выступает аппарат математического программирования, в рамках которого задача отбора регрессоров формулируется как оптимизационная задача с ограничениями. При использовании метода наименьших квадратов (МНК) задача отбора информативных регрессоров в зарубежных литературных источниках (например, [3–5]) сводится в основном к задаче частично булевого квадратичного программирования. Автору удалось формализовать ее в виде задачи частично булевого линейного программирования (ЧБЛП) в работах [6–8]. Причем использование линейных ограничений предоставляет возможность непосредственного контроля над множеством статистических и структурных характеристик модели, включая уровень мультиколлинеарности предикторов [6], значимость отдельных коэффициентов по t-критерию Стьюдента [7], а также общую адекватность спецификации, оцениваемую посредством F-критерия Фишера [8]. Помимо перечисленных характеристик в регрессионных моделях одной из существенных проблем является наличие автокорреляции остатков [9–11], что приводит к снижению эффективности МНК-оценок параметров и несостоятельности статистических выводов по t- и F-тестам. Задача ЧБЛП была дополнена ограничениями для контроля автокорреляции с использованием критерия Фехнера ранее в работе [12]. Недостатком данной схемы является появление большого числа дополнительных булевых переменных, что негативно сказывается на эффективности решения задачи. Известно, что диагностика наличия автокорреляционной зависимости в остаточной последовательности может осуществляться с использованием критерия Дарбина – Уотсона [13–15].

Цель исследования – интеграция критерия Дарбина – Уотсона в структуру задачи ЧБЛП посредством его представления в форме линейных ограничений.

Материал и методы исследования

Модель множественной линейной регрессии с l регрессорами имеет вид

, i = 1,n, (1)

где α0, α1, …, αl – неизвестные параметры; n – объем выборки; yi, i = 1,n – значения зависимой переменной y; xij, i = 1,n, j = 1,l – значения независимых переменных; εi, i = 1,n – ошибки регрессии.

Для оценки неизвестных параметров модели (1) применялся МНК. Для этого проводилась стандартизация переменных по формулам

, , …, , ,

где , , …, – средние значения переменных; , , …, – среднеквадратические отклонения. Тогда уравнение стандартизованной регрессии имеет вид

, , (2)

где β1, …, βl – стандартизованные коэффициенты регрессии; , – ошибки стандартизованной регрессии.

Оценки параметров регрессии (2) находятся в результате решения системы линейных уравнений

, (3)

где , – матрица коэффициентов корреляции независимых переменных;

, – матрица коэффициентов корреляции независимых переменных с зависимой переменной.

Задача отбора из l регрессоров ровно m штук, обеспечивающих максимизацию коэффициента детерминации R2, формализуется следующим образом:

, (4)

, , (5)

, , (6)

, , (7)

, (8)

где M – большое положительное число; δj – булева переменная, которая при вхождении j-го регрессора в модель принимает значение 1, а в случае его отсутствия – 0. Если δj = 0, то соответствующий коэффициент βj регрессии, как следует из (6), обращается в нуль. Тем самым регулируется состав регрессоров в целевой функции (4).

Заметим, что смысл ограничений (5), (6) состоит в контроле порядка системы (3) посредством исключения из нее (l – m) уравнений и соответствующих им (l – m) переменных.

Подчеркнем, что задача (4)–(8) ориентирована на отбор фиксированного числа m регрессоров из множества кандидатов. Для выбора этого числа достаточно руководствоваться известной рекомендацией, согласно которой число наблюдений n должно не менее чем в 8–10 раз превосходить m.

Критерий Дарбина – Уотсона для регрессии (2) находится по формуле

, (9)

где , .

В этих суммах , – остатки регрессии (2). Критерий DW принимает значения от 0 до 4.

Значение DW = 2 говорит об отсутствии автокорреляции остатков.

Результаты исследования и их обсуждение

Известно, что сумма квадратов остатков связана с коэффициентом детерминации R2 линейной зависимостью. Отсюда следует, что

. (10)

Для нахождения A в (9) поступим следующим образом. Сначала найдем первые разности остатков

, ,

где , , …, , – первые разности стандартизованных переменных.

Затем возведем первые разности остатков в квадрат и просуммируем их:

. (11)

Из (11) следует, что величина A не является линейной комбинацией β-коэффициентов. Покажем далее, что выражение (11) можно линеаризовать.

Из системы (3) следует, что .

При транспонировании .

Тогда найдем произведение ββT:

. (12)

Умножим равенство (12) слева и справа на Rxx:

. (13)

Выражение (13) – матричное уравнение Сильвестра частного вида. Его можно переписать в виде системы линейных уравнений:

,(14)

В формуле (14) ⊗ – произведение Кронекера; vec – векторизация матрицы путем наложения столбцов друг на друга.

Для удобства обозначим

, ,

.

Причем , ,

, ,

, .

Тогда систему линейных уравнений (14) можно переписать в виде

, . (15)

Таким образом, из решения системы линейных уравнений (15) могут быть определены все попарные произведения стандартизованных коэффициентов регрессии, что представляет собой важный научный результат. Тогда выражение (11) может быть линеаризовано в виде

, (16)

где qj1, qj2, – элементы матрицы Q, содержащей в строках в лексикографическом порядке размещения с повторениями из l элементов по 2.

Система (15) составлена для линейной регрессии со всеми l предикторами. Исключение регрессоров не влечет за собой изменения числовых значений коэффициентов системы, но приводит к трансформации ее внутренней структуры. Для осуществления такой трансформации введем следующие линейные ограничения:

, , (17)

, , (18)

, . (19)

Пусть l = 3. Рассмотрим ограничения (17)–(19), например, когда j = 2. В этом случае q21 = 1, q22 = 2, а параметр c2 = β1β2. В зависимости от значений булевых переменных δ1 и δ2 возможны 4 исхода:

1) если δ1 = 0, δ2 = 0, то уравнение

исключается из системы, а c2 = 0;

2) если δ1 = 0, δ2 = 1, то уравнение исключается из системы, а c2 = 0;

3) если δ1 = 1, δ2 = 0, то уравнение исключается из системы, а c2 = 0;

4) если δ1 = 1, δ2 = 1,

то уравнение не исключается из системы, а –M ≤ c2 M.

Таким образом, j-е уравнение системы (15) сохраняется лишь в том случае, когда в модель одновременно включены оба регрессора, соответствующие индексам j-й строки матрицы Q. При этом ограничение, накладывающее на параметр cj нулевое значение, снимается.

Введем следующее ограничение на значение критерия Дарбина – Уотсона:

. (20)

где d – назначенная исследователем величина из диапазона [0, 2]. Если d = 2, то проблема автокорреляции остатков несущественна для исследователя. Напротив, при d = 0 ситуация интерпретируется как предельно желательная – исследователь требует модель с полным отсутствием автокорреляционной зависимости, что редко достижимо. Поскольку тест Дарбина – Уотсона носит статистический характер, то для назначения величины d можно воспользоваться критическим значением dU (верхняя граница), зависящим от числа наблюдений, числа регрессоров и уровня значимости. В таком случае d = 2 – dU.

Ограничение (20) является нелинейным. Для его линеаризация необходимо умножить все части двойного неравенства на B:

. (21)

Тогда решение задачи ЧБЛП (4)–(8), (10), (16)–(19), (21) обеспечивает отбор m регрессоров, максимизирующих коэффициент детерминации R2 при одновременном выполнении ограничения, налагаемого на критерий Дарбина – Уотсона. Отметим, что при определенных значениях величины d система ограничений может оказаться несовместной, что приводит к отсутствию допустимого решения задачи ЧБЛП. Данный факт не является недостатком метода, а скорее указывает на границы его применимости. В таком случае необходимо смягчить критериальный порог, увеличив число d.

Для апробации предложенного математического инструментария проводилось моделирование с использованием данных data9-3, встроенных в эконометрический пакет Gretl. Эти данные имеют структуру временных рядов, объем выборки n = 87. Зависимая переменная y – объемы продаж электроэнергии бытовым потребителям в Сан-Диего. Независимые переменные: x1 – среднее количество бытовых потребителей; x2 – тариф электроэнергии; x3 – индекс потребительских цен; x4 – доходы населения; x5 – градусо-сутки охлаждения; x6 – градусо-сутки отопления; x7 – численность населения.

Сначала проводился стандартный отбор регрессоров без учета автокорреляционной структуры остатков. Для этого в пакете LPSolve решалась задача ЧБЛП (4)–(8) при m = 3 и M = 50. В результате была построена следующая линейная регрессия:

.(22)

Для модели (22) R2 = 0,9567, DW = 1,3828.

Для уровня значимости 5%, объема выборки n = 87 и трех регрессоров нижняя и верхняя критические границы dL = 1,5808 и dU = 1,7232.

Поскольку DW < dL (1,3828 < 1,5808), то гипотеза об отсутствии автокорреляции отвергается и подтверждается положительная автокорреляция.

Затем проводился отбор регрессоров с контролем автокорреляции. Для этого решалась сформулированная задача (4)–(8), (10), (16)–(19), (21) при m = 3, M = 50. Для обеспечения отсутствия автокорреляции величина d рассчитана по формуле

.

В результате была построена следующая линейная регрессия:

.(23)

Для модели (23) R2 = 0,9285, DW =2,2716. Поскольку DW < 4 – dU (2,2716 < 2,2768), то гипотеза об отсутствии автокорреляции принимается. При этом качество аппроксимации регрессии (23) ожидаемо оказалось несколько ниже по сравнению с моделью (22).

Заключение

В результате проведенных исследований сформулирована задача ЧБЛП, которая обеспечивает отбор заданного количества регрессоров, максимизирующих коэффициент детерминации при одновременном выполнении ограничения, налагаемого на критерий Дарбина – Уотсона. На примере моделирования объемов продаж электроэнергии доказана корректность разработанного математического аппарата. Для построенной модели принята гипотеза об отсутствии автокорреляции в остатках. Поскольку предложенная методика отбора состава регрессоров требует значительного объема подготовительной аналитической работы, в дальнейшем предполагается автоматизировать ряд процессов путем разработки специализированного программного продукта. Также планируется использовать полученные в данной статье результаты для развития теории построения вполне интерпретируемых регрессионных моделей.