Автокорреляция остатков регрессионной модели, ее устранение. Метод Кохрана—Оркутта и Хилдрета—Лу.

Введение

Автокорреляция — это статистическая зависимость между значениями одного ряда, взятыми со сдвигом во времени. На графике положительная автокорреляция проявляется в виде чередующихся зон остатков одного знака, а отрицательная — в их частой смене.

Данное явление опасно тем, что может привести к ошибочному выводу о незначимости влияния фактора на результат, тогда как на самом деле это влияние существенно.

Основными причинами возникновения автокорреляции являются неправильный выбор формы регрессии, пропуск важных факторов в модели и циклический характер экономических переменных при работе с временными данными.

1. Что такое автокорреляция остатков

Автокорреляция — это корреляционная зависимость между уровнями одного ряда, характерная преимущественно для временных данных. В регрессионных моделях автокорреляция остатков означает наличие связи между текущими и прошлыми значениями случайных отклонений. Величина сдвига между рядами остатков называется временным лагом, который определяет порядок коэффициента автокорреляции.

Классическая линейная регрессия предполагает отсутствие корреляции между случайными ошибками в разных наблюдениях. Нарушение этого условия приводит к тому, что оценки коэффициентов остаются несмещёнными и состоятельными, но теряют эффективность, а стандартные ошибки рассчитываются неверно. В результате возрастает риск ошибочных выводов о значимости факторов и качества модели в целом.

Наиболее простым способом обнаружения автокорреляции является графический метод — построение автокорреляционной и частной автокорреляционной функций. Автокорреляционная функция показывает зависимость коэффициента автокорреляции от величины лага, а её график называется коррелограммой. Частная автокорреляционная функция, в отличие от обычной, очищена от корреляционных связей внутри лагов и даёт более точную картину структуры автокорреляционных зависимостей.

2. Критерий Дарбина-Уотсона

Критерий Дарбина–Уотсона представляет собой один из наиболее распространённых статистических инструментов для выявления автокорреляции остатков в регрессионных моделях. Данный критерий предназначен исключительно для обнаружения автокорреляции первого порядка, то есть корреляционной зависимости между соседними значениями случайных отклонений. В основе проверки лежит сравнение остатков текущего и предыдущего наблюдений: если такая зависимость существует, она описывается через коэффициент автокорреляции, абсолютная величина которого не превышает единицу, а случайная составляющая представляет собой независимые одинаково распределённые величины с нулевым средним и постоянной дисперсией.

При проверке значимости автокорреляционного коэффициента выдвигается нулевая гипотеза о его равенстве нулю, что соответствует отсутствию автокорреляции. Альтернативная гипотеза, напротив, утверждает, что коэффициент значимо отличается от нуля. Для проверки этих гипотез вычисляется наблюдаемое значение статистики Дарбина–Уотсона, которое рассчитывается как отношение суммы квадратов разностей соседних остатков к сумме квадратов самих остатков. Сами остатки при этом определяются как отклонения фактических значений зависимой переменной от расчётных, полученных по оценённому уравнению регрессии.

Критические границы для принятия решения определяются по специальным статистическим таблицам с учётом объёма выборки и числа оцениваемых параметров модели. Существует также приближённый способ расчёта статистики через выборочный коэффициент автокорреляции первого порядка: если этот коэффициент равен нулю, статистика принимает значение, близкое к двум; при положительной автокорреляции она стремится к нулю, а при отрицательной — к четырём.

Правило принятия решения строится следующим образом. Если вычисленное значение статистики оказывается меньше нижней критической границы, нулевая гипотеза об отсутствии автокорреляции отклоняется, что свидетельствует о наличии положительной автокорреляции. Если же статистика превышает верхнюю критическую границу, нулевая гипотеза принимается, и автокорреляция считается отсутствующей. В случае, когда значение попадает в интервал между нижней и верхней границами, определённый вывод сделать невозможно, и требуются дополнительные исследования.

Аналогичные правила действуют и для случая отрицательной автокорреляции, но с использованием скорректированных критических значений, получаемых вычитанием табличных границ из четырёх. Здесь также возможна ситуация неопределённости, когда статистика попадает в промежуточный интервал, требующий применения других методов диагностики. Таким образом, критерий Дарбина–Уотсона является надёжным и удобным инструментом первичной проверки автокорреляции, однако в зонах неопределённости его результаты должны дополняться иными статистическими подходами.

3. Устранение автокорреляции остатков регрессионной модели

Устранение автокорреляции остатков представляет собой обязательный этап построения регрессионной модели, поскольку корреляционная зависимость между случайными ошибками приводит к серьёзным искажениям статистических свойств оценок. Наиболее простым на первый взгляд подходом было бы включение в модель специального автокорреляционного параметра, однако на практике это невозможно, так как значение коэффициента автокорреляции изначально неизвестно.

Более действенным методом борьбы с автокорреляцией первого порядка является использование авторегрессионной схемы, которая предполагает преобразование исходных данных. Для реализации этого подхода также необходимо знать величину коэффициента автокорреляции. Поскольку она неизвестна, на практике её заменяют выборочной оценкой, вычисляемой на основе остатков регрессионной модели. Эта оценка представляет собой отношение суммы произведений соседних остатков к сумме квадратов остатков. В общем случае коэффициент автокорреляции для произвольного временного лага рассчитывается по стандартной формуле корреляции между исходным рядом и его сдвинутой копией, где в числителе стоит сумма произведений отклонений от среднего для наблюдений, разделённых заданным лагом, а в знаменателе — сумма квадратов отклонений всего ряда от своего среднего значения.

Рассмотрим применение авторегрессионного преобразования на примере парной регрессионной модели. Если предположить, что остатки подчиняются процессу автокорреляции первого порядка, то текущее значение остатка зависит от предыдущего остатка и случайной составляющей, не подверженной корреляции. При этом коэффициент автокорреляции по модулю меньше единицы, а случайная составляющая обладает стандартными свойствами — нулевым математическим ожиданием и постоянной дисперсией.

Для устранения автокорреляции записывается уравнение регрессии для предыдущего момента времени, после чего оно умножается на коэффициент автокорреляции и вычитается из исходного уравнения. В результате такого преобразования получается новое уравнение, связывающее разности текущих и сдвинутых значений зависимой и объясняющей переменных. При этом свободный член также корректируется с учётом коэффициента автокорреляции. В преобразованном уравнении случайная ошибка уже не содержит автокорреляционной зависимости, что позволяет применять к нему стандартный метод наименьших квадратов.

Для удобства вводятся замены переменных: в качестве новой зависимой переменной выступает разность между текущим и сдвинутым значением исходной зависимой переменной, аналогично преобразуются и объясняющие переменные, а свободному члену присваивается коэффициент, равный единице минус коэффициент автокорреляции. После таких замен модель принимает стандартный линейный вид, и оценки её параметров могут быть получены обычным методом наименьших квадратов.

Однако при таком преобразовании возникает проблема: оно применимо ко всем наблюдениям, кроме первого, поскольку для него отсутствует предыдущее значение. Игнорирование первого наблюдения может быть допустимо при большом объёме выборки, но в случае небольшого числа наблюдений потеря даже одного элемента способна привести к неэффективности оценок. Для решения этой проблемы используется поправка Прайса–Уинстена, которая заключается в масштабировании первого наблюдения с помощью множителя, вычисляемого на основе коэффициента автокорреляции, что позволяет сохранить все исходные данные без потерь.

После того как оценки параметров преобразованного уравнения получены, необходимо вернуться к исходной модели. Коэффициент при объясняющей переменной остаётся без изменений, а свободный член исходного уравнения восстанавливается путём деления соответствующего коэффициента преобразованной модели на разность между единицей и коэффициентом автокорреляции. В итоге формируется окончательное регрессионное уравнение, которое уже свободно от автокорреляционной зависимости остатков и может использоваться для содержательной интерпретации и прогнозирования.

4. Метода Кохрана-Оркутта

Помимо прямого вычисления выборочного коэффициента автокорреляции остатков, существует альтернативный способ оценки параметра ρ, известный как метод Кохрана–Оркутта. Рассмотрим его применение на примере парной регрессионной модели.

Алгоритм данного метода представляет собой итерационную процедуру и включает несколько последовательных шагов. На первом этапе исходное уравнение регрессии оценивается стандартным методом наименьших квадратов, в результате чего получаются первоначальные оценки коэффициентов. Затем на основе исходных и расчётных значений зависимой переменной вычисляются остатки модели для каждого наблюдения.

На следующем шаге по полученным остаткам рассчитывается выборочный коэффициент автокорреляции первого порядка по стандартной формуле, представляющей собой отношение суммы произведений соседних остатков к сумме квадратов остатков. Этот коэффициент служит оценкой авторегрессионной зависимости между соседними отклонениями.

Далее строится преобразованное уравнение регрессии. Для этого исходное уравнение, записанное для предыдущего момента времени, умножается на оценённый коэффициент автокорреляции и вычитается из исходного уравнения. В результате получается преобразованная модель, в которой зависимая и объясняющие переменные заменяются их разностями с соответствующими сдвигами, а свободный член корректируется на величину (1–ρ). Такое преобразование позволяет устранить автокорреляцию в случайной составляющей.

После этого к преобразованному уравнению применяется стандартный метод наименьших квадратов для получения оценок его коэффициентов. Затем эти оценки пересчитываются обратно в коэффициенты исходной модели: коэффициент при объясняющей переменной сохраняется, а свободный член исходного уравнения восстанавливается делением на (1–ρ). На основе полученных скорректированных коэффициентов формируется обновлённое регрессионное уравнение.

Заключительный этап заключается в повторном вычислении остатков между исходными и новыми расчётными значениями, после чего весь процесс, начиная с расчёта коэффициента автокорреляции, повторяется заново. Метод Кохрана–Оркутта является итерационным, и его процедура продолжается до тех пор, пока значения коэффициента автокорреляции на соседних итерациях перестают существенно различаться. Обычно сходимость достигается достаточно быстро, что делает данный метод удобным для практического применения.

5. Метод Хилдрета-Лу

Более трудоёмким по сравнению с рассмотренными выше подходами является метод Хилдрета–Лу. Его особенность заключается в том, что коэффициент автокорреляции не вычисляется, а задаётся исследователем в виде диапазона возможных значений с определённым шагом. Например, коэффициент может перебираться в интервале от минус единицы до плюс единицы с шагом 0,05.

Для каждого из таких заданных значений коэффициента автокорреляции с помощью метода разностей строится преобразованное регрессионное уравнение, в котором зависимая и объясняющие переменные заменяются их разностями с соответствующим сдвигом, а свободный член корректируется на величину (1–r). Затем для каждого варианта преобразованного уравнения оцениваются его коэффициенты обычным методом наименьших квадратов.

Из всех перебранных значений коэффициента автокорреляции выбирается то, которое обеспечивает минимальную сумму квадратов отклонений расчётных значений от фактических в преобразованной модели. Именно это значение принимается в качестве оценки коэффициента автокорреляции. После того как оптимальное значение ρ найдено, оценки коэффициентов исходного уравнения восстанавливаются стандартным образом: коэффициент при объясняющей переменной переносится без изменений, а свободный член корректируется делением на (1–ρ). Таким образом, метод Хилдрета–Лу, несмотря на свою вычислительную сложность, позволяет найти глобально оптимальную оценку коэффициента автокорреляции за счёт полного перебора возможных значений.

Заключение

В работе установлено, что автокорреляция остатков является серьёзным нарушением предпосылок МНК, приводящим к неэффективности оценок и недостоверности выводов. Показано, что критерий Дарбина–Уотсона позволяет надёжно диагностировать автокорреляцию первого порядка, а методы Кохрана–Оркутта и Хилдрета–Лу эффективно устраняют её с помощью авторегрессионных преобразований. Применение данных алгоритмов восстанавливает статистическую корректность модели и повышает достоверность эконометрических прогнозов. Систематическое использование рассмотренных процедур является необходимым условием качественного регрессионного анализа временных рядов.