9. Оценивание коэффициентов моделей скользящего среднего методами наибольшего правдоподобия и поиска на сетке

Вопрос 19. Оценивание коэффициентов моделей скользящего среднего методами наибольшего правдоподобия и поиска на сетке
Модель скользящего среднего (Model of moving average – MA) – один из распространенных подходов моделирования временных рядов. В этом случае оценка прогнозируемых членов ряда зависит от текущего и прошлых значений и от некоторого стохастического члена (отражает вероятностный характер модели). Модель является линейной регрессией и записывается в виде (для модели порядка q):
X_t=μ+ε_t+θ_1 ε_(t-1)+⋯+θ_q ε_(t-q),
где μ – среднее значение ряда, θ_1…θ_q – коэффициенты модели, ε_t…ε_(t-q) – шумовые компоненты (белый шум).
Как правило, при оценке коэффициентов модели не используют метод наименьших квадратов, вместо этого используют методы наибольшего правдоподобия и поиска на сетке.
Метод наибольшего правдоподобия (МНП). Рассмотрим простейший случай модели скользящего среднего: x_t=ε_t-θε_(t-1). Или при переходе от x_t к ε_t:
x_1=ε_1-θε_0 →ε_1=x_1+θε_0;
x_2=ε_2-θε_1 →x_2=ε_2-θ(x_1+θε_0 )→ε_2=x_2+θx_1+θ^2 ε_0 и т.д.
или же в векторной форме: ε=θ ̃ε_0+Qx, где θ ̃ – коэффициенты при ε_0, Q – коэффициенты при x.
Пусть ε_t – последовательность случайных величин, имеющих одинаковое нормальное распределение, при этом среднее равно 0, а дисперсия: σ_ε^2. Тогда плотность вероятности: f(ε_0,…ε_T )=(2πσ_ε^2 )^(〖-(T+1)/2〗^(-1/(2σ_ε^2 ) ∑_(t=0)^T▒ε_t^2 ) ). Суть метода максимального правдоподобия – поиск такого коэффициента θ, при котором достигает максимума функция f(ε_0,…ε_T ) или, эквивалентно, достигает минимума сумма квадратов:
S(θ|ε_0 )=∑_(t=0)^T▒〖ε_t^2=〗 ε_0^2+ε^' ε=(1+(θ') ̃θ ̃ ) ε_0^2+2x^' Q^('θ ̃ε_0 )+x^' Q'Qx
При использовании МНП возникает проблема в определении ε_0. При первом способе полагают ε_0=0 и минимизируют значение x^' Q'Qx. Полученное решение называют условным МНК-решением, а найденные θ^*=arg⁡min⁡〖x^' Q'Qx〗 – условной МНК-оценкой.
При втором способе ε_0, как и θ, входят в число подлежащих минимизации свободных параметров. Полученное при таком подходе значение θ^* называют точной МНК-оценкой для θ и ε ̂_0=-(x'Q^(*') θ ̃^*)/(1+θ ̃^(*') θ ̃^* ).
Проведем небольшой анализ и введем замену 1+θ ̃^' θ ̃=K. Тогда функцию правдоподобия можно представить в виде:
f(ε_0,…ε_T )=f(ε_0,x_1 …x_T )=((2πσ_ε^2)/K)^(-1/2) e^(-K/(2σ_ε^2 ) (ε_0-ε ̂_0 )^2 )∙K^(-1/2) (2πσ_ε^2 )^(-T/2) e^(-1/(2σ_ε^2 ) S(θ)),
где S(θ)=x^' Q^' Qx-(x^' Q^' θ ̃ )^2/(1+θ ̃^' θ ̃ ).
Первая часть записи функции правдоподобия – функция плотности распределения неизвестного значения ε_0, а вторая – частная функция плотности распределения вероятности наблюдений x_1 …x_T. Тогда необходимо решить задачу: f(ε_0,|x_1 …x_T )∙f(x_1 …x_T )→■(max!@ε_0,θ). В результате получим: K^(1/T) S(θ)→■(min!@θ). Значение θ ̂^*, минимизирующее функцию K^(1/T) S(θ), называют точной МНП-оценкой. Множитель K^(1/T) существует только при малом объеме выборок, так как с ростом T указанный множитель будет стремиться к 1. При больших объемах T множитель K^(1/T) можно не учитывать, приняв незначительно смещение оценки, но сильно сократив объем вычислений. Именно этим объясняется использование точных МНК-оценок.
Метод поиска по сетке является самым простым в реализации и понимании, но, к сожалению, неэффективен, когда количество параметров велико и не сильно ограничено. Пусть θ* — пространство параметров θ = (θ_1, θ_2, ... θ_m), по которым мы максимизируем значение x. Простой способ настройки поиска по сетке состоит в определении вектора нижних границ a = (a1, a2, ..., am) и вектора верхних границ b = (b1, b2, ..., bm) для каждого компонента θ. Поиск по сетке включает в себя взятие n равномерно расположенных точек в каждом интервале формы [ai, bi], включая ai и bi. Это создает в общей сложности nm возможных точек сетки для проверки. Наконец, после вычисления каждой пары точек выбирается максимальное из этих значений.
Проблема с этим типом метода заключается в том, что количество оценок увеличивается экспоненциально по мере увеличения n и m. Поскольку мы не можем реально уменьшить m, уменьшение n - единственный возможный способ гарантировать, что метод остановится в разумные сроки, но это снижает достоверность решения.
Вопрос 20. Оценивание коэффициентов процессов ARMA
Модель ARMA – модель авторегрессии – скользящего среднего, которая обобщает две более простые модели – авторегрессии AR и скользящего среднего MA. Используется для анализа и прогнозирования стационарных временных рядов в статистике.
Для оценки параметром модели ARMA используют метод наибольшего правдоподобия, используя логарифмическую функцию парвдоподобия.
Пусть модель ARMA имеет вид ряда: x_t-φ_1 x_(t-1)-…-φ_p x_(t-p)=ε_t-θ_1 ε_(t-1)-…-θ_q ε_(t-q). Пусть ε_t – последовательность случайных величин, имеющих одинаковое нормальное распределение, при этом среднее равно 0, а дисперсия: σ_ε^2.
Выразим ковариационную матрицу x=(x_1,…x_t) через автоковариационную функцию (ковариация значений функции, зависящая от величины «сдвига по времени») стационарного ARMA-процесса γ_i=E[x_t x_(t-i)]:
Г=■(■(γ_0&γ_1&■(…&γ_(T-1) ))@■(γ_1&γ_0&■(…&γ_(T-2) ))@■(■(⋮&⋮&■(⋱&⋮))@■(γ_(T-1)&γ_(T-2)&■(…&γ_0 ))))
Полученная матрица Г – симметричная тёплицевая (матрица Тёплица – матрица, в которой на всех диагоналях, параллельных главной, стоят равные элементы) матрица. Выпишем логарифмическую функцию правдоподобия:
ln⁡〖L(θ,φ,σ_ε^2 )=-T/2 ln⁡(2πσ_ε^2 ) 〗-1/2 ln⁡|Г|-1/2 x'Г^(-1) x
Обозначим через r_i автоковариацию, нормированную на дисперсию ошибок, т.е. r_i=γ_i/(σ_ε^2 ). Матрицу Г обозначим через R, тогда логарифмическая функция правдоподобия запишется в виде:
ln⁡〖L(θ,φ,σ_ε^2 )=-T/2 ln⁡(2πσ_ε^2 ) 〗-1/2 ln⁡|R|-1/2 x'R^(-1) x→max!
Воспользуемся условиями первого порядка оценки параметров согласно МНК (условиями минимума функции являются равенство нулю первых производных и положительность вторых производных):
(d ln⁡L(θ,φ,σ_ε^2 ))/(d σ_ε^2 )=0
Получим оценку σ_ε^2 как функцию от θ и φ:
σ_ε^2=σ_ε^2 (θ,φ)=(x'R^(-1) x)/T
Подставив полученную оценку σ_ε^2 в логарифмическую функцию правдоподобия, получим концентрированную функцию правдоподобия:
ln⁡〖L^c (θ,φ)〗=-T/2 ln⁡〖(2π)-T/2〗-1/2 ln⁡|R|-T/2 ln⁡((x^('R^(-1) ) x)/T)→max!
Точные оценки параметров ARMA-процесса находят, максимизируя функцию ln⁡〖L^c (θ,φ)〗.