Consistency of the least squares estimates of trigonometrik regression model parameters in the presence of linear random noise

Abstract

Regression analysis is a huge part of mathematical and applied statistics. Nonlinear regression analysis is a significant extension and complication of classical linear regression analysis, due to the use of nonlinear or partially nonlinear in parameters models that describe more adequately than linear model phenomena requiring statistical analysis. A large number of applied problems in the numerical scientific, technical, and humanitarian fields of knowledge give impetus to the development of nonlinear regression analysis. The task of estimation the vector signal parameter in the «signal + noise» observation models is a well-known problem of statistics of stochastic processes, and in the case of a nonlinear signal parameter is the problem of nonlinear regression analysis. Among the variety of nonlinear regression analysis problems the problem of estimating amplitudes and angular frequencies of the sum of harmonic oscillations that are observed against the background of a random noise, takes significant place due to its numerous applications. Statistical model of such a type is said to be trigonometric regression, and the problem of statistical estimation is called the problem of detecting hidden periodicities. The paper is devoted to the study of time continuous trigonometric regression model where the random noise is a linear Lévy driven stationary of the fourth order stochastic process with zero mean, integrable and square integrable impulse transmission function. This assumption leads to the integrability of the noise covariance function and cumulant function of the fourth order. To estimate unknown amplitudes and angular frequencies of such a trigonometric model we use the least squares estimators in the Walker sense, that is special parametric set are considered to distinguish properly different angular frequencies in the sum of harmonic oscillations. Theorem on strong consistency of the least squares estimators is proved in the paper under the assumption on the random noise described above. To obtain such a result a very important lemma was proved on the uniform tending to zero almost surely of the average value of Lévy-driven linear stochastic process Fourier transform. This Lemma is the main tool of the strong consistency Theorem proof. To prove the Theorem we, firstly, find some expressions for the least squares estimates of amplitudes via corresponding estimates of angular frequencies. Secondly, we substitute these formulas into the functional of the least squares method. The last step of the proof consists of the L2-norm transformation of the difference between empirical trigonometric regression function and true regression function such that this norm tends to zero almost surely if and on if the estimators are strongly consistent.

Регресiйний аналiз є iстотною частиною математичної та прикладної статистики. Нелiнiйний регресiйний аналiз є значним розширенням та ускладненням класичного лiнiйного регресiйного аналiзу, завдяки використанню нелiнiйних або частково нелiнiйних за параметрами моделей, якi адекватнiше описують, нiж лiнiйнi моделi, явища, що потребують статистичного аналiзу. Велика кiлькiсть прикладних проблем у численних наукових, технiчних та гуманiтарних галузях знань дають поштовх розвитку нелiнiйного регресiйного аналiзу. Задача оцiнювання векторного параметра сигналу в моделях спостереження «сигнал + шум» є добре вiдомою проблемою статистики випадкових процесiв, та у випадку нелiнiйного параметра сигналу – задачею нелiнiйного регресiйного аналiзу. Серед рiзноманiтностi задач нелiнiйного регресiйного аналiзу оцiнювання амплiтуд та кутових частот суми гармонiчних коливань, що спостерiгається на фонi випадкового шуму, займає значне мiсце, завдяки її численним застосуванням. Статистичнi моделi такого типу називаються тригонометричними моделями регресiї, а проблема статистичного оцiнювання її параметрiв називається задачею виявлення прихованих перiодичностей. Статтю присвячено вивченню тригонометричної моделi регресiї, в якiй випадковий шум є лiнiйним Левi-керованим стацiонарним четвертого порядку випадковим процесом iз нульовим середнiм, iнтегровную та iнтегровную з квадратом iмпульсною перехiдною функцiєю. Це припущення призводить до iнтегровностi коварiацiйної функцiї та кумулянтної функцiї 4-го порядку. Для оцiнювання амплiтуд та кутових частот такої тригонометричної моделi ми використовуємо оцiнки найменших квадратiв у сенсi Уолкера, тобто розглянуто спецiальну множину параметрiв, щоб розрiзнити належним чином рiзнi кутовi частоти в сумi гармонiчних коливань. У статтi доведено теорему про сильну консистентнiсть оцiнки найменших квадратiв за описаними вище припущеннями щодо випадкового шуму. Для отримання такого результату було доведено дуже важливу лему про рiвномiрну збiжнiсть майже напевно середнього значення перетворення Фурьє лiнiйного Левi-керованого випадкового процеса. Ця лема є головним iнструментом доведення теореми про сильну консистентнiсть. Для доведення теореми, по-перше, знаходимо деякi представлення оцiнок найменших квадратiв амплiтуд через вiдповiднi оцiнки кутових частот. По-друге, ми пiдставляємо цi формули у функцiонал методу найменших квадратiв. Останнiй крок доведення полягає у перетвореннi L2-норми рiзницi мiж емпiричною тригонометричною функцiєю регресiї та iстиною функцiєю регресiї таким чином, що ця норма прямує до нуля майже напевно тодi i тiльки тодi, коли оцiнки є сильно консистентними.