НАИМЕНЬШИХ КВАДРАТОВ МЕТОД

НАИМЕНЬШИХ КВАДРАТОВ МЕТОД один
из методов ошибок теории для оценки неизвестных величин по результатам
измерений, содержащим случайные ошибки. H. к. м. применяется также для
приближённого представления заданной функции другими (более простыми) функциями
и часто оказывается полезным при наблюдений обработке. H. к. м.
предложен К. Гауссом (1794-95) и А. Лежандром (1805-06).
Первоначально H. к. м. использовался для обработки результатов астрономич.
и геоде-зич. наблюдений. Строгое матем. обоснование и установление границ
содержательной применимости H. к. м. даны А. А. Марковым (старшим)
и A. H. Колмогоровым. Ныне H. к. м. представляет собой один из важнейших
разделов матем. статистики и широко используется для статистич. выводов
в различных областях науки и техники.


Сущность обоснования H. к. м. (по Гауссу)
заключается в допущении, что "убыток" от замены точного (неизвестного)
значения физ. величины её приближённым
значением X, вычисленным по результатам наблюдений, пропорционален
квадрату ошибки: (X -)2.
В этих условиях оптимальной оценкой естественно признать такую лишённую
систематич. ошибки величину X, для к-рой среднее значение "убытка"
минимально. Именно это требование и составляет основу H. к. м. В общем
случае отыскание оптимальной в смысле H. к. м. оценки X - задача весьма
сложная, поэтому практически эту задачу сужают и в качестве X выбирают
линейную функцию от результатов наблюдений, лишённую систематич. ошибки,
и такую, для к-рой среднее значение "убытка" минимально в классе всех линейных
функций. Если случайные ошибки наблюдений подчиняются
нормальному распределению
и
оцениваемая величина зависит от средних
значений результатов наблюдений линейно (случай, весьма часто встречающийся
в приложениях H. к. м.), то решение этой задачи будет одновременно являться
и решением общей задачи. При этом оптимальная оценка
X
также подчиняется
нормальному распределению со средним значением
и, следовательно, плотность вероятности случайной величины X

(х;,)
= (1/SQR(2))(-[(x-)/]2/2)

при х=Х достигает максимума в точке
= X (это свойство и выражает точное содержание распространённого
в теории ошибок утверждения "оценка X, вычисленная согласно H. к.
м.,- наиболее вероятное значение неизвестного параметра).


Случай одного неизвестного. Пусть для
оценки значения неизвестной величины
произведено
n
независимых наблюдений, давших результаты YYт. е. Y
+
++где- случайные ошибки (по определению, принятому в классической теории ошибок,
случайные ошибки - независимые случайные величины с нулевым математическим
ожиданием: Е = 0;
если же Е<>0,
то Е наз. систематическими
ошибками). Согласно H. к. м., в качестве оценки величины
принимают такое X, для к-рого будет наименьшей сумма квадратов (отсюда
и само название метода):

1715-2.jpg


(коэффициент k > 0 можно выбирать
произвольно). Величину pназ. весом, а- квадратичным отклонением измерения с номером i. В частности,
если все измерения равноточны, то
=,
и в этом случае можно положить1
== 1; если же каждое Ynравноточных
измерений, то полагаютi =
ni.


Сумма S (X) будет наименьшей,
если в качестве X выбрать взвешенное среднее:

1715-3.jpg


Оценка Y величины
лишена систематич. ошибки, имеет вес P и дисперсию DY = k/Р. В частности,
если все измерения равноточны, то Y - арифметич. среднее результатов измерений:

1715-4.jpg


При нек-рых общих предположениях можно
показать, что если количество наблюдений n достаточно велико, то
распределение оценки Y мало отличается от нормального с математич. ожиданием
и дисперсией k/P. B этом случае абс. погрешность приближённого равенства

=
Y меньше
t SQR(k/P) с вероятностью, близкой к значению интеграла

1715-5.jpg


[напр., I (1,96) = 0,950; I (2,58)
= 0,990; I (3,00) = 0,997].


Если веса измеренийi
заданы, а множитель
k
до наблюдений остаётся неопределённым, то
этот множитель и дисперсия оценки Y могут быть приближённо оценены по формулам:

1715-6.jpg


(обе оценки лишены систематич. ошибок).
В том практически важном случае, когда ошибки,
подчиняются нормальному распределению, можно найти точное значение вероятности,
с к-рой абс. погрешность приближённого равенства
Y
окажется меньше ts (t - произвольное положительное число). Эту вероятность,
как функцию от t, наз. функцией распределения Стьюдента с n -
1
степенями свободы и вычисляют по формуле:

1715-7.jpg


где постоянная Cвыбрана
таким образом, чтобы выполнялось условие: I =
1. При больших n формулу (2) можно заменить формулой (1). Однако
применение формулы (1) при небольших n привело бы к грубым ошибкам.
Так, напр., согласно (1), значению I = 0,99 соответствует t = 2,58;
истинные значения t, определяемые при малых n как решения соответствующих
уравнений I0,99, приведены в таблице:


























































































n


2


3


4


5


10


20


30


t


63,66


9,92


5,84


4,60


3,25


2,86


2,76





Пример. Для определения массы нек-рого
тела произведено 10 независимых равноточных взвешиваний, давших результаты
Y
г):


















































































Y


18,41


18,42


18,43


18,44


18,45


18,46


n


1


3


3


1


1


1





(здесь nчисло
случаев, в к-рых наблюдался вес Yi, причём n =n= 10). Так как все взвешивания равноточные, то следует положитьi
= nи в качестве оценки для неизвестного веса
выбрать величину Y =nn= 18,431. Задавая, напр., I = 0,95, по таблицам
распределения Стьюдента с девятью степенями свободы можно найти, что t
=
2,262, и поэтому в качестве предельной абс. погрешности приближенного
равенства 18,431 следует
принять величину

1715-8.jpg


Случаи нескольких неизвестных (линейные
связи). Пусть n результатов измерений YYт
неизвестными величинами xxнезависимыми линейными
отношениями

1715-9.jpg


где аизвестные
коэффициенты, анезависимые случайные ошибки измерений. Требуется оценить неизвестные величины
x(эту
задачу можно рассматривать как обобщение предыдущей, в к-рой
= xи
т = а


Так как Е=
О, то средние значения результатов измерений yсвязаны
с неизвестными величинами xлинейными
уравнениями (линейные связи):

1715-10.jpg


Следовательно, искомые величины xпредставляют
собой решение системы (4), уравнения к-рой предполагаются совместными.
Точные значения измеряемых величин уи случайные ошибки
обычно неизвестны, поэтому вместо систем (3) и (4) принято записывать т.
н. условные уравнения

1715-11.jpg


Согласно H. к. м., в качестве оценок
для неизвестных xприменяют такие величины xдля
к-рых сумма квадратов отклонений

1715-12.jpg


будет наименьшей (как и в предыдущем
случае,вес измерения
Y- величина, обратно пропорциональная дисперсии случайной ошибки).
Условные уравнения, как правило, несовместны, т. е. при любых значениях
Xразности

1715-13.jpg


не могут, вообще говоря, все обратиться
в нуль, и в этом случае S =2
также не может обратиться в нуль. H. к. м. предписывает в качестве оценок
выбрать такие значения Xк-рые минимизируют сумму S.
В тех исключительных случаях, когда условные ур-ния совместны и, значит,
обладают решением, это решение совпадает с оценками, полученными согласно
H. к. м.


Сумма квадратов S представляет собой
квадратичный многочлен относительно переменных Xэтот
многочлен достигает минимума при таких значениях XXпри которых обращаются в нуль все первые частные производные:

1715-14.jpg


Отсюда следует, что оценки Xполученные
согласно H. к. м., должны удовлетворять системе т. н. нормальных уравнений,
к-рая в обозначениях, предложенных Гауссом, имеет вид:

1715-15.jpg


Оценки Xполучающиеся
в результате решения системы нормальных уравнений, лишены систематич. ошибок
(EX= xдисперсии DXвеличин
Xравны
kdгде
d
-
определитель системы (5), а dминор, соответствующий
диагональному элементу
[a(иными
словами, dвес оценки XЕсли
множитель пропорциональности
k (k наз. дисперсией на единицу веса)
заранее неизвестен, то для его оценки, а также для оценки дисперсии
DX,
служат
формулы: (S - минимальное значение исходной суммы квадратов). При
нек-рых общих

1715-16.jpg


предположениях можно показать, что
если количество наблюдений n достаточно велико, то абс. погрешность
приближённого равенства xj Xj меньше tsвероятностью,
близкой к значению интеграла (1). Если случайные ошибки наблюденииподчиняются нормальному распределению, то все отношения (X- xраспределены по закону Стьюдента с n-
т
степенями свободы [точная оценка абс. погрешности приближённого равенства
производится здесь с помощью интеграла (2) так же, как в случае одного
неизвестного]. Кроме того, минимальное значение суммы S в вероятностном
смысле не зависит от X1, Х2,..., Xm и поэтому приближённые значения дисперсий
оценок DXj s2


не зависят от самих оценок X


Один из наиболее типичных случаев применения
H. к. м. - "выравнивание" таких результатов наблюдений Y,
для к-рых в уравнениях (3) агде
a - известные функции нек-рого параметра t (если t
-
время, то t-
те моменты
времени, в к-рые производились наблюдения). Особенно часто встречается
в приложениях случай т. н. параболич. интерполяции, когда a(t)- многочлены [напр., a = 1, a(t) = t, а= t2, ...и т. д.]; если
t- t,
a наблюдения равноточные, то для вычисления оценок Xможно
воспользоваться таблицами ортогональных многочленов, имеющимися во многих
руководствах по современной вычислительной математике. Другой важный для
приложения случай - т. н. гармонич. интерполяция, когда в качестве aвыбирают
триго-нометрич. функции [напр., a =
1,2,..., т].


Пример. Для оценки точности одного
из методов хим. анализа этим методом определялась концентрация CaO в десяти
эталонных пробах заранее известного состава. Результаты равноточных наблюдений
указаны в таблице (i - номер эксперимента, tистинная
концентрация CaO, Tконцентрация CaO, определённая
в результате химического анализа, Y-
ошибка химического анализа):














































































































































i


1


2


3


4


5


6


7


8


9


10


t


4


8


12,5


16


20


25


31


36


40


40


Y


-0,3


-0,2


-0,4


-0,4


-0,2


-0,5


+ 0,1


-0,5


-0,6


-0,5





Если результаты хим. анализа не имеют
систематич. ошибок, то ЕY. Если же такие ошибки
имеются, то в первом приближении их можно представить в виде: ЕY= +t(
наз. постоянной ошибкой, аt-
методич. ошибкой) или, что то же самое,

1715-17.jpg


Для отыскания оценок
и достаточно оценить коэффициенты
х=
+t и x.
Условные уравнения в данном случае имеют вид:

Y=
x+ xt - t), ? = 1,2,..., 10,
поэтому a = 1, a = t
- t (согласно предположению о равноточности наблюдений, все= 1). Так как [a=
[a=(t- t) =0, то система нормальных уравнений записывается

1715-18.jpg


Дисперсии компонент решения этой системы
суть

1715-19.jpg


где k - неизвестная дисперсия
на единицу веса (в данном случае k - дисперсия любой из величин
Y.
T. к. в этом примере компоненты решения принимают значения X= - 0,35 и X
1715-20.jpg


Если случайные ошибки наблюдений подчиняются
нормальному распределению, то отношения |X=
1,2) распределены по закону Стьюдента. В частности, если результаты наблюдений
лишены систематич. ошибок,o x= xи значит закону Стьюдента должны подчиняться отношения
|Xтаблиц распределения Стьюдента с n - т = 8 степенями свободы можно
убедиться, что если действительно x= x= 0, то с вероятностью 0,999 каждое из этих отношений не должно превосходить
5,04 и с вероятностью 0,95 не должно превосходить 2,31. В данном случае
|X 5,04, поэтому гипотезу отсутствия
систематич. ошибок целесообразно отвергнуть; в то же время следует признать,
что гипотеза об отсутствии методич. ошибки (xО) не
противоречит результатам наблюдений, так как |X= 1,004 < 2,31. T. о., можно заключит, что для определения t по результату
наблюдения T целесообразно пользоваться приближённой формулой t
=
T
+
0,35.


Во многих практически важных случаях
(и в частности, при оценке сложных нелинейных связей) количество неизвестных
параметров бывает весьма большим и поэтому реализация H. к. м. оказывается
эффективной лишь при использовании современной вычислительной техники.


Лит.: Марков А. А., Исчисление
вероятностей, 4 изд., M., 1924; Колмогоров A. H., К обоснованию метода
наименьших квадратов, "Успехи математических наук", 1946, т. 1, в. 1; Л
и н н и к Ю. В., Метод наименьших квадратов и основы ма-тематико-статистической
теории обработки наблюдений, 2 изд., M., 1962; Helmert F. R., Die
Ausgleichungsrechnung nach der Methode der kleinsten Quadrate..., 2 Aufl.,
Lpz., 1907. Л. H. Большее.




А Б В Г Д Е Ё Ж З И Й К Л М Н О П Р С Т У Ф Х Ц Ч Ш Щ Ъ Ы Ь Э Ю Я