Математическая энциклопедия

Наименьших Квадратов Метод

- один из методов ошибок теории для оценки неизвестных величин по результатам измерений, содержащим случайные ошибки. Н. к. м. применяется также для приближенного представления заданной функции другими (более простыми) функциями и часто оказывается полезным при обработке наблюдений. Н. к. м. предложен К. Гауссом (С. Gauss, 1794-95) и А. Лежандром (A. Legendre, 1805-06). Строгое обоснование и установление границ содержательной применимости Н. к. м. даны А. А. Марковым и А. Н. Колмогоровым. В простейшем случае линейных связей (см. ниже) и наблюдений, не содержащих систематич. ошибок, а подверженных лишь случайным ошибкам, оценки неизвестных величин, полученные с помощью Н. к. м., являются линейными функциями от наблюденных значений. Эти оценки не имеют систематич. ошибок, т. е. являются несмещенными (см. Несмещенная оценка). Если случайные ошибки наблюдений независимы и подчиняются нормальному распределению, то Н. к. м. дает оценки неизвестных с наименьшей дисперсией, т. е. эти оценки являются эффективными (см. Статистическое оценивание). В этом смысле Н. к. м. является наилучшим среди всех остальных методов, позволяющих находить несмещенные оценки. Однако если распределение случайных ошибок существенно отличается от нормального, то Н. к. м. может и не быть наилучшим. При обосновании Н. к. м. (по Гауссу) предполагается, что "убыток" от замены точного (неизвестного) значения нек-рой величины ее приближенным значением X, вычисленным по результатам наблюдений, пропорционален квадрату ошибки оптимальной оценкой считается такая лишенная систематич. ошибки величина X, для к-рой среднее значение "убытка" минимально. Именно это требование и составляет основу Н. к. м. В общем случае отыскание оптимальной в смысле Н. к. м. оценки X - задача весьма сложная, поэтому практически эту задачу сужают и в качестве Xвыбирают линейную функцию от результатов наблюдений, лишенную систематич. ошибки, и такую, для к-рой среднее значение убытка минимально в классе всех линейных функций. Если случайные ошибки наблюдений подчиняются нормальному распределению и оцениваемая величина mзависит от средних значений результатов наблюдений линейно (случай, весьма часто встречающийся в приложениях Н. к. м.), то решение этой задачи будет одновременно являться и решением общей задачи. При этом оптимальная оценка Xтакже подчиняется нормальному распределению со средним значением и, следовательно, плотность вероятности случайной величины X достигает максимума в точке (это свойство и выражает точное содержание распространенного в теории ошибок утверждения: "оценка X, вычисленная согласно Н. к. м.,- наиболее вероятное значение неизвестного параметра "). Случай одного неизвестного. Пусть для оценки значения неизвестной величины произведено пнезависимых наблюдений, давших результаты - случайные ошибки (по определению, принятому в классич. теории ошибок, случайные ошибки - независимые случайные величины с нулевым математич. ожиданием:; если же наз. систематическими ошибками). Согласно Н. к. м. в качестве оценки величины m. принимают такое X, для к-рого будет наименьшей сумма квадратов (отсюда и само название метода): где (коэффициент k>0 можно выбирать произвольно). Величину наз. весом, а -квадратичным отклонением измерения с номером . В частности, если все измерения равноточны, то и в этом случае можно положить если же каждое - арифметич. среднее из равноточных измерений, то полагают Сумма будет наименьшей, если в качестве Xвыбрать взвешенное среднее: Оценка величины лишена систематич. ошибки, имеет вес Ри дисперсию . В частности, если все измерения равноточны, то Y - арифметич. среднее результатов измерений: При нек-рых общих предположениях можно показать, что если количество наблюдений пдостаточно велико, то распределение оценки У мало отличается от нормального с математич. ожиданием m и дисперсией .В этом случае абсолютная погрешность приближенного равенства меньше с вероятностью, близкой к значению интеграла (напр., ). Если веса измерений заданы, а множитель кдо наблюдений остается неопределенным, то этот множитель и дисперсия оценки могут быть оценены по формулам: и (обе оценки лишены систематич. ошибок). В том практически важном случае, когда ошибки подчиняются нормальному распределению, можно найти точное значение вероятности, с к-рой абсолютная погрешность приближенного равенства окажется меньше (t- произвольное положительное число): где постоянная выбрана таким образом, чтобы выполнялось условие ( Стьюдента распре деление с п-1 степенями свободы). При больших пформулу (2) можно заменить формулой (1). Однако применение формулы (1) при небольших ппривело бы к грубым ошибкам. Так, напр., согласно (1) значению I= 0,99 соответствует t=2,58; истинные значения t, определяемые при малых пкак решения соответствующих уравнений приведены в таблице: Пример. Для определения массы нек-рого тела произведено 10 независимых равноточных взвешиваний, давших результаты Yi (в г): (здесь ni - число случаев, в к-рых наблюдалась масса ). Так как все взвешивания равноточные, то следует положить и в качестве оценки для неизвестного веса выбрать величину . Задавая, напр.,по таблицам распределения Стьюдента с девятью степенями свободы можно найти, что и поэтому в качестве предельной абсолютной погрешности приближенного равенства следует принять величину Таким образом, Случай нескольких неизвестных (линейные связи). Пусть презультатов измерений связаны с тнеизвестными величинами независимыми линейными соотношениями где - известные коэффициенты, а - независимые случайные ошибки измерений. Требуется оценить неизвестные величины (эту задачу можно рассматривать как обобщение предыдущей, в к-рой Так как то средние значения результатов измерений связаны с неизвестными величинами линейными уравнениями (линейные связи): Следовательно, искомые величины представляют собой решение системы (4), уравнения к-рой предполагаются совместными. Точные значения измеряемых величин и случайные ошибки обычно неизвестны, поэтому вместо систем (3) и (4) принято записывать так наз. условные уравнения Согласно Н. к. м. в качестве оценок для неизвестных применяют такие величины , для к-рых сумма квадратов отклонений будет наименьшей (как и в предыдущем случае,- вес измерения,- величина, обратно пропорциональная дисперсии случайной ошибки ). Условные уравнения, как правило, несовместны, т. с. при любых значениях разности не могут, вообще говоря, все обратиться в нуль. Н. к. м. предписывает в качестве оценок выбрать такие значения , к-рые минимизируют сумму S. В тех исключительных случаях, когда условные уравнения совместны и, значит, обладают решением, это решение совпадает с оценками, полученными согласно Н. к. м. Сумма квадратов Sпредставляет собой квадратичный многочлен относительно переменных ; этот многочлен достигает минимума при таких значениях при к-рых обращаются в нуль все первые частные производные: Отсюда следует, что оценки , полученные согласно Н. к. м., должны удовлетворять системе т. н. нормальных уравнений, к-рая в обозначениях, предложенных К. Гауссом, имеет вид где и Оценки, получающиеся в результате решения системы нормальных уравнений, лишены систематич. ошибок дисперсии величин равны где d- определитель системы (5), а - минор, соответствующий диагональному элементу (иными словами,- вес оценки ). Если множитель пропорциональности (кназ. дисперсией на единицу веса) заранее неизвестен, то для его оценки, а также для оценки дисперсии служат формулы(S- минимальное значение исходной суммы квадратов). При нек-рых общих предположениях можно показать, что если количество наблюдений пдостаточно велико, то абсолютная погрешность приближенного равенства меньше с вероятностью, близкой к значению интеграла (1). Если случайные ошибки наблюдений подчиняются нормальному распределению, то все отношения распределены по закону Стьюдента с п-то степенями свободы (точная оценка абсолютной погрешности приближенного равенства производится здесь с помощью интеграла (2) так же, как в случае одного неизвестного). Кроме того, минимальное значение суммы Sв вероятностном смысле не зависит от и потому приближенные значения дисперсий оценок не зависят от самих оценок Один из наиболее типичных случаев применения Н. к. м.- "выравнивание" таких результатов наблюдений , для к-рых в уравнениях (3) где - известные функции нек-рого параметра t(если t- время, то - те моменты времени, в к-рые производились наблюдения). Особенно часто встречается в приложениях случай т. н. параболической интерполяции, когда - многочлены (напр., ); если а наблюдения равноточные, то для вычисления оценок можно воспользоваться таблицами ортогональных многочленов. Другой важный для приложений случай - т. н. гармоническая интерполяция, когда в качестве выбирают три-гонометрич. функции (напр., ). Пример. Для оценки точности одного из методов химич. анализа этим методом определялась концентрация СаО в десяти эталонных пробах заранее известного состава. Результаты наблюдений указаны в таблице (г - номер эксперимента, t;- истинная концентрация СаО,- концентрация СаО, определенная в результате химич. анализа, - ошибка химич. анализа): Если результаты химич. анализа не имеют систематич. ошибок, то Если же такие ошибки имеются, то в первом приближении их можно представить в виде:(наз. постоянной ошибкой, а - методической ошибкой) или, что то же самое,
где Для отыскания оценок и достаточно оценить величины и . Условные уравнения в данном случае имеют вид поэтому (согласно предположению о равноточности наблюдений все ). Так как то система нормальных уравнений записывается особенно просто: где Дисперсии компонент решения этой системы суть где k - неизвестная дисперсия на единицу веса (в данном случае k- дисперсия любой из величин ). Так как в этом примере компоненты решения принимают значения Х 1= -0,35, и Х 2= - 0,00524, то Если случайные ошибки наблюдений подчиняются нормальному распределению, то отношения j= 1, 2, распределены по закону Стьюдента. В частности, если результаты наблюдений лишены систематич. ошибок, то , и, значит, закону Стьюдента должны подчиняться отношения и . С помощью таблиц распределения Стьюдента с п-m=8 степенями свободы можно убедиться, что если действительно х 1=х 2=0, то с вероятностью 0,999 каждое из этих отношений не должно превосходить 5,04 и с вероятностью 0,95 не должно превосходить 2,31. В данном случае поэтому гипотезу отсутствия систематич. ошибок целесообразно отвергнуть; в то же время следует признать, что гипотеза об отсутствии ме-тодич. ошибки () не противоречит результатам наблюдений, т. к. . Таким образом, можно заключить, что для определения tпо результату наблюдения Тцелесообразно пользоваться приближенной формулой Случай нескольких неизвестных (нелинейные связи). Пусть презультатов измерений связаны с mнеизвестными функциональной зависимостью где - независимые случайные ошибки, а функции (в общем случае нелинейные) дифференцируемы. Согласно Н. к. м. в качестве оценок для xj принимают такие величины , для к-рых сумма квадратов будет наименьшей. Так как функции нелинейные, то решение нормальных уравнений в этом случае может представлять значительные трудности. Иногда нелинейные связи каким-либо преобразованием могут быть приведены к линейным. Напр., при намагничивании железа напряженность магнитного поля H связана с магнитной индукцией Вэмпирич. формулой (коэффициенты и определяются по измеренным значениям при заданных ). Индукция В- нелинейная функция от и . Однако обратная величина индукции зависит от и Линейно. Применение Н. к. м. к исходному и преобразованному равенствам дает, вообще говоря, различные оценки для неизвестных и , но если дисперсия случайных ошибок измерения индукции значительно меньше измеряемых величин , то . Поэтому величинам следует приписать веса ; естественно ожидать, что при этих условиях различие оценок в нелинейном и линейном случаях будет практически несущественным. В тех случаях, когда не удается тождественными преобразованиями заменить нелинейные уравнения линейными, пользуются другим способом линеаризации. Из заданных пуравнений отбирают какие-либо m уравнений, решение к-рых принимают за нулевое приближение для неизвестных xj. Если положить то систему условных уравнений можно записать в виде: Разлагая правые части в ряд по степеням и ограничиваясь линейными членами, получают где - значение функции и ее производных по при Эта система уравнений линейна, и поэтому для оценки неизвестных легко может быть применен Н. к. м. Оценив получают первое приближение для неизвестных Величины берут за исходное приближение, и всю операцию повторяют, пока с заданной точностью не совпадут два последовательных приближения. Если дисперсии ошибок уменьшаются, то процесс сходится. Очень часто при малых оказывается вполне достаточным уже первое приближение: не имеет смысла требовать нахождения с точностью, значительно превышающей Во многих практически важных случаях (и в частности, при оценке сложных нелинейных связей) количество неизвестных параметров бывает весьма большим, и поэтому реализация Н. к. м. оказывается эффективной лишь при использовании современной вычислительной техники. Лит.:[1] Марков А. А., Исчисление вероятностей, 4 изд., М., 1924; [2] Колмогоров А. Н., "Успехи матем. наук", 1946, т. 1, в. 1, с. 57-70; [3] Линник Ю. В., Метод наименьших квадратов и . основы математико-статистической теории обработки наблюдений, 2 изд., М., 1962; [4] Налимов В. В., Применение математической статистики при анализе вещества, М., 1960; [5] Helmert F. R., Die Ausgleichungsrechnung nach der Methode der kleinsten Quadrate, 3 Aufl., Lpz.- В., 1924. Л. Н. Большее.


Смотреть значение Наименьших Квадратов Метод в других словарях

Метод — м. и метода ж. способ, порядок, основания; принятый путь для хода, достижения чего-либо, в виде общих правил. -дический, порядочный, правильный, основательный, постепенный;........
Толковый словарь Даля

Метод — (нов. офиц.). Сокращение, употр. в новых сложных словах в знач. методический, напр. методбюро.
Толковый словарь Ушакова

Метод М. И Устар. Метода Ж. — 1. Способ познания, подход к изучению явлений природы и общественной жизни. 2. Прием, система приемов в какой-л. области деятельности.
Толковый словарь Ефремовой

Метод... — 1. Начальная часть сложных слов, вносящая значение сл.: методический (методбюро, методкабинет, методобъединение и т.п.).
Толковый словарь Ефремовой

Аналитический Метод Прогнозирования — Метод прогнозирования, основанный на получении экспертных оценок путем логического анализа прогнозной модели.
Политический словарь

Бихевиоральный Метод — (от англ. "бихевиор" - поведение) - в политологии предполагает исследование политических явлений и процессов через анализ поведения индивидов и групп при исполнении........
Политический словарь

Дельфийский Метод, Метод Делфи — Метод коллективной экспертной оценки, основанный на выявлении согласованной оценки экспертной группы путем их автономного опроса в несколько туров, предусматривающего........
Политический словарь

Матричный Метод Прогнозирования — Метод прогнозирования, основанный на использовании матриц, отражающих значения (веса) вершин граф-модели объекта прогнозирования, с последующим преобразованием матриц........
Политический словарь

Метод — - средство анализа, способ проверки и оценки знания.
Политический словарь

Метод Деструктивной Отнесенной Оценки — Метод коллективной генерации идей, реализуемый посредством двух разнесенных во время сессий, первая из которых полностью подчиняется правилам коллективной генерации........
Политический словарь

Метод Индивидуальной Экспертной Оценки — Метод прогнозирования, основанный на использовании в качестве источника информации одного эксперта.
Политический словарь

Метод Интервью — Метод индивидуальной экспертной оценки, основанный на беседе эксперта с прогнозистом по схеме "вопрос -- ответ".
Политический словарь

Метод Исторической Аналогии — Метод прогнозирования, основанный на установлении и использовании аналогии объекта прогнозирования с одинаковым по природе объектом, опережающим первый в своем развитии.
Политический словарь

Метод Коллективной Генерации Идей — Метод коллективной экспертной оценки, основанный на стимулировании творческой деятельности экспертов путем совместного обсуждения конкретной проблемы, регламентированного........
Политический словарь

Метод Коллективной Экспертной Оценки — Метод прогнозирования, основанный на выявлении обобщенной объективированной оценки экспертной группы путем обработки индивидуальных, независимых оценок, вынесенных........
Политический словарь

Метод Математической Аналогии — Метод прогнозирования, основанный на установлении аналогии математических описаний процессов развития различных по природе объектов с последующим использованием........
Политический словарь

Метод Построения Прогнозного Сценария — Аналитический метод прогнозирования, основанный на установлении логической последовательности состояний объекта прогнозирования и прогнозного фона во времени при........
Политический словарь

Метод Прогнозирования — Способ исследования объекта прогнозирования, направленный на разработку прогнозов. Примечание. Методы прогнозирования являются основанием для методик прогнозирования.
Политический словарь

Метод Психо-интеллектуальной Генерации Идей — Метод индивидуальной экспертной оценки, при котором выявление экспертной оценки осуществляется с помощью программированного управления, включающего обращение к........
Политический словарь

Метод Управляемой Генерации Идей — Метод коллективной генерации идей с использованием целенаправленного интеллектуального воздействия (усиливающего или подавляющего) на процесс генерации идей.
Политический словарь

Метод Эвристического Прогнозирования — Аналитический метод прогнозирования, состоящий в построении и последующем усечении дерева поиска экспертной оценки с использованием какой-либо эвристики.
Политический словарь

Метод Экспертных Комиссий — Метод коллективной экспертной оценки, состоящий в совместной работе объединенных в комиссию экспертов, разрабатывающих документ о перспективах развития объекта прогнозирования.
Политический словарь

Опережающий Метод Прогнозирования — Метод прогнозирования, основанный на использовании свойства научно-технической информации опережать реализацию научно-технических достижений в общественной практике.
Политический словарь

Патентный Метод Прогнозирования — Опережающий метод прогнозирования, основанный на оценке (по принятой системе критериев) изобретений и исследовании динамики их патентования.
Политический словарь

Публикационный Метод Прогнозирования — Опережающий метод прогнозирования, основанный на оценке публикаций об объекте прогнозирования (по принятой системе критериев) и исследовании динамики их публикования.
Политический словарь

Синоптический Метод — Метод прогнозирования, основанный на анализе экспертами известного множества прогнозов объекта прогнозирования и прогнозного фона с последующим их синтезом.
Политический словарь

Системный Метод В Политологии — - рассмотрение политики как целостного, сложно организованного, саморегулирующегося механизма, находящегося в непрерывном взаимодействии с окружающей средой.
Политический словарь

Сравнительный Метод В Политологии — - сопоставление однотипных политических явлений и процессов и выявление их общих черт и специфики с целью нахождения оптимальных форм политической организации или путем решения задач.
Политический словарь

Статистический Метод Прогнозирования — Фактографический метод прогнозирования, основанный на построении и анализе динамических рядов характеристик объекта прогнозирования.
Политический словарь

Фактографический Метод Прогнозирования — Метод прогнозирования, базирующийся на использовании источников фактографической информации.
Политический словарь

Посмотреть еще слова :