МИНИСТЕРСТВО ОБРАЗОВАНИЯ И НАУКИ РФ
ФЕДЕРАЛЬНОЕ ГОСУДАРСТВЕННОЕ БЮДЖЕТНОЕ
ОБРАЗОВАТЕЛЬНОЕ УЧРЕЖДЕНИЕ
ВЫСШЕГО ОБРАЗОВАНИЯ
«ВОРОНЕЖСКИЙ ГОСУДАРСТВЕННЫЙ
УНИВЕРСИТЕТ»
А. Н. Гудович, Н. Н. Гудович
ЭЛЕМЕНТЫ ЧИСЛЕННЫХ МЕТОДОВ
Выпуск 3
Метод наименьших квадратов
Учебное пособие
Воронеж
Издательский дом ВГУ
2016
Стр.1
§ 1. Понятие о методе наименьших квадратов
ским многочленом
Пусть требуется приблизить функцию f на отрезке [a, b] алгебраичеpn(x)
= c0 + c1x + … + cixi + … + cnxn
(1.1)
степени не выше n.
В качестве меры близости многочлена pn к функции f в точке x естественно
принять величину
| f(x) – pn(x) |,
(1.2)
которую условимся называть уклонением многочлена pn от функции f в точке
x, а в качестве меры близости многочлена pn к функции f на всем отрезке
[a, b] – максимальное значение
ma () ()
ax b
≤≤
x f xp x
− n
(1.3)
уклонения (1.2) на отрезке [a, b].
Величина (1.3) называется равномерным уклонением многочлена pn от
функции f на отрезке [a, b]. Наличие здесь наименования «равномерный»
объясняется тем, что если величина (1.3) окажется меньше заданного ε, то
уклонение (1.2) многочлена pn от функции f в точке x будет меньше ε сразу
для всех точек x из отрезка [a, b], то есть будет меньше ε равномерно по x.
В качестве меры близости функций f и pn можно также использовать
среднее значение уклонений (1.2) на отрезке [a. b], то есть величину
b a
1
−
b
a
f ( x ) p ( x ) dx ,
− n
(1.4)
которую естественно назвать средним уклонением pn от f на отрезке [a, b].
Наконец, можно вместо уклонений (1.2) взять квадраты этих уклонений,
вычислить среднее по отрезку [a, b] значение этих квадратов и извлечь
из полученного среднего квадратный корень. Тогда получится величина
b
b a
1
−
a( f ( x ) p ( x )) dx ,
− n
2
(1.5)
которую называют среднеквадратичным уклонением pn от f на отрезке
[a, b].
Заметим, что наличие в выражении (1.5) знака квадратного корня вызвано,
в частности, желанием получить для среднеквадратичного уклонения
ту же размерность, какую имеют значения функций. Например, если в рассматриваемой
физической задаче величины f(x), pn(x) измеряются в метрах,
то квадрат разности этих величин имеет размерность м2, и при отсутствии
квадратного корня среднеквадратичное уклонение оказалось бы так же ве3
Стр.3
F( c ,c ) = ( x 1 c c x ) dx .
0 1
щим выражениям
∂ =∂
F 1
0
∂ =∂
F
c1
+ − − 1
2( x 1 c c x )( x )dx = −2 ( x 1)xdx 2c xdx 2c1 x dx.
Если заменить здесь определенные интегралы их численными значе1
0
2
0
−
1
0
2
+
+
0
1
0
+
1
0
2
ниями
и после этого приравнять полученные выражения для частных производных
нулю, то для нахождения неизвестных c0, c1 получится система
линейных алгебраических уравнений
c0 + (1 / 2 )c1 = ( 4 / 3 ), (1 / 2 )c (1 / 3 )c1 = ( 3 / 4 ).
0 +
(1.9)
Решая эту систему, получим для искомых коэффициентов значения
c0 = 5/6, c1 = 1. Следовательно, многочленом наилучшего среднеквадратичного
приближения в данном случае служит многочлен p1(x) = (5/6) + x.
Предлагаем читателю выполнить самостоятельно следующее упражнение.
Упражнение
1.3. Изобразить на одном чертеже графики функции
f(x) = x2 + 1 и полученных в предыдущих упражнениях многочленов наилучшего
среднеквадратичного приближения p0, p1 соответственно нулевой
и первой степени для визуального решения вопроса о том, какой из этих
многочленов ближе к приближаемой функции.
Замечание 1.4. Описанный выше способ приближения функций с помощью
многочленов наилучшего среднеквадратичного приближения в вычислительной
практике носит название метода наименьших квадратов.
Замечание 1.5. Аналогов метода наименьших квадратов для построения
многочленов наилучшего равномерного приближения и многочленов
наилучшего среднего приближения не существует. Причина этого состоит в
том, что функции F(c0, c1, …, cn), получаемые подстановкой правой части
равенства (1.1) в выражения (1.3), (1.4), из-за наличия в этих выражениях
операции взятия абсолютной величины не являются дифференцируемыми
по переменным c0, c1, …, cn, то есть не имеют частных производных по указанным
переменным. Этим и объясняется сложность построения многочленов
наилучшего равномерного приближения и многочленов наилучшего
среднего приближения.
6
c0
+ − − 1
2( x 1 c c x )( 1)dx = − 2 ( x 1)dx 2c0 dx 2c1 xdx ,
2
0
−
1
0
2
+
+
1
0
+
1
0
1
0
2
+ − − 1
0
2
(1.8)
Вычисления частных производных функции (1.8) приводят к следую
Стр.6
§ 2. СКАЛЯРНЫЕ ПРОИЗВЕДЕНИЯ ФУНКЦИЙ
Пусть функции v, w заданы на одном и том же отрезке [a, b]. Если перемножить
значения этих функций в точке x, то есть рассмотреть произведение
z(x)
= v(x)w(x),
(2.1)
то получится заданная на том же отрезке новая функция переменной x – известное
из курса алгебры обычное произведение функций v, w. Если же
взять среднее по отрезку [a, b] значение величины (2.1), то есть среднее
значение функции z по указанному отрезку, то получим число
v,w = − v( x )w( x )dx ,
b a
1
b
a
(2.2)
которое и называется скалярным произведением функций v, w.
Напомним, что в естествознании скаляром называют величину, значениями
которой являются числа; это и объясняет появление такого термина
в наименовании скалярного произведения.
Отметим, что для обозначения скалярного произведения мы ввели
специальный символ – острые скобки, чтобы в дальнейшем отличать скалярное
произведение от обычного произведения функций.
Замечание 2.1. Скалярное произведение (2.2) можно рассматривать
как обобщение понятия скалярного произведения векторов. В самом деле,
функции v, w можно трактовать как бесконечномерные векторы, у которых
роль индексов координат играют точки x, а роль самих координат – значения
функций в указанных точках. Как и в случае конечномерных векторов,
в определении (2.2) скалярного произведения функций перемножаются координаты
v(x), w(x), отвечающие одному и тому же значению индекса x, но
ввиду того, что в отличие от конечномерного случая число индексов x бесконечно,
произведения координат не суммируются, а интегрируются по отрезку
[a, b].
Замечание 2.2. Скалярное произведение функций обладает теми же
свойствами, что и скалярное произведение векторов и, более того, теми же
свойствами, что и обычное произведение чисел. Это позволяет преобразовывать
скалярные произведения функций по тем же правилам, по которым
раскрывают скобки в школьном курсе алгебры.
Эти свойства таковы.
1) Перестановочность сомножителей:
v, w w, v .
=
7
Стр.7
произведения:
2) Возможность вынесения числового множителя за знак скалярного
λ λv, w , v, w =λ λv, w .
v, w =
3) Распределительный закон умножения относительно сложения:
v, w v, y .
v w, y = v, y w, y , v, w y+ =
+
+
+
Справедливость выписанных соотношений очевидным образом вытекает
из свойств определенных интегралов.
Приступим теперь к выводу системы уравнений для нахождения коэффициентов
многочлена наилучшего среднеквадратичного приближения.
Отметим, что мы не случайно ввели в рассмотрение скалярное произведение
функций. В самом деле, если сопоставить формулу (1.5) с формулой
(2.2), то легко убедиться в том, что подкоренное выражение F в формуле
(1.5), которое минимизируется в методе наименьших квадратов, может
быть представлено в виде скалярного произведения
F f p , f p−
= −
n
n
.
члена (1.1). Для этого рассмотрим базисные функции
φ0(x) ≡ 1, φ1(x) = x, φ2(x) = x2, …, φn(x) = xn
(2.3)
Выразим величину F через коэффициенты приближающего много(2.4)
и
будем трактовать формулу (1.1) для приближающего многочлена pn как
представление этого многочлена в виде линейной комбинации
pn = c0 φ0 + c1 φ1 + c2 φ2 + … + cn φn
(2.5)
функций (2.4) с коэффициентами c0, c1,…, cn. Опираясь на свойства 1), 2), 3)
скалярного произведения функций, преобразуем равенство (2.3) к виду
F f , f − 2 f , pn + p , p ,
=
F( c , c , ...,c ) = f , f 2 f , ciϕ +
i 0
0 1
n
−
= ==
n
i
n
i 0
ciϕ ϕj
j 0
i ,
n
c j
n
n
(2.6)
и подставим сюда вместо pn линейную комбинацию (2.5). Тогда получим
следующее выражение
(2.7)
для величины F как функции коэффициентов c0, c1,…, cn. Далее еще раз используем
свойства 1), 2), 3) и в результате приходим к окончательному
представлению
F( c , c , ...,c ) = f , f 2 c f ,ϕ +
i 0
0 1
n
−
==
n
i
i
n
i , j 0
c c ϕ,ϕj
i
j
i
(2.8)
для функции F.
Заметим, что при переходе от равенства (2.6) к равенству (2.7) мы намеренно
заменили в третьем слагаемом справа один и тот же многочлен pn
8
Стр.8
суммами с разными индексами суммирования. Сделано это было для того,
чтобы иметь в дальнейшем возможность записать это слагаемое в виде
двойной суммы с индексами i и j.
Приступим теперь к нахождению частных производных функции (2.8).
Пусть m – какое-либо целое в интервале от нуля до n.
Поскольку первое слагаемое в правой части (2.8) не зависит от cm, производная
от него по переменной cm равна нулю.
Что же касается второго слагаемого в правой части (2.8), то переменную
cm в нем содержит лишь член суммы со значением индекса i, равным m.
Дифференцируя по cm выражение
водной от рассматриваемого слагаемого величину
.
− 2 f , mϕ
(2.9)
Наконец, в третьем слагаемом правой части равенства (2.8) – двойной
сумме с индексами суммирования i, j – переменную cm содержит, вопервых,
член двойной суммы со значениями i, j, равными m, то есть член
c c ϕ ϕ ϕ ϕ= cm
m m m m
,
2
m m
,
с производной по cm, равной, очевидно, выражению
2cm m m,ϕϕ .
(2.10)
Во-вторых, переменную cm содержат те слагаемые двойной суммы, у
которых i = m, а индекс j принимает произвольные значения, отличные от
m, и слагаемые, у которых, наоборот, j = m, а индекс i принимает всевозможные
значения, отличные от m. Указанные слагаемые естественно сгруппировать
в две подсуммы
j 0, j m
m
= ≠
≠=i 0,i m
c c ϕ ϕ = cm
n
j m j
,
n
j 0, j m
=≠≠
c ϕ ϕ ,
j m j
,
i 0,i m
=
c ϕ ϕ ,
j 0, j m
j m j
,
n
n
c c ϕ,ϕ = cm
i m i m
=≠=
n
ci ϕ,ϕ .
i 0,i m
i m
n
ci ϕ,ϕ ,
i m
производные от которых по переменной cm имеют соответственно вид
≠
(2.11)
Если разбить величину (2.10) на два слагаемых, включив первое из
этих слагаемых в левую из сумм (2.11), а второе – в правую сумму, то производная
от рассматриваемой двойной суммы по cm совпадет с выражением
==
n
c ϕ ϕ +
j 0
j m j
,
n
i 0
ci ϕ,ϕ .
i m
(2.12)
Наконец, если в первой из фигурирующих в выражении (2.12) сумм
изменить в скалярных произведениях порядок сомножителей, а затем заме9
−
2cm ,f ϕ m , получим в качестве произ
Стр.9
нить в этой сумме индекс суммирования j на индекс суммирования i, то в
качестве окончательного представления для производной по cm от фигурирующей
в формуле (2.8) двойной суммы получим выражение
2 ci ϕϕi m .
i 0
=
n
,
Добавляя к этому выражению производную (2.9) от второго слагаемого
в формуле (2.8) и учитывая, что производная от первого слагаемого равна
нулю, приходим к равенству
∂ ∂ = −2 f , mϕ + =i 0
F / cm
2 ci ϕϕ .
n
i m
,
(2.13)
Теорема 2.3. Коэффициенты c0, c1,…, cn многочлена pn наилучшего
среднеквадратичного приближения для функции f на отрезке [a, b] удовлетворяют
системе линейных алгебраических уравнений
=
n
i 0
ci ϕϕ ϕ , m 0,1,...,n.
i m = f , m
,
=
(2.14)
Доказательство. По определению многочлена наилучшего среднеквадратичного
приближения набор его коэффициентов c0, c1, …, cn есть точка
минимума функции F(c0, c1, …, cn). Как известно из курса математического
анализа, необходимым условием минимума функции нескольких переменных
в данной точке является обращение в этой точке в нуль всех частных
производных первого порядка, которые в нашем случае задаются
формулами (2.13). Приравнивая правые части этих формул нулю, сокращая
полученные равенства на 2 и перенося затем скалярные произведения
функции f на базисные функции φm в правые части равенств, приходим к
системе (2.14).
Замечание 2.4. При выводе системы (2.14) мы воспользовались необходимым
условием минимума. Более детальный анализ, проводить который
в данном пособии мы не имеем возможности, показывает, что условия
(2.14) являются и достаточными для того, чтобы многочлен pn, коэффициенты
c0, c1, …, cn которого удовлетворяют этим условиям, был многочленом
наилучшего среднеквадратичного приближения.
Упражнение 2.5. Найти на отрезке [0, 1] многочлен первой степени
наилучшего среднеквадратичного приближения для функции f(x) = x2 + 1,
используя систему (2.14).
Решение. В данном случае n = 1, поэтому система (2.14) имеет вид
c ϕ ϕ ϕϕ ϕ ϕ ϕ ϕϕ ϕ= f ,
0 0 0 + c1 1 0 = f ,
,
,
0 , c0
10
0 1 + c1 1 1
,
,
1 .
(2.15)
Стр.10