最小平方逼近多項式(Polynomials of Least square)

目的

我們想要用一個多項式來逼近另一個 function $f\in C[a,b]$，這個多項式我們寫成

$Pn(x)=a_0+a_1{x}^1+...+a_k{x}^k={\mathrm{\Sigma }}_{k=0}^n{a}_k{x}^k$

這樣的話 least square error，或一開始的 LDA 的 error 就會長 $f(x)-Pn(x)$，那一樣，我們要找到 $a_0,a_1,...,a_n$ 來最小化 $E$：

推導

而我們要最小化這個 $E$ 就要用到 gradient 了，也就是說 $\mathrm{\nabla }E(a_0,...,a_n)=0$，或妳也可以說 $\frac{\partial E}{\partial a_j}=0,j=0,1,...,n$

那我們就可以開始推了：

因為 A 是個 ill-condition 且稠密的矩陣，如果要解這個線性系統會很麻煩，非常沒有效率，因此我們就要換個建構多項式的方法，其中一種方法就是利用線性獨立來操作

在操作之前要先複習一個概念：一個多項式的集合 $\{{\varphi }_0,{\varphi }_1,...,{\varphi }_n\}$ 線性獨立 iff $c_0{\varphi }_0(x)+c_1{\varphi }_1(x)+...+c_n{\varphi }_n(x)=0\Rightarrow (c_0=c_1=...=c_n=0)$

那我們假設 ${\varphi }_j$ 是一個 degree 為 j 的多項式，那麼 $\{{\varphi }_0,{\varphi }_1,...,{\varphi }_n\}$ 在任何區間 $[a,b]$ 上都會線性獨立，因為他們 degree 不同，像是 $x^2$ 和 $x$ 就線性獨立

所以現在 $Pn(x)={\mathrm{\Sigma }}_{k=0}^n{a}_k{\varphi }_k(x)$，那一樣我們要找 $a_0$、$a_1...$ 等係數來最小化 $E$：

然後一樣找 gradient E = 0：

例子

Example 1. 勒壤得多項式 Legendre Function

那個 $L_0$、$L_1$... 是我們取的 $\varphi$

Example 2. 柴比雪夫多項式 Chebyshev polynomials

那個 $T_0$、$T_1$... 是我們取的 $\varphi$