5.6 Minimi Quadrati

Mentre con i metodi precedenti cercavamo dei polinomi che passassero esattamente nei punti assegnati, discutiamo adesso il caso in cui si ricerchi una funzione che approssimi i punti dati. Questa ricerca ? dovuta al fatto che a volte abbiamo una enorme quantit? di dati, spesso affetti da errore e necessariamente deve venir meno la condizione di passaggio per i punti $(x_i,f_i)$ con $i=0,1,\ldots,n$.
Consideriamo come spazio delle funzioni

$$\bgroup\color{darkgreen} \mbox{\cal S}=<\varphi_0(x),\varphi_1(x),\ldots,\varphi_m(x)> \egroup$$

quello che faremo ? assumere che $m$ sia molto minore di $n$.

Figura 5.2: Esempio minimi quadrati

Quando si parla di approssimazione dei minimi quadrati si vuole definire una funzione dello spazio vettoriale $\mbox{\cal S}$

$$\bgroup\color{darkgreen} \Phi(x)=\sum_{j=0}^{m}c_j \varphi_j(x) \egroup$$

e si vogliono quindi determinare i coefficienti $c_j$ in modo che sia minima la quantit?

$$\bgroup\color{darkgreen} \min_{c_0,c_1,\ldots,c_m} \sum_{i=0}^n \left(f_i - \Phi(x_i)\right)^2 \egroup$$

si noti che le distanze fra i punti e la funzione sono elevate al quadrato per poter amplificare gli errori pi? grandi, in questo modo si ottiene un'approssimazione migliore.
Definiamo quindi la funzione dell'errore come $g(c_0,c_1,\ldots,c_m)$ funzione quadratica e cerchiamo di minimizzarla vedendo dove si annulla il gradiente:

$$\bgroup\color{darkgreen} \nabla g=0 \Rightarrow \frac{\parti... ...partial c_k}(c_0,c_1,\ldots,c_m) \qquad k=0,\ldots,m \egroup$$

dove, per definizione

$$\bgroup\color{darkgreen} \frac{\partial g}{\partial c_k}=-2\... ...phi_j(x_i)\right)\varphi_k(x_i)=0 \qquad k=0,\ldots,m \egroup$$

cio?, riscrivendo il tutto in forma esplicita

$$\sum_{i=0}^n \sum_{j=0}^m c_j \varphi_j(x_i) \varphi_k(x_i) = \sum_{i=0}^n f_i \varphi_k(x_i) \qquad k=0,\ldots,m$$

$$\sum_{j=0}^m c_j \underbrace{\left(\sum_{i=0}^n \varphi_j(x_i) \varphi_k(x_i)\right)}_{m_{kj}} = \underbrace{\sum_{i=0}^n f_i \varphi_k(x_i)}_{b_k} \qquad k=0,\ldots,m$$

$$\sum_{j=0}^m m_{kj} c_j = b_k \qquad k=0,\ldots,m$$

che scritto in forma matriciale forma il sistema lineare detto sistema delle equazioni normali

$$\bgroup\color{darkgreen} M \overline{c} = \overline{b} \egroup$$

dove

$$\bgroup\color{darkgreen} \overline{c}= \left(\begin{array}{... ...le\sum_{i=0}^n f_i \varphi_m(x_i) \end{array}\right) \egroup$$

vediamo invece adesso come ? fatta $M$,

$$\bgroup\color{darkgreen} m_{kj}=\sum_{i=0}^n \varphi_j(x_i) \varphi_k(x_i) \egroup$$

notiamo che $m_{jk}=m_{kj}$ cio? $M$ ? simmetrica ed inoltre vogliamo che sia semi-definita positiva.
Definiamo quindi $M=A^TA$ dove $A$ viene detta matrice di collocazione e le sue dimensioni sono $(n+1)\times(m+1)$:

$$\bgroup\color{darkgreen} A=\left(\begin{array}{ccc} \varphi... ...rphi_m(x_0) & & \varphi_m(x_n)\\ \end{array}\right) \egroup$$

Quindi vediamo che $M$ ? proprio semi-definita positiva, infatti

$$\bgroup\color{darkgreen} x^TMx=x^TA^TAx=(\underbrace{Ax}_y)^... ...brace{Ax}_y= y^Ty \ge 0 \qquad \forall \; M : M=A^TA \egroup$$

supposto che $x \neq \overline{0}$ vorremmo che $M$ fosse definita positiva, cio? che e $y\neq 0$.
Supposto questo sistema rettangolare:

$$\bgroup\color{darkgreen} Ax=0 \egroup$$

• se $rg(A)=m+1$, cio? $A$ ha rango massimo, allora esiste solo la soluzione banale $x = \overline{0}$
• se $rg(A)<m+1$ allora esiste almeno una soluzione non banale

quindi $M$ ? definita positiva, cio? non singolare, quando $A$ ha rango massimo.
Prendiamo la base canonica e fissato lo spazio $\mbox{\cal S}$ come

$$\bgroup\color{darkgreen} \mbox{\cal S}=<1,x,x^2,\ldots,x^m> \egroup$$

avremo un'approssimazione ai minimi quadrati di tipo polinomiale. In questo caso la matrice di collocazione $A$ sar? una generalizzazione della matrice di Vandermonde

$$\bgroup\color{darkgreen} A=\left(\begin{array}{ccccc} 1 & x... ...ldots& x_n^m\\ \end{array}\right)_{(n+1)\times(m+1)} \egroup$$

occorre adesso che sia possibile estrarre un sottoinsieme $m+1$ di ascisse distinte affinch? il rango della matrice $A$ sia massimo, ma per la struttura della matrice di Vandermonde ? subito verificato.