Geometria dos m

1
Geometria dos mínimos quadrados

• Renato Assunção
• DCC-UFMG

2
Produção numa unidade da Itambé

• Y óleo consumido no mes
• X1 qte de acido graxo consumido
• X2 glicerina fabricada
• X3 numero de dias do mês
• X4 numero de dias operacionais
• X5 Dias abaixo de 32 graus
• X6 temperatura media do mes

3
Usando apenas Yoleo e xtemp
4
Gráfico de óleo x temperatura

• Y Óleo consumido
• X temperatura
• Clara relação linear

Dados americanos aqui
5
Modelo de regressão

• Cada valor Yi de oleo consumido e igual a soma
  de dois componentes
• Um componente que e uma reta desconhecida
• Um erro (desconhecido) em relacao a esta reta
• Yi ß0 ß1 xi ei
• Onde xi e a temperatura no dia i
• ei e o erro no dia i

6
Dos pontos para um sistema linear
7
Definições
8

• Y e vetor em R25
• X e matriz 25 x 2

9
(No Transcript)
10
Queremos Y Xß Ou então Y Xß e onde e e
pequeno Mas o que significa ter e pequeno e um
vetor...
11
Operações matriciais
12
Operações matriciais
Em geral, temos
OBS SEMPRE INVERSIVEL SE OS xs não forem todos
iguais
13
Mais uma operação
14
Retas demais, infinitas retas

• Queremos uma reta que fique bem proxima de todos
  os pontos.
• Uma reta que fica proxima de UM ÚNICO PONTO
  (digamos o i-esimo ponto) e uma reta em que
• ei Yi ( ß0 ß1 xi ) 0
• Mas queremos que isto seja verdade para TODOS OS
  PONTOS.

15
Caminhando...

• Isto e, queremos que
• ei Yi ( ß0 ß1 xi ) 0 para todo i
• Podemos então pedir que a soma de todos os ei
  0.
• Isto e, pedir que Si ei 0 (e sempre gt
  0).
• Uma solução achar a reta que minimiza

16
Mínimos quadrados

• Na verdade preferimos trabalhar com a soma dos
  QUADRADOS e não com a soma dos VALORES ABSLOUTOS
• Encontre ß0 e ß1 que minimizem
• A razão e que a função quadrática e derivável
  no seu ponto de mínimo

17
Quadrado ou valor absoluto?

• Media amostral de vetor e o
  valor
• A media amostral de x e o numero µ que minimiza

18
Quadrado ou valor absoluto?

• Mediana amostral de vetor
• Ordene os numeros.
• Se n for impar, pegue o valor do meio.
• Se n for par, pegue a media dos dois centrais
• A mediana amostral de x e o numero µ que
  minimiza

19
(No Transcript)
20

21
(No Transcript)
22
(No Transcript)
23
De equações para matriz

• Pode-se mostrar que a solução de mínimos
  quadrados
• Pode ser escrita de forma matricial como o vetor
  ß (XtX)-1 XtY
• Esta forma pode ser generalizada e gera
  interpretação geométrica

24

• Sejam e
• Observe que
• E uma combinação linear das duas colunas x e 1
  da matriz X
• Matriz maiúsculo e coluna minúsculo
  

25
Procurando por ...

• Nosso problema então e encontrar a combinação
  linear das duas colunas da matriz X que minimiza
  a distancia entre os vetores Y e Xß
• E isto vale sempre, mesmo que tenhamos varios
  fatores preditivos!!
• Vamos ver nosso exemplo com mais variáveis

26
Regressão múltipla
Xb e uma combinação linear das colunas de X
27
Queremos minimizar
Espaço vetorial das colunas de X
28
(No Transcript)
29
O que queremos?

• Queremos o vetor do espaco C(X) das colunas de X
  que seja o mais proximo de Y
• Distancia distancia euclidiana
• Y Xb2 deve ser minimo
• Este vetor Xb que minimiza e a projecao
  ortogonal de Y em C(X)
• E o único vetor Xb tal que Y-Xb e ortogonal a
  Xb

30
Espaço C(X) das colunas de X
31
Ddddddddddddddddddddd kkkkkkkkkkk
32
Equações normais

• Assim, temos 0 e portanto
• E a solução.

ß (XtX)-1 XtY