Regresión Lineal Múltiple

El método de mínimos cuadrados y la ecuación normal

Consideraciones preliminares
• Se dispone de una base de datos con 𝑚 registros, cada uno con 𝑛
campos que corresponden a las 𝑛 variables independientes
• 𝑥𝑖𝑗 : representa el valor de la 𝑗 − é𝑠𝑖𝑚𝑎 variable independiente en el
𝑖 − é𝑠𝑖𝑚𝑜 registro
• Para cada registro hay un valor observado de la variable dependiente
asociado con los n campos
• 𝑦𝑖 : representa el valor de la variable dependiente en el 𝑖 − é𝑠𝑖𝑚𝑜
registro
𝑦𝑖 𝑥𝑖1 , 𝑥𝑖2 , ⋯ , 𝑥𝑖𝑗 , ⋯ , 𝑥𝑖𝑛
El Modelo

𝑦𝑖 = 𝛽መ0 + 𝛽መ1 𝑥𝑖1 + 𝛽መ2 𝑥𝑖2 + ⋯ + 𝛽መ𝑗 𝑥𝑖𝑗 + ⋯ + 𝛽መ𝑛 𝑥𝑖𝑛 + 𝜀𝑖

El Objetivo
Encontrar los estimadores de los parámetros del modelo (los betas)
que minimice la suma de los cuadrados de los errores del ajuste del
modelo a los datos observados
𝑛

𝑀𝑖𝑛𝑖𝑚𝑖𝑧𝑎𝑟 𝐽 𝛽መ = ෍ 𝑦𝑖 − 𝑦ො𝑖 2

𝑖=1

𝑛
2
𝑀𝑖𝑛𝑖𝑚𝑖𝑧𝑎𝑟 𝐽 𝛽መ = ෍ 𝑦𝑖 − 𝛽መ0 + 𝛽መ1 𝑥𝑖1 + 𝛽መ2 𝑥𝑖2 + ⋯ + 𝛽መ𝑗 𝑥𝑖𝑗 + ⋯ + 𝛽መ𝑛 𝑥𝑖𝑛
𝑖=1
Hacia la Ecuación Normal: preliminares
𝑦1 = 𝛽መ0 + 𝛽መ1 𝑥11 + 𝛽መ2 𝑥12 + ⋯ + 𝛽መ𝑗 𝑥1𝑗 + ⋯ + 𝛽መ𝑛 𝑥1𝑛 + 𝜀1

𝑦2 = 𝛽መ0 + 𝛽መ1 𝑥21 + 𝛽መ2 𝑥22 + ⋯ + 𝛽መ𝑗 𝑥2𝑗 + ⋯ + 𝛽መ𝑛 𝑥2𝑛 + 𝜀2

𝑦𝑖 = 𝛽መ0 + 𝛽መ1 𝑥𝑖1 + 𝛽መ2 𝑥𝑖2 + ⋯ + 𝛽መ𝑗 𝑥𝑖𝑗 + ⋯ + 𝛽መ𝑛 𝑥𝑖𝑛 + 𝜀𝑖

𝑦𝑚 = 𝛽መ0 + 𝛽መ1 𝑥𝑚1 + 𝛽መ2 𝑥𝑚2 + ⋯ + 𝛽መ𝑗 𝑥𝑚𝑗 + ⋯ + 𝛽መ𝑛 𝑥𝑚𝑛 + 𝜀𝑚

Hacia la Ecuación Normal: Notación Matricial
𝑦1 𝜀1
𝑦2 𝜀2
⋮ ⋮
𝑦1 = 𝛽መ0 + 𝛽መ1 𝑥11 + 𝛽መ2 𝑥12 + ⋯ + 𝛽መ𝑗 𝑥1𝑗 + ⋯ + 𝛽መ𝑛 𝑥1𝑛 + 𝜀1 𝑌= 𝑦 ;𝜀= 𝜀 ;
𝑖 𝑖
⋮ ⋮
𝑦2 = 𝛽መ0 + 𝛽መ1 𝑥21 + 𝛽መ2 𝑥22 + ⋯ + 𝛽መ𝑗 𝑥2𝑗 + ⋯ + 𝛽መ𝑛 𝑥2𝑛 + 𝜀2
𝑦𝑚 𝜀𝑚
⋮

𝑦𝑖 = 𝛽መ0 + 𝛽መ1 𝑥𝑖1 + 𝛽መ2 𝑥𝑖2 + ⋯ + 𝛽መ𝑗 𝑥𝑖𝑗 + ⋯ + 𝛽መ𝑛 𝑥𝑖𝑛 + 𝜀𝑖

1 𝑥11 𝑥12 ⋯ 𝑥1𝑗 ⋯ 𝑥1𝑛 𝛽መ1
1 𝑥21 𝑥22 ⋯ 𝑥2𝑗 ⋯ 𝑥2𝑛 𝛽መ2
⋮ ⋮ ⋮ ⋮ ⋱ ⋮ ⋱ ⋮
𝑋= ; 𝛽መ = ⋮
1 𝑥𝑖1 𝑥𝑖2 ⋯ 𝑥𝑖𝑗 ⋯ 𝑥𝑖𝑛 𝛽መ𝑖
𝑦𝑚 = 𝛽መ0 + 𝛽መ1 𝑥𝑚1 + 𝛽መ2 𝑥𝑚2 + ⋯ + 𝛽መ𝑗 𝑥𝑚𝑗 + ⋯ + 𝛽መ𝑛 𝑥𝑚𝑛 + 𝜀𝑚
⋮ ⋮ ⋮ ⋱ ⋮ ⋱ ⋮ ⋮
1 𝑥𝑚1 𝑥𝑚2 ⋯ 𝑥𝑚𝑗 ⋯ 𝑥𝑚𝑛 𝛽መ𝑚

𝑌 = 𝑋𝛽 + 𝜀
Hacia la Ecuación Normal: Notación Matricial
El modelo de regresión expresado en todos los puntos de la base de
datos se resume en:
𝑌 = 𝑋𝛽 + 𝜀

El objetivo del método de mínimos cuadrados es:

𝑀𝑖𝑛𝑖𝑚𝑖𝑧𝑎𝑟 𝐽 𝛽 = 𝜀 𝑇 𝜀

𝑀𝑖𝑛𝑖𝑚𝑖𝑧𝑎𝑟 𝐽 𝛽 = 𝑌 − 𝑋𝛽 𝑇 𝑌 − 𝑋𝛽
El caso del 𝑖 − é𝑠𝑖𝑚𝑜 registro

2
𝜀𝑖2 = 𝑦𝑖 − 𝛽መ0 + 𝛽መ1 𝑥𝑖1 + 𝛽መ2 𝑥𝑖2 + ⋯ + 𝛽መ𝑗 𝑥𝑖𝑗 + ⋯ + 𝛽መ𝑛 𝑥𝑖𝑛

2
𝜀𝑖2 = 𝑦𝑖 − 𝛽መ0 − 𝛽መ1 𝑥𝑖1 − 𝛽መ2 𝑥𝑖2 − ⋯ − 𝛽መ𝑗 𝑥𝑖𝑗 − ⋯ − 𝛽መ𝑛 𝑥𝑖𝑛

𝜕𝜀𝑖2
= 2 𝑦𝑖 − 𝛽መ0 − 𝛽መ1 𝑥𝑖1 − 𝛽መ2 𝑥𝑖2 − ⋯ − 𝛽መ𝑗 𝑥𝑖𝑗 − ⋯ − 𝛽መ𝑛 𝑥𝑖𝑛 −𝑥𝑖𝑗
𝜕 𝛽መ𝑗
 1 𝑥11 𝑥12 ⋯ 𝑥1𝑗 ⋯ 𝑥1𝑛

El caso del 𝑋=
1 𝑥21
⋮ ⋮
𝑥22
⋮
⋯
⋱
𝑥2𝑗
⋮
⋯
⋱
𝑥2𝑛
⋮
1 𝑥𝑖1 𝑥𝑖2 ⋯ 𝑥𝑖𝑗 ⋯ 𝑥𝑖𝑛
𝑖 − é𝑠𝑖𝑚𝑜 registro ⋮ ⋮ ⋮ ⋱ ⋮ ⋱ ⋮
1 𝑥𝑚1 𝑥𝑚2 ⋯ 𝑥𝑚𝑗 ⋯ 𝑥𝑚𝑛
𝜕𝜀𝑖2
= 2 𝑦𝑖 − 𝛽መ0 − 𝛽መ1 𝑥𝑖1 − 𝛽መ2 𝑥𝑖2 − ⋯ − 𝛽መ𝑗 𝑥𝑖𝑗 − ⋯ − 𝛽መ𝑛 𝑥𝑖𝑛 −1
𝜕𝛽መ0
𝑋𝑖𝑇
𝜕𝜀𝑖2
= 2 𝑦𝑖 − 𝛽መ0 − 𝛽መ1 𝑥𝑖1 − 𝛽መ2 𝑥𝑖2 − ⋯ − 𝛽መ𝑗 𝑥𝑖𝑗 − ⋯ − 𝛽መ𝑛 𝑥𝑖𝑛 −𝑥𝑖1
𝜕𝛽መ1
⋮ 𝜕𝜀 2
= −2𝑋𝑖𝑇 𝑦𝑖 − 𝑋𝑖 𝛽መ
𝜕𝛽መ
𝜕𝜀𝑖2
= 2 𝑦𝑖 − 𝛽መ0 − 𝛽መ1 𝑥𝑖1 − 𝛽መ2 𝑥𝑖2 − ⋯ − 𝛽መ𝑗 𝑥𝑖𝑗 − ⋯ − 𝛽መ𝑛 𝑥𝑖𝑛 −𝑥𝑖𝑗
መ
𝜕𝛽𝑗
⋮
2
𝜕𝜀𝑖
= 2 𝑦𝑖 − 𝛽መ0 − 𝛽መ1 𝑥𝑖1 − 𝛽መ2 𝑥𝑖2 − ⋯ − 𝛽መ𝑗 𝑥𝑖𝑗 − ⋯ − 𝛽መ𝑛 𝑥𝑖𝑛 −𝑥𝑖𝑛
𝜕𝛽መ𝑛
Generalizando a los 𝑚 registros
𝜕𝜀 𝑇 𝜀
= −2𝑋 𝑇 𝑌 − 𝑋𝛽መ 𝑋 𝑇 𝑌 − 𝑋 𝑇 𝑋𝛽መ = 0
𝜕 𝛽መ

−2𝑋 𝑇 𝑌 − 𝑋𝛽መ = 0 𝑋 𝑇 𝑋𝛽መ = 𝑋 𝑇 𝑌

𝑋𝑇 𝑋 −1 𝑋 𝑇 𝑋 𝛽መ = 𝑋𝑇 𝑋 −1 𝑋 𝑇 𝑌
𝑋 𝑌 − 𝑋𝛽መ = 0
𝑇

𝑋𝑇 𝑌 − 𝑋 𝑇 𝑋𝛽መ =0 𝛽መ = 𝑋 𝑇 𝑋 −1
𝑋𝑇 𝑌
Ecuación Normal del
MRLM