Estadística Multivariada

class: front

<!---
Para correr en ATOM
- open terminal, abrir R (simplemente, R y enter)
- rmarkdown::render('static/docpres/07_interacciones/7interacciones.Rmd', 'xaringan::moon_reader')

About macros.js: permite escalar las imágenes como [scale 50%](path to image), hay si que grabar ese archivo js en el directorio.
--->

.pull-left[
# Estadística Multivariada
## Juan Carlos Castillo
## Sociología FACSO - UChile
## 1er Sem 2021
## [.purple[multivariada.netlify.com]](https://multivariada.netlify.com)
]

.pull-right[
.right[
 
## Sesión 6: .purple[Regresión múltiple (2)]
![:scale 70%](https://multivariada.netlify.com/img/hex_multiva.png)

]

]
---

layout: true
class: animated, fadeIn

---
class: inverse, bottom, right, animated, slideInRight

# **Contenidos**

## 1. Repaso de sesión anterior

## 2. Bases de control y parcialización

## 3. Demostración parcialización

---
class: roja, middle, right

# 1. Repaso sesión anterior

---

.pull-left-narrow[

## Base: Modelo de regresión (simple)

`$$\widehat{Y}=b_{0} +b_{1}X$$`

.center[
![:scale 100%](../images/regmod.png)]
]

.pull-right-wide[

- Se estima mediante el método de mínimos cuadrados ordinarios (OLS)

- Permite estimar el valor de una variable ( `$\widehat{Y}$` ) a partir del valor conocido de otra variable ( `$X$` )

- La estimación se expresa en el coeficiente de regresión `$b_{1}$`, también llamado "beta" o pendiente

- Este coeficiente se interpreta de la siguiente manera: Por cada unidad que aumenta X, Y aumenta en `$b_{1}$` unidades
]

---
# Regresión múltiple

.pull-left[
 
### - Más de un predictor (x)
### - Modelo sumativo
]

.pull-right[

.center[
![](../05-regmul1/regmod4.png)
]
]

`$$\widehat{Y}=\beta_{0} +\beta_{1}X_{1} + \beta_{2}X_{2}+ \beta_{3}X_{3}+...+\beta_{k}X_{k}$$`

---
# Regresión múltiple y predictores correlacionados

.center[
![:scale 80%](corr-pred.png)
]

---
.pull-left-wide[
## Control estadístico
- ¿Qué efecto posee el nivel educacional en ingreso, _controlando por_ inteligencia?
]
.pull-right-narrow[
![](../05-regmul1/ingresoeducexp.png)
]

**Conceptualmente:**
.small[
- aislar el efecto de educación en ingreso, manteniendo la inteligencia _constante_.

- estimar el efecto de educación en ingreso independiente del efecto de la inteligencia

- estimación del efecto de educación en ingreso _ceteris paribus_ (manteniendo el efecto del resto de los predictores constante)
]

---

---
class: inverse

### RESUMEN

- Los coeficientes de regresión (X) no alteran su valor en los modelos en ausencia de correlación entre ellos

- Si hay correlación entre predictores, el valor de los coeficientes de regresión será distinto en modelos simples y en modelos múltiples

- Por ello, en regresión múltiple se habla de coeficientes de regresión **parciales**

---
class: roja, middle, center

# 2. Bases de control y parcialización
---

# Ejemplo (mínimo): Datos

.medium[

```
##    ID    ingr educ intelig
## 1   1  100000    2       1
## 2   2  200000    1       3
## 3   3  200000    3       3
## 4   4  300000    3       1
## 5   5  300000    4       2
## 6   6  500000    6       2
## 7   7  650000    5       3
## 8   8  800000    4       2
## 9   9  900000    5       3
## 10 10 1000000    6       3
```
]

---
# Ejemplo: Descriptivos

.medium[

<table style="text-align:center"><tr><td colspan="8" style="border-bottom: 1px solid black"></td></tr><tr><td style="text-align:left">Statistic</td><td>N</td><td>Mean</td><td>St. Dev.</td><td>Min</td><td>Pctl(25)</td><td>Pctl(75)</td><td>Max</td></tr>
<tr><td colspan="8" style="border-bottom: 1px solid black"></td></tr><tr><td style="text-align:left">ID</td><td>10</td><td>6</td><td>3</td><td>1</td><td>3.2</td><td>7.8</td><td>10</td></tr>
<tr><td style="text-align:left">ingr</td><td>10</td><td>495,000</td><td>323,565</td><td>100,000</td><td>225,000</td><td>762,500</td><td>1,000,000</td></tr>
<tr><td style="text-align:left">educ</td><td>10</td><td>4</td><td>2</td><td>1</td><td>3</td><td>5</td><td>6</td></tr>
<tr><td style="text-align:left">intelig</td><td>10</td><td>2</td><td>1</td><td>1</td><td>2</td><td>3</td><td>3</td></tr>
<tr><td colspan="8" style="border-bottom: 1px solid black"></td></tr></table>
]
---
# Ejemplo: correlaciones

.pull-left[.medium[

```
##         ingr educ intelig
## ingr    1.00 0.77    0.44
## educ    0.77 1.00    0.27
## intelig 0.44 0.27    1.00
```
]
]
--

.pull-right[
![](6_regmul2_files/figure-html/unnamed-chunk-6-1.png)
]

---
.pull-left[
**Ingreso <- educación ( `$X_1$` )**

![](6_regmul2_files/figure-html/unnamed-chunk-7-1.png)
]

.pull-right[
**Ingreso <- intelig ( `$X_2$` )**

![](6_regmul2_files/figure-html/unnamed-chunk-8-1.png)
]

---
# Ejemplo: scatter X1 X2

.pull-left[
![](6_regmul2_files/figure-html/unnamed-chunk-9-1.png)
]

.pull-right[
.medium[
- presencia de correlación entre predictores

- idea de control estadístico: ¿Cuál es la influencia de educación en ingreso, independiente de la inteligencia?

- **controlando por** inteligencia

]]

---
# Regresión

.small[

]
.small[

---
class: inverse 
## RESUMEN

- Regresión múltiple: más de un predictor

- No es equivalente a realizar regresiones múltiples por separado con cada predictor y luego simplemente "sumarlas"

- Predictores correlacionados: requiere consideración, ya que de otra manera se estaría sobreestimando el efecto de `$X$` en `$Y$`

---
class: inverse

## RESUMEN (2)

- Además de ser una corrección estadística, el control se relaciona con preguntas sustantivas basadas en teoría

- El output de regresión múltiple realiza automáticamente el control estadístico vía parcialización de coeficientes.

- ¿Cuál es el cálculo detrás de la parcialización / control estadístico?

... a continuación.

---
class: roja, center, middle

# 3. Demostración parcialización

---
# Antecedentes

- la **parcialización** que permite el control estadístico es un calculo de mediana complejidad

- su complejidad aumenta a medida que aumenta el número de predictores

- por ello, los softwares lo realizan de manera automática, no es necesario realizarlo por cuenta propia

- **PERO**  ... vale la pena demostrarlo, para entender de qué se trata

---
# Parcialización 1

_¿Cómo se despeja la regresión de `$Y$` en `$X_1$` del efecto de `$X_2$`?_

.pull-left[
.center[![:scale 65%](../05-regmul1/ingresoeducexp.png)]
]

.pull-right[
.center[![:scale 65%](ingeduc_parint.png)]
]

---
class: center middle

# Implica despejar `$X_1$` de su correlación con `$X_2$`, o **parcializar** `$X_1$` de `$X_2$`

---
.pull-left[
# Parcialización 3

.medium[
¿Como obtenemos una variable `$X_1$` parcializada de `$X_2$`?
]

.center[
![:scale 100%](../images/partial2.png)]
]
--

.pull-right[

.medium[
- Pensemos en que `$X_1$` parcializada (de `$X_2$` ) es todo lo de `$X_1$` (varianza) que no tiene que ver con `$X_2$`

- En otras palabras, en un modelo donde `$X_1$` es la variable dependiente y `$X_2$` la independiente, `$X_1$` parcializada equivale al **residuo** de esta regresión
]
]
---
# Parcialización 4

Por lo tanto, para **demostrar** el concepto de parcialización en el ejemplo, los pasos son:

1. Regresión entre predictores

2. Obtención del residuo de la regresión

3. Regresión de `$Y$` en el residuo (=la variable parcializada)

---
# Parcialización 5

.pull-left[
**1.Regresión entre predictores **

```r
reg_x1_x2=lm(educ ~ intelig, data=datos)
coef(reg_x1_x2)
```

```
## (Intercept)     intelig 
##   2.6557377   0.5409836
```
]

.pull-right[
.medium[
Por lo tanto, tenemos que nuestro modelo de regresión entre predictores, con educación como dependiente es:

`$$\widehat{educacion}=2.66+0.541_{inteligencia}$$`]]

---
class: center, middle

`$$\widehat{educacion}=2.66+0.541_{inteligencia}$$`

![](6_regmul2_files/figure-html/unnamed-chunk-13-1.png)

---
# Parcialización 6

**2.Obtención de residuo (valor estimado - observado)**

.small[

```
##    ID    ingr educ intelig x1_fit_x2    resx1_2
## 1   1  100000    2       1  3.196721 -1.1967213
## 2   2  200000    1       3  4.278689 -3.2786885
## 3   3  200000    3       3  4.278689 -1.2786885
## 4   4  300000    3       1  3.196721 -0.1967213
## 5   5  300000    4       2  3.737705  0.2622951
## 6   6  500000    6       2  3.737705  2.2622951
## 7   7  650000    5       3  4.278689  0.7213115
## 8   8  800000    4       2  3.737705  0.2622951
## 9   9  900000    5       3  4.278689  0.7213115
## 10 10 1000000    6       3  4.278689  1.7213115
```
]
---

Ejemplo caso 1: inteligencia=1

Estimando valor predicho según nuestro modelo:

`$$\widehat{educacion}=2.66+0.541*1=3.196$$`

- **3.196** es el valor predicho de educación para una persona de inteligencia = 1

- sabemos que el valor observado de educación para el caso 1 es igual a **2**

- por lo tanto, el residuo para este caso (valor observado - valor estimado `$=2-3.196=-1.196$`

---
### Parcialización 7: Regresión de Y en variable `$X_1$` parcializada = `$X_{1.2}$`

.small[

<table cellspacing="0" align="center" style="border: none;">
<caption align="bottom" style="margin-top:0.3em;"> </caption>
<tr>
<th style="text-align: left; border-top: 2px solid black; border-bottom: 1px solid black; padding-right: 12px;"></th>
<th style="text-align: left; border-top: 2px solid black; border-bottom: 1px solid black; padding-right: 12px;">Model 1</th>
<th style="text-align: left; border-top: 2px solid black; border-bottom: 1px solid black; padding-right: 12px;">Model 2</th>
<th style="text-align: left; border-top: 2px solid black; border-bottom: 1px solid black; padding-right: 12px;">Model 3</th>
<th style="text-align: left; border-top: 2px solid black; border-bottom: 1px solid black; padding-right: 12px;">Model 4</th>
</tr>
<tr>
<td style="padding-right: 12px; border: none;">(Intercept)</td>
<td style="padding-right: 12px; border: none;">-91566.27</td>
<td style="padding-right: 12px; border: none;">93442.62</td>
<td style="padding-right: 12px; border: none;">-270638.30</td>
<td style="padding-right: 12px; border: none;">495000.00***</td>
</tr>
<tr>
<td style="padding-right: 12px; border: none;"></td>
<td style="padding-right: 12px; border: none;">(183509.80)</td>
<td style="padding-right: 12px; border: none;">(302389.31)</td>
<td style="padding-right: 12px; border: none;">(241882.27)</td>
<td style="padding-right: 12px; border: none;">(79673.16)</td>
</tr>
<tr>
<td style="padding-right: 12px; border: none;">educ</td>
<td style="padding-right: 12px; border: none;">150401.61**</td>
<td style="padding-right: 12px; border: none;"></td>
<td style="padding-right: 12px; border: none;">137092.20*</td>
<td style="padding-right: 12px; border: none;"></td>
</tr>
<tr>
<td style="padding-right: 12px; border: none;"></td>
<td style="padding-right: 12px; border: none;">(43618.69)</td>
<td style="padding-right: 12px; border: none;"></td>
<td style="padding-right: 12px; border: none;">(44602.35)</td>
<td style="padding-right: 12px; border: none;"></td>
</tr>
<tr>
<td style="padding-right: 12px; border: none;">intelig</td>
<td style="padding-right: 12px; border: none;"></td>
<td style="padding-right: 12px; border: none;">174590.16</td>
<td style="padding-right: 12px; border: none;">100425.53</td>
<td style="padding-right: 12px; border: none;"></td>
</tr>
<tr>
<td style="padding-right: 12px; border: none;"></td>
<td style="padding-right: 12px; border: none;"></td>
<td style="padding-right: 12px; border: none;">(124491.71)</td>
<td style="padding-right: 12px; border: none;">(90114.05)</td>
<td style="padding-right: 12px; border: none;"></td>
</tr>
<tr>
<td style="padding-right: 12px; border: none;">resx1_2</td>
<td style="padding-right: 12px; border: none;"></td>
<td style="padding-right: 12px; border: none;"></td>
<td style="padding-right: 12px; border: none;"></td>
<td style="padding-right: 12px; border: none;">137092.20*</td>
</tr>
<tr>
<td style="padding-right: 12px; border: none;"></td>
<td style="padding-right: 12px; border: none;"></td>
<td style="padding-right: 12px; border: none;"></td>
<td style="padding-right: 12px; border: none;"></td>
<td style="padding-right: 12px; border: none;">(52404.36)</td>
</tr>
<tr>
<td style="border-top: 1px solid black;">R2</td>
<td style="border-top: 1px solid black;">0.60</td>
<td style="border-top: 1px solid black;">0.20</td>
<td style="border-top: 1px solid black;">0.66</td>
<td style="border-top: 1px solid black;">0.46</td>
</tr>
<tr>
<td style="padding-right: 12px; border: none;">Adj. R2</td>
<td style="padding-right: 12px; border: none;">0.55</td>
<td style="padding-right: 12px; border: none;">0.10</td>
<td style="padding-right: 12px; border: none;">0.56</td>
<td style="padding-right: 12px; border: none;">0.39</td>
</tr>
<tr>
<td style="padding-right: 12px; border: none;">Num. obs.</td>
<td style="padding-right: 12px; border: none;">10</td>
<td style="padding-right: 12px; border: none;">10</td>
<td style="padding-right: 12px; border: none;">10</td>
<td style="padding-right: 12px; border: none;">10</td>
</tr>
<tr>
<td style="border-bottom: 2px solid black;">RMSE</td>
<td style="border-bottom: 2px solid black;">217656.84</td>
<td style="border-bottom: 2px solid black;">307471.84</td>
<td style="border-bottom: 2px solid black;">214438.31</td>
<td style="border-bottom: 2px solid black;">251948.67</td>
</tr>
<tr>
<td style="padding-right: 12px; border: none;" colspan="6">***p &lt; 0.001, **p &lt; 0.01, *p &lt; 0.05</td>
</tr>
</table>
]

---
# Parcialización 8

Ahora, lo mismo pero parcializando inteligencia ( `$X_2$` ) de educación ( `$X_1$` )

**1.Regresión de `$X_2$` (inteligencia) en `$X_1$` (educación)**

**2. Obtención del residuo de la regresión (inteligencia parcializada de educación)**

**3. Regresión de `$Y$` (ingreso) en la variable parcializada `$X_{2.1}$`**

---
### Comparación final modelos

.small[

<table cellspacing="0" align="center" style="border: none;">
<caption align="bottom" style="margin-top:0.3em;"> </caption>
<tr>
<th style="text-align: left; border-top: 2px solid black; border-bottom: 1px solid black; padding-right: 12px;"></th>
<th style="text-align: left; border-top: 2px solid black; border-bottom: 1px solid black; padding-right: 12px;">Model 1</th>
<th style="text-align: left; border-top: 2px solid black; border-bottom: 1px solid black; padding-right: 12px;">Model 2</th>
<th style="text-align: left; border-top: 2px solid black; border-bottom: 1px solid black; padding-right: 12px;">Model 3</th>
<th style="text-align: left; border-top: 2px solid black; border-bottom: 1px solid black; padding-right: 12px;">Model 4</th>
<th style="text-align: left; border-top: 2px solid black; border-bottom: 1px solid black; padding-right: 12px;">Model 5</th>
</tr>
<tr>
<td style="padding-right: 12px; border: none;">(Intercept)</td>
<td style="padding-right: 12px; border: none;">-91566.27</td>
<td style="padding-right: 12px; border: none;">93442.62</td>
<td style="padding-right: 12px; border: none;">-270638.30</td>
<td style="padding-right: 12px; border: none;">495000.00***</td>
<td style="padding-right: 12px; border: none;">495000.00**</td>
</tr>
<tr>
<td style="padding-right: 12px; border: none;"></td>
<td style="padding-right: 12px; border: none;">(183509.80)</td>
<td style="padding-right: 12px; border: none;">(302389.31)</td>
<td style="padding-right: 12px; border: none;">(241882.27)</td>
<td style="padding-right: 12px; border: none;">(79673.16)</td>
<td style="padding-right: 12px; border: none;">(105186.77)</td>
</tr>
<tr>
<td style="padding-right: 12px; border: none;">educ</td>
<td style="padding-right: 12px; border: none;">150401.61**</td>
<td style="padding-right: 12px; border: none;"></td>
<td style="padding-right: 12px; border: none;">137092.20*</td>
<td style="padding-right: 12px; border: none;"></td>
<td style="padding-right: 12px; border: none;"></td>
</tr>
<tr>
<td style="padding-right: 12px; border: none;"></td>
<td style="padding-right: 12px; border: none;">(43618.69)</td>
<td style="padding-right: 12px; border: none;"></td>
<td style="padding-right: 12px; border: none;">(44602.35)</td>
<td style="padding-right: 12px; border: none;"></td>
<td style="padding-right: 12px; border: none;"></td>
</tr>
<tr>
<td style="padding-right: 12px; border: none;">intelig</td>
<td style="padding-right: 12px; border: none;"></td>
<td style="padding-right: 12px; border: none;">174590.16</td>
<td style="padding-right: 12px; border: none;">100425.53</td>
<td style="padding-right: 12px; border: none;"></td>
<td style="padding-right: 12px; border: none;"></td>
</tr>
<tr>
<td style="padding-right: 12px; border: none;"></td>
<td style="padding-right: 12px; border: none;"></td>
<td style="padding-right: 12px; border: none;">(124491.71)</td>
<td style="padding-right: 12px; border: none;">(90114.05)</td>
<td style="padding-right: 12px; border: none;"></td>
<td style="padding-right: 12px; border: none;"></td>
</tr>
<tr>
<td style="padding-right: 12px; border: none;">resx1_2</td>
<td style="padding-right: 12px; border: none;"></td>
<td style="padding-right: 12px; border: none;"></td>
<td style="padding-right: 12px; border: none;"></td>
<td style="padding-right: 12px; border: none;">137092.20*</td>
<td style="padding-right: 12px; border: none;"></td>
</tr>
<tr>
<td style="padding-right: 12px; border: none;"></td>
<td style="padding-right: 12px; border: none;"></td>
<td style="padding-right: 12px; border: none;"></td>
<td style="padding-right: 12px; border: none;"></td>
<td style="padding-right: 12px; border: none;">(52404.36)</td>
<td style="padding-right: 12px; border: none;"></td>
</tr>
<tr>
<td style="padding-right: 12px; border: none;">resx2_1</td>
<td style="padding-right: 12px; border: none;"></td>
<td style="padding-right: 12px; border: none;"></td>
<td style="padding-right: 12px; border: none;"></td>
<td style="padding-right: 12px; border: none;"></td>
<td style="padding-right: 12px; border: none;">100425.53</td>
</tr>
<tr>
<td style="padding-right: 12px; border: none;"></td>
<td style="padding-right: 12px; border: none;"></td>
<td style="padding-right: 12px; border: none;"></td>
<td style="padding-right: 12px; border: none;"></td>
<td style="padding-right: 12px; border: none;"></td>
<td style="padding-right: 12px; border: none;">(139782.00)</td>
</tr>
<tr>
<td style="border-top: 1px solid black;">R2</td>
<td style="border-top: 1px solid black;">0.60</td>
<td style="border-top: 1px solid black;">0.20</td>
<td style="border-top: 1px solid black;">0.66</td>
<td style="border-top: 1px solid black;">0.46</td>
<td style="border-top: 1px solid black;">0.06</td>
</tr>
<tr>
<td style="padding-right: 12px; border: none;">Adj. R2</td>
<td style="padding-right: 12px; border: none;">0.55</td>
<td style="padding-right: 12px; border: none;">0.10</td>
<td style="padding-right: 12px; border: none;">0.56</td>
<td style="padding-right: 12px; border: none;">0.39</td>
<td style="padding-right: 12px; border: none;">-0.06</td>
</tr>
<tr>
<td style="padding-right: 12px; border: none;">Num. obs.</td>
<td style="padding-right: 12px; border: none;">10</td>
<td style="padding-right: 12px; border: none;">10</td>
<td style="padding-right: 12px; border: none;">10</td>
<td style="padding-right: 12px; border: none;">10</td>
<td style="padding-right: 12px; border: none;">10</td>
</tr>
<tr>
<td style="border-bottom: 2px solid black;">RMSE</td>
<td style="border-bottom: 2px solid black;">217656.84</td>
<td style="border-bottom: 2px solid black;">307471.84</td>
<td style="border-bottom: 2px solid black;">214438.31</td>
<td style="border-bottom: 2px solid black;">251948.67</td>
<td style="border-bottom: 2px solid black;">332629.78</td>
</tr>
<tr>
<td style="padding-right: 12px; border: none;" colspan="7">***p &lt; 0.001, **p &lt; 0.01, *p &lt; 0.05</td>
</tr>
</table>
]

---
# Comparando pendientes

.pull-left[
**Ingreso <- educ `$X_1$`**

![](6_regmul2_files/figure-html/unnamed-chunk-21-1.png)
]

.pull-right[
**Ingreso <- educ.parcial `$X_{1.2}$`**

![](6_regmul2_files/figure-html/unnamed-chunk-22-1.png)
]

---
## Matriz de correlaciones con variables parcializadas

.center[
![](6_regmul2_files/figure-html/unnamed-chunk-24-1.png)
]

---
# Fórmulas directas de regresores parciales:

`$$b_1=\biggl(\frac{s_y}{s_1}\biggr)\biggl(\frac{r_{y1}-r_{y2}r_{12}}{1-r^2_{12}}\biggr)$$`

`$$b_2=\biggl(\frac{s_y}{s_2}\biggr)\biggl(\frac{r_{y2}-r_{y1}r_{12}}{1-r^2_{12}}\biggr)$$`

---
class: roja

## RESUMEN

- El control estadístico es central en regresión múltiple

- Pregunta: ¿Es la relación entre _X_ e _Y_ _realmente_ debida a _X_, o hay otras variables que podrían dar cuenta de esta relación?

- El control se implementa agregando predictores en el modelo que por razones teóricas se presume pueden afectar la relación del regresor principal en _Y_

---
class: roja

## RESUMEN (2)

- En términos técnicos, el control estadístico opera mediante *parcialización*: los predictores se parcializan mutuamente, generando coeficientes de regresión parciales.

- El regresor parcial entonces es un regresor ajustado por la presencia de otro(s) regresore(s)

- Por lo tanto, ahora los betas de regresión se pueden sumar apropiadamente, sin distorsionar la predicción

---
class: inverse, middle, center

## PROXIMA CLASE:

# INFERENCIA EN REGRESIÓN

---
class: front

.pull-left[
# Estadística Multivariada
## Juan Carlos Castillo
## Sociología FACSO - UChile
## 1er Sem 2021
## [multivariada.netlify.com](https://multivariada.netlify.com)
]

.pull-right[
.right[
 
![:scale 80%](https://multivariada.netlify.com/img/hex_multiva.png)
]

]