Ensamble

Question 1

Define Sesgo (Bias)

Answer 1

Def:
Es el error causado por suposiciones demasiado simplificadas en el modelo, lo que lleva a un rendimiento pobre en los datos de entrenamiento y de prueba (subajuste).
En promedio que tan diferente es nuestra función predictora a la funcion real.
Un modelo con alto sesgo no logra capturar las relaciones subyacentes y patrones complejos en los datos, lo que resulta en predicciones que pueden ser sistemáticamente inexactas.

Question 2

Define Varianza (Variance)

Answer 2

Def:
Es el error causado por la sensibilidad del modelo a las pequeñas variaciones en los datos de entrenamiento, lo que lleva a un rendimiento inconsistente en los datos de prueba (sobreajuste).
Que tanto $\hat{f}$ es inconsistente en las diferentes set de entrenamientos.

Question 3

Modelos de ensamble

Answer 3

Los modelos de ensamble en machine learning son técnicas que combinan las predicciones de múltiples modelos base para producir un único modelo con un rendimiento mejorado. La idea fundamental detrás de los ensambles es que al combinar múltiples modelos, se pueden aprovechar las fortalezas individuales y mitigar sus debilidades, lo que a menudo resulta en un modelo final más robusto y preciso.

Question 4

Cuales son los tipos de ensamble ?

Answer 4

Bagging, Boosting y stacking

Question 5

Explica como funciona los arboles de decisión?

Answer 5

Estructuras binarias que dividen un conjunto de datos hasta obtener nodos puros. Estos arboles dividen los datos en nodos basados en condiciones y su producto final son nodos hojas que representan las clases puras.

Question 6

Nombra los componentes principales de un arbol de decisión

Answer 6

1. Ríz
2. Rama
3. Nodo
4. Hoja

Question 7

Que es la ‘INFORMATION GAIN (IG)?

Answer 7

Es una métrica que se utiliza para seleccionar las características que mejor dividan el conjunto de datos. Buscando subgrupos homogéneos en relación con la variable objetivo. Escensialmente es una medida de la reducciónde la entropía o impureza que resulta de dividir el conjunto de datos según una característica específica.

Question 8

Que busca el arbol de decision en sus nodos?

Answer 8

Maximizar la IG por lo tanto minimizar la impureza para poder dividir de mejor manera el conjunto de datos.

Question 9

Qué es el overfiting ?

Answer 9

Ocurre cuando nuestro modelo no es bueno generalizando nuevos datos. Esto significa que cuando ingreso datos que no fueron visto en el entrenamiento el modelo no los va a predecir de manera correcta.

Test acc < Training acc

Question 10

Como solucionamos el overfiting?

Answer 10

• Tunear los hiperparámetros
• Cross validation
• Buscando un modelo menos complejo

Question 11

Qué es el underfiting?

Answer 11

Es cuando el modelo no es lo suficientemente complejo para caracterizar la tendencia de los datos por lo que no aproxima bien una función que explique los datos de entrenamiento ni menos los datos nuevos que se le puedan pasar al modelo.

Question 12

A que se debe generalmente el undefitting?

Answer 12

Generalmente se debe a que en el entrenamiento:
- Falta de tiempo
- No hay suficientes datos
- Un mal modelo (Tratar de usar un modelo de regresión lineal cuando en realidad tienes un modelo cuadratico, cubico etc.)

Question 13

Como solucionamos el underfitting?(5)

Answer 13

Aumentar la complejidad del modelo (por ejemplo, agregar más capas en una red neuronal o usar un modelo más complejo).

Aumentar el número de características (features) relevantes en el modelo.

Reducir la regularización (por ejemplo, disminuir el valor de ( \lambda ) en la regularización Lasso o Ridge).

Aumentar el tiempo de entrenamiento

cambiar el algoritmo de optimización(funcion de perdida)

Question 14

Explica el trade-off the sesgo y varianza y en que consiste

Answer 14

El trade-off entre sesgo y varianza en machine learning describe cómo ajustamos la complejidad de un modelo para optimizar su rendimiento general. Un modelo con alto sesgo podría ser demasiado simple y no captura bien la complejidad de los datos, lo que lleva a errores por generalizaciones incorrectas. Por otro lado, un modelo con alta varianza puede adaptarse demasiado a los datos de entrenamiento, incluyendo el ruido, y fallar al generalizar a nuevos datos. El objetivo es encontrar un equilibrio adecuado donde el modelo sea lo suficientemente complejo para aprender patrones significativos, pero sin sobreajustarse. Esto se maneja ajustando la complejidad del modelo y utilizando técnicas como la validación cruzada y la regularización para asegurar que el modelo generalice bien a nuevos conjuntos de datos.

Question 15

Cuales son las formas comunes que se maneja el trade-off entre sesgo y varianza.

Answer 15

1. • Validación cruzada: Evaluar el rendimiento del modelo en diferentes subconjuntos de datos para ajustar la complejidad y evitar el sobreajuste.
2. -Regularización (L1, L2): Penalizar los modelos excesivamente complejos para reducir la varianza sin aumentar mucho el sesgo.
3. • Ajuste de parámetros del modelo: Como limitar la profundidad de los árboles de decisión para simplificar el modelo y mejorar su capacidad de generalización.
     4.- Selección de características: Reducir el número de variables para disminuir la complejidad y mejorar la estabilidad del modelo.

Question 16

por que es necesaraia la validacion cruzada?

Answer 16

La validación cruzada es necesaria porque permite que el modelo sea entrenado y validado en múltiples subconjuntos del conjunto de entrenamiento, reduciendo así el riesgo de sesgo que surge al usar solo una parte de los datos. Al rotar qué datos se usan para el entrenamiento y cuáles para la validación, aseguramos que el modelo vea diferentes aspectos de los datos durante su entrenamiento. Esto ayuda a evaluar mejor la capacidad del modelo para generalizar a nuevos datos, evitando que se ajuste demasiado a un único conjunto de entrenamiento y mejorando la fiabilidad de las predicciones en datos no vistos

Question 17

Que es OOB?

Answer 17

El error Out-of-Bag, o OOB, es una técnica de validación usada en modelos de ensamble que implementan bagging, como los Random Forests. Se calcula usando los datos no seleccionados para el entrenamiento de cada modelo (datos ‘out-of-bag’) como un conjunto de prueba interno, proporcionando una estimación eficiente del error de generalización sin necesidad de un conjunto de prueba adicional.

• 63 % en promedio es usado en el entrenamiento
• El restante 37 % consituye el OOB

Question 17

Define Bagging

Answer 17

Múltiples modelos bases; usualmente el mismo, se entrenan de forma independiente en diferentes subconjuntos de datos que se seleccionan con reemplazo del conjunto de datos original.Esto permite que cada modelo aprenda de diferentes muestras de datos, reduciendo la varianza del modelo final. La prediccion final en clasificacion se obtiene por mayoria de votos y en regresion por el promedio de las predicciones.

Question 18

Que e sun random Forest?

Answer 18

Es un metodo de ensamble que utiliza múltiples árboles de decisión para realizar predicciones. Se basa en el principio de un grupo de modelos débiles(dt) puede combinarse para formar un modelo fuerte

Question 19

En que se diferencia Bagging y Boosting ?

Answer 19

Bagging y Boosting son técnicas de ensamble. Bagging reduce la varianza entrenando múltiples modelos independientes en subconjuntos de datos y combinando sus predicciones, usualmente con votación o promedio. Funciona bien en paralelo. Por otro lado, Boosting reduce tanto sesgo como varianza construyendo modelos secuencialmente que aprenden de los errores de los modelos anteriores, asignando más peso a los errores recientes, y combina sus predicciones de manera ponderada. Boosting es un proceso secuencial.

Question 20

Nombra los tipos de Boosting

Answer 20

1.- AdaBoost (Adaptive Boosting): Uno de los métodos de boosting más antiguos y populares que ajusta los pesos de las observaciones según los errores de los modelos anteriores.
2.- Gradient Boosting: Mejora el modelo secuencialmente usando el gradiente del error para minimizar una función de pérdida.
3.- XGBoost (Extreme Gradient Boosting): Optimización del Gradient Boosting tradicional con mejoras en la eficiencia, escalabilidad y manejo de overfitting.
4.- LightGBM (Light Gradient Boosting Machine): Similar a XGBoost pero más eficiente con grandes conjuntos de datos y manejo de datos dispersos.
5.- CatBoost: Especializado en manejar datos categóricos directamente y utiliza un esquema de codificación de características para mejorar la precisión y velocidad.

Question 21

Nombra los tipos de bagging

Answer 21

Random Forests: Es la implementación más conocida y utilizada de bagging. Entrena múltiples árboles de decisión, cada uno en un subconjunto aleatorio de los datos de entrenamiento, y utiliza la votación mayoritaria o el promedio para las predicciones.

Pasting: Similar al bagging tradicional, pero los subconjuntos de datos se seleccionan sin reemplazo, es decir, no se permite que las mismas muestras aparezcan más de una vez en el mismo subconjunto.

Bagging Regressors/Classifiers: Se pueden aplicar bagging a varios tipos de modelos predictivos, no solo a árboles de decisión. Por ejemplo, se pueden usar modelos lineales, SVMs, entre otros, como base de los modelos de ensamble en bagging.

Bootstrap Aggregating: Es el término completo para bagging y se refiere al proceso de muestreo aleatorio con reemplazo del conjunto de datos original para formar subconjuntos, sobre los cuales se entrenan modelos independientes.

Question 22

Define ADABOOST

Answer 22

Corresponde a un algoritmo de boosting que funciona entrenando secuencialmente una serie de modelos debiles (generalmente arboles). Cada modelo subsiguiente se enfoca en las instancias que fueron mal predichas por el modelo anterior, ajustando sus pesos para incrementar su importancia en el entrenamiento siguiente. Esto se hace para mejorar la precisión del modelo ensamblado final.

Question 23

¿Cómo funciona un Voting Classifier y qué tipos hay?

Answer 23

Un Voting Classifier combina las predicciones de varios modelos base mediante un voto más popular (clasificación) o promedio (regresión). Hay dos tipos: Hard Voting (votación mayoritaria) y Soft Voting (votación por ponderación).

Question 24

Explica cómo funciona el Gradient Boosting.

Answer 24

Gradient Boosting construye árboles de decisión secuencialmente, donde cada árbol nuevo intenta corregir los errores del anterior. Utiliza el error residual como etiquetas para los nuevos árboles, ajustando el modelo en áreas donde no desempeña bien.

Question 25

¿Cuáles son algunos métodos para ajustar hiperparámetros?

Answer 25

Algunos métodos para ajustar hiperparámetros incluyen Grid Search, Random Search, Optimización Basada en Gradientes y Bayesian Optimization. Estos métodos buscan encontrar la mejor combinación de hiperparámetros para mejorar el rendimiento del modelo.