Tema2 Flashcards
¿Qué es el sobreajuste en el aprendizaje supervisado?
El sobreajuste ocurre cuando un modelo se ajusta demasiado a los datos de entrenamiento, logrando errores de entrenamiento bajos pero errores de generalización altos.
Esto significa que el modelo no generaliza bien a nuevos datos.
¿En qué consiste la validación cruzada?
La validación cruzada divide el conjunto de datos en K subconjuntos y realiza K iteraciones en las que usa diferentes subconjuntos para entrenamiento y prueba.
Esto ayuda a evaluar el rendimiento del modelo de manera más robusta.
¿Cuál es la diferencia entre exactitud y precisión en clasificación?
La exactitud mide la proporción total de predicciones correctas, mientras que la precisión mide la proporción de verdaderos positivos sobre todas las predicciones positivas.
¿Qué es la validación hold-out?
Es una estrategia de validación donde se divide el conjunto de datos en entrenamiento y prueba, usando porcentajes fijos como 70%-30%.
¿Qué representa la métrica MAE en regresión?
El MAE (Mean Absolute Error) es el promedio de los valores absolutos de las diferencias entre los valores reales y predichos.
¿Cómo se detecta el subajuste en un modelo?
Se detecta cuando los errores de entrenamiento y generalización son altos y similares, lo que indica que el modelo no está capturando bien la información de los datos.
¿Por qué es importante separar los datos de entrenamiento y prueba?
Para evaluar correctamente la capacidad de generalización del modelo y evitar el sobreajuste.
¿Qué es la validación anidada?
Es un procedimiento que combina validación cruzada y ajuste de parámetros para seleccionar el mejor modelo sin sesgar los resultados.
En la validación cruzada, se usa siempre el mismo conjunto de datos para entrenamiento y prueba. (V/F)
Falso. Se crean K subconjuntos diferentes en cada iteración.
Un modelo con sobreajuste generaliza bien en datos nuevos. (V/F)
Falso. El modelo se ajusta demasiado a los datos de entrenamiento y falla con datos nuevos.
La validación hold-out siempre usa un 80%-20% en la división de datos. (V/F)
Falso. Se pueden usar otras proporciones como 70%-30% o 66%-34%.
El MAE y el RMSE son métricas utilizadas en problemas de regresión. (V/F)
Verdadero. Ambas métricas miden la diferencia entre los valores reales y los predichos.
La precisión en clasificación es la proporción de verdaderos positivos sobre el total de positivos predichos. (V/F)
Verdadero. Mide qué tan confiables son las predicciones positivas.
Un modelo con alta sensibilidad detecta correctamente la mayoría de los casos positivos. (V/F)
Verdadero. La sensibilidad mide la capacidad del modelo para identificar correctamente los casos positivos.
En una validación cruzada con K=5, cada bolsa se usa solo una vez como conjunto de test. (V/F)
Verdadero. Cada bolsa es usada una vez como test y el resto como entrenamiento.
La validación anidada ayuda a evitar el sobreajuste en la selección de hiperparámetros. (V/F)
Verdadero. Utiliza una validación interna para encontrar los mejores parámetros antes de probar en el conjunto de test.
El sobreajuste ocurre cuando el modelo se ajusta demasiado a los datos de ___________.
entrenamiento.
La validación ___________ divide los datos en K subconjuntos y los usa en diferentes iteraciones.
cruzada.
La ___________ mide la proporción de aciertos sobre el total de predicciones en clasificación.
exactitud.
En regresión, el ___________ mide la media de los errores absolutos entre valores reales y predichos.
MAE.
La validación ___________ se basa en dividir los datos en conjuntos de entrenamiento y prueba.
hold-out.
En problemas de clasificación, una matriz de ___________ organiza los aciertos y errores del modelo.
confusión.
La ___________ mide la proporción de verdaderos positivos sobre el total de casos positivos reales.
sensibilidad.
La validación ___________ usa validación interna para el ajuste de parámetros antes de evaluar el modelo final.
anidada.
¿Qué es el sobreajuste en un modelo de aprendizaje automático?
B) Cuando el modelo se ajusta demasiado a los datos de entrenamiento.
¿Qué métrica se usa para medir la diferencia absoluta entre valores reales y predichos en regresión?
B) MAE.
¿Qué técnica de validación divide el conjunto de datos en K subconjuntos y los rota en entrenamiento y prueba?
B) Validación cruzada.
¿Cuál de estas métricas NO se usa en clasificación?
C) MAE.
¿Qué sucede si un modelo tiene una sensibilidad del 100% pero una precisión baja?
A) Detecta todos los casos positivos pero tiene muchos falsos positivos.
¿Cuál es una ventaja de la validación cruzada sobre la validación hold-out?
B) Usa múltiples subconjuntos para evaluación, reduciendo sesgos.
¿Qué estrategia de validación es más adecuada cuando se busca optimizar hiperparámetros?
C) Validación anidada.
¿Qué es la validación leave-one-out?
A) Una validación donde cada muestra es usada una vez como test y el resto como entrenamiento.
Define el concepto de validación hold-out.
Es una técnica de validación en la que se divide el conjunto de datos en entrenamiento y prueba, comúnmente en proporciones como 70%-30% o 66%-34%.
¿Qué es la validación cruzada?
Es una técnica en la que el conjunto de datos se divide en K partes y se realizan K iteraciones de entrenamiento y prueba con diferentes subconjuntos.
Explica la métrica de exactitud en clasificación.
La exactitud mide el porcentaje de predicciones correctas sobre el total de predicciones realizadas.
¿Qué es el MAE en regresión?
El MAE (Mean Absolute Error) es la media de los valores absolutos de las diferencias entre los valores reales y los valores predichos por un modelo.
¿Qué representa la matriz de confusión en clasificación?
Es una matriz que muestra el número de predicciones correctas e incorrectas para cada clase en un problema de clasificación.
¿Cómo se define la métrica de sensibilidad en clasificación?
La sensibilidad mide la proporción de casos positivos correctamente identificados sobre el total de casos positivos reales.
¿Cuál es la principal diferencia entre sobreajuste y subajuste?
El sobreajuste ocurre cuando un modelo aprende demasiado los datos de entrenamiento y no generaliza bien, mientras que el subajuste se da cuando el modelo no captura suficiente información de los datos.
¿Qué es la validación anidada?
Es una técnica de validación que combina validación cruzada con ajuste de parámetros, permitiendo evaluar modelos sin sesgar los resultados.
¿Por qué es importante dividir los datos en entrenamiento y prueba?
Para evaluar correctamente el rendimiento de un modelo y evitar que se ajuste solo a los datos de entrenamiento sin generalizar a datos nuevos.
Explica por qué la validación cruzada es preferible a la validación hold-out en algunos casos.
La validación cruzada proporciona una evaluación más fiable del rendimiento del modelo, ya que usa múltiples subconjuntos de prueba en diferentes iteraciones, reduciendo la dependencia de una única partición de datos.
¿Cómo se puede detectar si un modelo está sobreajustado?
Se detecta comparando los errores de entrenamiento y generalización; si los errores de entrenamiento son bajos pero los de prueba son altos, el modelo está sobreajustado.
¿Por qué la precisión y la sensibilidad pueden estar en conflicto en clasificación?
Porque al aumentar la precisión (reduciendo falsos positivos), se puede reducir la sensibilidad (no detectando algunos verdaderos positivos), y viceversa.
Explica el concepto de validación estratificada y su utilidad.
Es una técnica que mantiene la misma distribución de clases en los conjuntos de entrenamiento y prueba, lo que evita problemas de desbalanceo y mejora la evaluación del modelo.
¿Cómo afecta el número de K en la validación cruzada?
Un número bajo de K puede generar evaluaciones inexactas, mientras que un número alto (como K=n en leave-one-out) puede ser computacionalmente costoso, por lo que un valor intermedio como K=10 es comúnmente usado.
¿Por qué la validación anidada ayuda a seleccionar modelos sin sesgo?
Porque separa el proceso de ajuste de hiperparámetros del proceso de evaluación, asegurando que el modelo final no esté optimizado directamente sobre el conjunto de prueba.
¿Cómo se pueden mejorar los modelos con subajuste?
Aumentando la complejidad del modelo, agregando más características o ajustando hiperparámetros para que capture mejor los patrones en los datos.
