Análisis de ciencia de datos Flashcards
Introducción a la ciencia de datos, Adquisición y preparación de datos, Modelación y visualización
¿Qué es el análisis de datos descriptivo?
Ahonda en los datos pasados para averiguar información sobre lo acontecido en el histórico. Responde: “¿Qué ha pasado?”.
¿Qué es el análisis de datos predictivo?
Utilizan estadísticas y técnicas de modelado para hacer predicciones sobre resultados y rendimiento futuros. Examina los patrones de datos actuales e históricos para determinar si es probable que esos patrones vuelvan a surgir. Responde: “¿Qué va a pasar?”.
¿Qué es el análisis de datos prescriptivo?
Toma en cuenta la información sobre posibles situaciones o escenarios, los recursos disponibles, el rendimiento pasado y el rendimiento actual, y sugiere una estrategia operativa. Responde: “¿Cuál es la mejor estrategia a seguir?”.
¿Qué es un DataFrame en pandas?
Una estructura de datos bidimensional, similar a una tabla, con etiquetas de filas y columnas.
¿Qué librerías en Python se utilizan para la adquisición de datos?
pandas (CSV, Excel, JSON, SQL), requests (APIs), BeautifulSoup y Scrapy (scraping web).
¿Qué es un data model?
Un data model especifica como piensas el mundo.
¿Cuáles son los tipos de modelo?
Plano, relacional, documento, red.
¿Qué es un modelo plano?
Un modelo simple en donde hay un tipo de entidad y todas tienen el mismo atributo. Ejemplo: log files, cdv
¿Qué es un modelo relacional?
Un modelo con mucha entidades que están conectadas por relaciones. Ejemplo: SQL
¿Qué es un modelo documento?
Un modelo donde hay jerarquía de entidades. Ejemplo: XML, JSON
¿Qué es un modelo red?
Un modelo red compleja de entidades. Ejemplo: amigos en Facebook.
¿Para qué sirve la transformación de datos? (Data wrangling)
Tiene como objetivo extraer y estnadarizar raw data. Combinar multiples fuentes y limpiar anomalías.
¿Qué tipos de problemas de datos podemos enfrentar?
Valores faltantes, incorrectos, inconsistencia en la representación.
¿Cómo podemos identificar outliers?
Con una visualización de la distribución de valores de una variable.
¿Cuál es una técnica de reducción de dimensionalidad?
Principal Component Analysis (PCA). Reduce el número de dimensiones en grandes conjuntos de datos a componentes principales que conservan la mayor parte de la información original.
¿Qué es la correlación?
La correlación indica la fuerza y la dirección de una relación lineal y la proporcionalidad entre dos variables estadísticas.
¿Qué es el coeficiente de correlación de Pearson?
Es un coeficiente de correlación que mide la correlación lineal entre dos conjuntos de datos.
Verdadero o falso: correlación implica causalidad.
Falso. La base de una asociación o correlación observada entre entre dos eventos o variables no basta para deducir legítimamente una relación de causa y efecto.
¿Qué es la paradoja de Simpson?
La paradoja de Simpson es un fenómeno en probabilidad y estadística en el que una tendencia aparece en varios grupos de datos pero desaparece o se invierte cuando los grupos se combinan.
¿Cuáles son algunas distribuciones importantes?
Normal, poisson, exponencial, binomial, multinomial, ley de potencias.
¿Qué es un modelo de regresión?
Es un modelo estadístico que estima la relación entre una variable dependiente y una o más variables independientes, generalmente para hacer predicciones o entender relaciones.
¿Cuáles son los casos de usos de una regresión?
- Predicción: Utilice el modelo ajustado para estimar el resultado y para un nuevo
X no observado durante el ajuste del modelo - Análisis descriptivo: comparar resultados promedio entre
subgrupos de datos - Modelado causal: comprender cómo cambia el resultado “y” cuando se manipulan los predictores “X”
¿Cuáles son los tipos principales de modelos de regresión?
- Regresión lineal (simple y múltiple)
- Regresión logística
- Regresión polinómica
- Regresión ridge y lasso (regularización)
- Regresión no lineal
¿Cuál es la diferencia entre regresión lineal simple y múltiple?
Regresión lineal simple: Hay una sola variable predictora.
Y=β0+β1X
Regresión lineal múltiple: Hay más de una variable predictora.
Y=β0+β1X1+β2X2+…+βnn
¿Qué significa el término “coeficiente de regresión”?
Es el valor que multiplica a cada variable independiente en la ecuación de regresión y representa cuánto cambia la variable dependiente cuando la independiente aumenta en una unidad.
¿Cuáles son los supuestos de la regresión lineal?
- Linealidad: La relación entre las variables es lineal.
- Independencia de los errores: No hay correlación entre los errores.
- Homoscedasticidad: La varianza de los errores no depende de los valores de las variables predictoras.
- Normalidad de los errores: Los residuos deben seguir una distribución normal.
- No multicolinealidad: No debe haber alta correlación entre variables predictoras en regresión múltiple.
¿Qué representa el coeficiente R^2 en una regresión lineal?
Es el coeficiente de determinación, que indica qué porcentaje de la variabilidad de la variable dependiente es explicada por el modelo. Su valor oscila entre 0 y 1, donde 1 indica un ajuste perfecto.
¿Qué es la regresión polinómica y en qué casos se usa?
Es un tipo de regresión donde se introducen términos polinomiales (X^2,X^3, etc.) para capturar relaciones no lineales entre variables. Se usa cuando una regresión lineal no es suficiente para describir la relación.
¿En qué se diferencia la regresión logística de la regresión lineal?
La regresión logística se usa cuando la variable dependiente es categórica (por ejemplo, binaria: 0 o 1), mientras que la regresión lineal se usa para variables continuas.
¿Cómo se interpreta el coeficiente en una regresión logística?
Cada coeficiente representa el logaritmo del cambio en la razón de probabilidades (odds ratio) cuando la variable independiente aumenta en una unidad.
¿Cuáles son las métricas más utilizadas para evaluar modelos de regresión?
- Error Cuadrático Medio (MSE)
- Error Absoluto Medio (MAE)
- Coeficiente de Determinación R^2
- Raíz del Error Cuadrático Medio (RMSE)
¿Qué indica un alto error cuadrático medio (MSE) en un modelo de regresión?
Que hay una gran diferencia entre los valores predichos y los valores reales, lo que indica un mal ajuste del modelo.
¿Qué representa el p-value en un mdelo de regresión dado por un software (e.g. librería statsmodels de python)?
Indica la probabilidad de
estimar un coeficiente tan extremo si el coeficiente
verdadero fuera cero
(= hipótesis nula)
¿Cuáles so los tipos de atributos (features)?
- Continuo (e.g., altura, temperatura…)
- Ordinal (e.g.., “de acuerdo”, “no me importa”, “en desacuerdo”…)
- Categórico (e.g.., país, género…)
¿Qué es feature engineering?
Es el proceso de seleccionar, manipular y transformar datos brutos en características que se puedan utilizar en el aprendizaje supervisado.
¿Qué es el escalamiento de atributos (feature scaling)?
El escalamiento de atributos (feature scaling) es un método que se utiliza para normalizar el rango de variables independientes o características de los datos. En el procesamiento de datos, también se conoce como normalización de datos y generalmente se realiza durante el paso de preprocesamiento de datos.
¿Qué es la discretización y para qué sirve?
La discretización es el proceso de transferir variables continuas a sus contrapartes discretas. Atributos discretos permiten que un clasificador lineal aprenda
límites de decisión no lineales.
¿Cuáles son algunos métodos de discretización?
- Ancho igual: dividir el rango en una cantidad predefinida de compartimentos (malo
para datos sesgados, por ejemplo, de una ley de potencia) - Frecuencia igual: dividir el rango en una cantidad predefinida de compartimentos de modo que cada intervalo contenga la misma cantidad de valores
- Clustering
¿Qué es la normalización de atributos?
La normalización escala los valores de las características dentro de un rango predefinido, a menudo entre 0 y 1, lo que resulta particularmente útil para modelos en los que la escala de las características varía enormemente. Ejemplo:
○ Ingresos en CHF: 10 000 000
○ Número de empleados: 300
¿Por qué es importante la normalización?
Los atributos con valores grandes dominan a las demás, y el clasificador tiende a optimizarlas en exceso.
¿Cuáles son métodos para la normalización de atributos?
- Escala logarítmica
- Escala min-max
- Estandarización
¿Qué es la escala logarítmica?
La escala logarítmica es un método utilizado para mostrar datos numéricos que abarcan un amplio rango de valores, especialmente cuando existen diferencias significativas entre las magnitudes de los números involucrados. Es útil para características de cola pesada (por ejemplo, de leyes de potencia).
xi’ = log(xi)
¿Cómo se aplica la escala min-max?
xi’ = (xi-mi)/(Mi-mi)
donde Mi y mi son los valores máximo y mínimo de la característica xi respectivamente. La nueva característica xi’ se encuentra en el intervalo [0,1].
¿Cómo se aplica la estandarización?
xi’ = (xi – μi)/σi
donde μi es el valor medio de la característica xi y σi es la desviación estándar. La nueva característica xi’ tiene una media de 0 y una desviación estándar de 1.
¿Cuáles son las operaciones básicas que se pueden realizar en un data frame?
- Selección de filas y columnas
- Filtrado de datos
- Ordenamiento
- Agregación
- Fusión y combinación de data frames
¿Cómo se pueden manejar valores nulos dentro de un data frame?
- Eliminarlos
- Reemplazarlos con un valor específico (como la media o mediana)
- Usar interpolación para estimar valores faltantes
¿Qué significa filtrar datos en un data frame?
Es seleccionar subconjuntos de datos basados en condiciones específicas, como valores de una columna o rangos numéricos.
¿Cuál es la diferencia entre una función de agregación y una función de transformación en un data frame?
- Agregación: Reduce los datos a un solo valor (ej. promedio, suma).
- Transformación: Modifica los valores sin reducir la cantidad de datos (ej. normalización, escalado).
¿Qué operaciones permiten combinar dos data frames?
- Concatenación (unir filas o columnas)
- Merge/Join (unión basada en claves comunes)
- Intersection (filtrar datos comunes entre data frames)
¿Cómo se pueden transformar datos categóricos en un data frame para su uso en modelos de machine learning?
Mediante técnicas como one-hot encoding, label encoding o asignación de valores numéricos a categorías.
¿Qué significa agrupar datos en un data frame (groupby)?
Significa dividir los datos en subconjuntos basados en una o más columnas y aplicar funciones de agregación sobre ellos.
¿Cuál es la diferencia entre clasificación supervisada y no supervisada?
- Supervisada: Se utilizan etiquetas conocidas para entrenar el modelo.
- No supervisada: Se identifican patrones sin etiquetas previas, como en el clustering.
¿Cuáles son las métricas comunes para evaluar un modelo de clasificación?
- Precisión
- Recall
- F1-score
- Matriz de confusión
- AUC-ROC
¿Qué es un algoritmo de clustering y cómo se usa en clasificación de datos?
Es un algoritmo que agrupa datos en clústeres según su similitud. Se usa para segmentar clientes, agrupar documentos, detectar anomalías, etc.
¿Cuáles son los principales algoritmos de clasificación utilizados en ciencia de datos?
- Regresión logística
- K-Nearest Neighbors (KNN)
- Árboles de decisión
- Random Forest
- Redes neuronales
¿Qué significa transformar datos en ciencia de datos?
Es modificar los datos para mejorar su calidad o facilitar el análisis, por ejemplo, aplicando escalado, codificación de categorías o reducción de dimensionalidad.
¿Qué es el ruido en un conjunto de datos y cómo puede afectar el análisis?
El ruido son datos irrelevantes, incorrectos o inconsistentes que pueden sesgar resultados y reducir la precisión de los modelos.
¿Por qué es importante la limpieza de datos antes de entrenar un modelo de machine learning?
Porque datos inconsistentes o incorrectos pueden causar resultados inexactos y afectar la capacidad del modelo para generalizar.
¿Por qué se usa el muestreo en ciencia de datos?
Para reducir la cantidad de datos analizados sin perder representatividad, permitiendo un procesamiento más eficiente.
¿Cuál es la diferencia entre muestreo aleatorio simple y muestreo estratificado?
- Muestreo aleatorio simple: Cada observación tiene la misma probabilidad de ser seleccionada.
- Muestreo estratificado: Se divide el conjunto en grupos y se extrae una muestra proporcional de cada uno.
¿Cómo se puede reducir el sesgo en un muestreo de datos?
- Usando muestreo aleatorio estratificado
- Asegurando que la muestra represente adecuadamente la población
- Aplicando pesos a las observaciones
¿Por qué es importante la visualización de datos en ciencia de datos?
Porque facilita la comprensión de patrones, tendencias y relaciones en los datos, permitiendo tomar decisiones informadas de manera más rápida.
¿Cuáles son los tipos principales de visualización de datos?
- Gráficos de barras (comparación de categorías)
- Histogramas (distribución de datos)
- Diagramas de dispersión (relación entre variables)
- Gráficos de líneas (tendencias en el tiempo)
- Mapas de calor (correlaciones y matrices)
¿Cuál es la diferencia entre un gráfico de barras y un histograma?
- Gráfico de barras: Representa categorías discretas.
- Histograma: Muestra la distribución de datos continuos agrupados en intervalos.
¿Cómo elegir el tipo de gráfico adecuado para representar datos?
Depende de la naturaleza de los datos:
- Comparaciones → Barras o líneas
- Distribuciones → Histogramas o boxplots
- Relaciones → Dispersión o mapas de calor
- Series temporales → Gráficos de líneas
¿Qué elementos clave debe incluir una buena visualización de datos?
- Un título claro
- Etiquetas en los ejes
- Ejes consistentes
- Leyenda explicativa
- Colores adecuados (usar color-blind safe palettes) y consistentes
- Contexto suficiente
- Mostrar incertidumbre de datos
¿Qué librerías en Python se utilizan para crear visualizaciones en ciencia de datos?
Matplotlib, Seaborn, Plotly, Folium
