Business Analytics

Question 1

El pensamiento de Fisher

Answer 1

“Cualquier información dada por la muestra, que será utilizada en estimar los valores de estos parámetros, es información relevante”
Sir Ronald Aylmer Fisher, 1922.

Se debe tener una buena calidad de los datos para obtener buenos resultados.

Question 2

El pensamiento de Fisher
Problema de especificación

Answer 2

Consiste en la elección de la forma matemática de la distribución de probabilidades de la población hipotética.

Question 3

El pensamiento de Fisher
Problema de estimación

Answer 3

Involucra la elección de un método que permita derivar de la muestra un estadístico el cual es diseñado para estimar los valores de los parámetros de la población infinita.

Question 4

El pensamiento de Fisher
Problema de distribución

Answer 4

Incluye la discusión de las distribuciones de probabilidad seguidas por los estadísticos.

Question 5

Datos Incompletos

Answer 5

Faltan valores en los atributos
Carecen de algunos atributos de interés
Contienen sólo totalizaciones

Question 6

Datos Ruidosos

Answer 6

Contienen errores
Contienen valores anómalos.

Question 7

Datos Inconsistentes

Answer 7

Contienen discrepancias en códigos o nombres
Los valores de las variables no coinciden con el tipo

Question 8

Datos Duplicados

Answer 8

Se duplican registros individuales mas de una vez

Question 9

Etapas del Preprocesamiento

Answer 9

1. Limpieza de datos
2. Integración de datos
3. Transformación de datos
4. Reducción de datos
5. Discretización de datos

Question 10

Limpieza de datos

Answer 10

Completar valores faltantes, suavizar datos ruidosos, identificar o eliminar “outliers”, y resolver inconsistencias.

Question 11

Integración de datos

Answer 11

Integración de múltiples bases de datos. (Realizando previamente la limpieza de todas las bases de datos)

Question 12

Transformación de datos

Answer 12

Normalización, estandarización, discretización, reducción dimensional y totalización. (Aplicación de procedimientos para cambiar los rangos de valores a otros)

Question 13

Reducción de datos

Answer 13

Se obtiene una representación más reducida en volumen pero que produce los mismos o similares resultados analíticos.

Question 14

Discretización de datos

Answer 14

Parte de la reducción de datos pero con particular importancia, especialmente para datos numéricos.

Question 15

Niveles de Faltabilidad (Datos Faltantes)

Answer 15

Impacto de los valores faltantes:
• 1% datos faltantes –trivial
• 1-5% -manejable
• 5-15% -requiere métodos sofisticados
• Mas del 15% -interpretación perjudicial

Question 16

Causas de Datos Faltantes (Sampling Techniques)

Answer 16

1.Cobertura: no se pudo ubicar algunas de las unidades seleccionadas debido a problemas de acceso.
2.Localización: cuando no fue posible localizar a ningún miembro del hogar durante la visita a la vivienda seleccionada.
3.Informarte inadecuado: cuando la persona entrevistada no está en posibilidad de proporcionar la información que se le demanda.
4.Rechazo. cuando los hogares seleccionados se niegan a participar en la encuesta.

Question 17

Mecanismos de datos faltantes (MCAR)

Answer 17

Valores faltantes completamente al azar (MCAR): La probabilidad que una instancia tenga un valor faltante para un atributo es la misma para todas las instancias. Es decir, esta probabilidad no depende ni de los valores observados ni de los valores faltantes. La mayoría de los valores faltantes no son MCAR.
Este mecanismo es mas adecuado para datos a ser usados en clasificación no supervisada.

Question 18

Mecanismos de datos faltantes (MAR)

Answer 18

Valores faltantes al azar (MAR): La probabilidad que una instancia tenga un valor faltante en un atributo depende de los valores observados, como por ejemplo la clase a la cual pertenece la instancia, pero no depende de los valores faltantes.
Este mecanismo es mas adecuado para datos usados en clasificación supervisada.

Question 19

Mecanismos de datos faltantes (NMAR)

Answer 19

Valores faltantes no al azar o no ignorables (NMAR): La probabilidad de que una instancia tenga un valor faltante en un atributo depende de los valores faltantes en el conjunto de datos. Ocurre cuando las personas entrevistadas no quieren revelar algo muy personal acerca de ellas. El patrón de valores faltantes no es aleatorio. Este tipo de valores faltantes es el mas difícil de tratar y es el que ocurre mas frecuentemente.

Question 20

Clasificación de mecanismos de datos faltantes

Answer 20

• Para conjuntos de datos con un bajo porcentaje de valores faltantes el mecanismo se puede considerar MCAR.
• Para conjuntos de datos con un alto porcentaje de valores faltantes el mecanismo se puede considerar NMAR.
• Para conjuntos de datos con valores faltantes simulados el mecanismo se puede considerar MAR

Question 21

Tratamiento de los datos faltantes
Eliminación de casos

Answer 21

Ignorar la fila que contiene datos faltantes. Usualmente es aplicado cuando el valor que falta es el de la clase (asumiendo que se esta haciendo clasificación). No es efectiva cuando el porcentaje de valores faltantes por atributo varía considerablemente, en este caso mejor se suprimen estos atributos.

Question 22

Tratamiento de los datos faltantes
Estimación de parámetros

Answer 22

Donde los procedimientos de Máxima Verosimilitud que usan variantes del algoritmo EM (Expectation - Maximization) pueden manejar la estimación de parámetros en presencia de valores faltantes.

Question 23

Tratamiento de los datos faltantes
Técnicas de Imputación

Answer 23

Donde los valores faltantes son reemplazados con valores estimados basados en la información disponible en el conjunto de datos.

Question 24

Valores Outliers

Answer 24

Valor diferente o atípico

Un outliers es una observación que se desvía tanto de las otras observaciones como para crear la sospecha de que fue generada por un mecanismo diferente. (Hawkins, 1980)

Question 25

Definición de Outlier univariado para distribución normal

Answer 25

|x - ü| / s > k
Donde:
ü es la media
K es 3

Question 26

Métodos de detección de Outliers Multivariados

Answer 26

Métodos basados en estadística robusta
Métodos basados en clustering
Métodos basados en distancia
Métodos basados en densidad local

Question 27

Métodos basados en clustering

Answer 27

Clasificación mediante grupos de interés.
Clusters con pocos registros, suelen ser outliers.

Question 28

Métodos basados en distancia

Answer 28

Técnica de reducción dimensional
Reducir a 2 dimensiones para poder visualizar la distancia de los outliers

Question 29

Distancia Mahalanobis

Answer 29

Distancia multivariada desde x al centroide del conjunto de datos.

Question 30

Efecto de enmascaramiento

Answer 30

Ocurre cuando después de eliminar un outlier, otra instancia se puede volver outlier.

Question 31

Efecto de cubrimiento

Answer 31

Ocurre cuando después de eliminar un outlier, otro outlier se vuelve una “buena” observación.

Question 32

¿Cómo evitar los efectos de la eliminación de outliers?

Answer 32

Se recomienda el estimador robusto de la distancia de Mahalanobis. Existen dos propuestas:
• Estimador de elipsoide de volumen mínimo (MVE)
• Estimador de determinante de covarianza mínima(MCD)

Question 33

Normalización

Answer 33

Consiste en re-escalar los valores de los datos a un rango pre-especificado.

Question 34

¿Cuándo se usa Normalización Z-score?

Answer 34

• No se conoce el mínimo ni el máximo de los datos originales.
• Valores outlier pueden afectar el rango de los datos