Clasificacion

Question 1

Criterio de seleccion de atributo en ID3.

Answer 1

Ganancia de informacion

Question 2

Formula de entropia

Answer 2

• sum [Pi * log2 (Pi)]

Question 3

Entropia de un atributo

Answer 3

promedio ponderado de la entropia de cada valor posible por la probabilidad de que el atributo tome dicho valor.

Question 4

Ganancia de informacion

Answer 4

Diferencia entre entropia del set de datos y entropia del atributo

Question 5

Como se evita el overfitting en ID3?

Answer 5

Hay que evitar que cada nodo hoja se quede con un solo atributo (caso mas extremo de overfitting). Para esto se setea el hiper-parametro: minbucket, que indica la cantidad minima de registros que debe tener cada hoja al finalizar el algoritmo.

Question 6

Que informacion nos dan las hojas de ID3?

Answer 6

Las hojas del arbol generado en ID3 nos dan la probabilidad de cada clase en base a cuantos registros de cada clase hay en el nodo hoja.

Question 7

Que mejoras introduce C4.5 con respecto a ID3?

Answer 7

AAPP:

• Acepta atributos numericos (para manejarlos establece un umbral para realizar el split, e.g. precio < 1500)
• Acepta datos con atributos faltantes
• Permite que los atributos tengan cierto peso en cuyo caso se pondera la ganancia de informacion por el peso (importancia) del atributo para decidir los splits.
• Poda el arbol una vez creado. Sucede cuando la prediccion que haria en un nodo es igual o mejor a la que haria en sus hojas,

Question 8

Como se manejan los atributos numericos en C4.5?

Answer 8

Se ordenan los valores numericos y se mira linealmente en que lugar conviene realizar el split para minimizar la entropia del atributo.

Question 9

Random Forests: principio de funcionamiento e hiperparametros.

Answer 9

Es un cjto. de arboles de decision en donde cada arbol usa un bootstrap (lo cual evita el overfitting) del set de entrenamiento y un cierto cjto. de atributos tomados al azar (lo que saca a luz cuales son los mas importantes).

Hiper parametros:

• cantidad de arboles a crear (a mayor cant. de arboles, mejor funciona. Ojo con performane, tho).
• cantidad de atributos de cada uno

Question 10

Explique la distancia RF (Random Forest)

Answer 10

Si se quiere conocer la distancia entre dos puntos, se los clasifica a ambos mediante RF. La distancia viene dada por la cantidad de arboles que difieren en su prediccion. Se puede normalizar dividiendo por la cantidad total de arboles.

Question 11

A que le debe Naive Bayes su nombre?

Answer 11

Bayes: porque se basa en el teorema de Bayes.
Naive: porque considera que los terminos son independientes entre si.

Question 12

Formula Naive Bayes

Answer 12

P(class | document) = P(document | class) P(class)

donde:
P(document | class) = productoria P(wi | class) for word wi in document.

Question 13

Que problema de implementacion tiene Naive Bayes y como se soluciona?

Answer 13

La productoria de P(doc | class) puede dar underflow. Hay que aplicar logaritmo, de forma que la productoria quede como una sumatoria de logs.

Question 14

Que problema tiene Naive Bayes con las palabras nuevas y como se soluciona?

Answer 14

problema de frecuencia cero: las palabras que todavia no existen tienen prob. 0 y por lo tanto anulan todo el calculo. Se soluciona asignandole frecuencia 1 a las palabars nuevas y sumando la cantidad de palabras en el denominador (equivale a sumarle 1 a la frecuencia de todas las palabras).

Question 15

En que casos puede llegar a overfittear Naive Bayes y como se soluciona?

Answer 15

Si alguna palabra es de rara ocurrencia y aparece solamente en una clase, cada vez que la vea clasificara al doc en cuestion en la clase de dicha palabra.
Para evitar esto se puede ignorar las palabras con frecuencia baja.

Question 16

Principal virud de Naive Bayes

Answer 16

Su simplicidad hace que escale sin problemas a datos masivos.

Question 17

Que es lo que encuentra el algoritmo del Perceptron?

Answer 17

Un hiperplano separador.

Question 18

Algoritmo del Perceptron.

Answer 18

Se predice la clase mediante wx. Si se predice mal, se actualiza w segun w = w + xy

Question 19

Como conviene procesar los datos en Perceptron para que el mismo converja mas rapido? Como se procede en su modalidad online?

Answer 19

Conviene hacer que tengan promedio 0 y std = 1. Si se trabaja online, usar x = 1 + log(x), de forma que si los datos difieren mucho entre si, tal efecto se vea mitigado por el efecto del logaritmo.

Question 20

Perceptron converge siempre?

Answer 20

Siempre que las clases sean linealmente separables.

Question 21

Perceptron multiclase: One vs All

Answer 21

Se toman varios clasificadores, uno por clase, cada uno con su w. Esto se hace considerando una sola clase como la correcta, mientras que el resto se considera como una sola gran clase. Finalmente, se clasifica al punto en la clase cuyo valor w*x haya sido mayor.

Question 22

Perceptron multiclase: One vs One.

Answer 22

Se aplica perceptron binario a cada par de clases posibles. Se clasifica un nuevo punto con todos los perceptrones y finalmente se lo clasifica en la clase que mas triunfos obtuvo entre todos los perceptrones.

Question 23

Pros vs Cons Perceptron multiclase: One-All vs One-One

Answer 23

One-One es mucho mas robusto, pero es mas pesado porque la cantidad de clasificadores que tiene que construir es combinatoria, por lo que se puede volver inviable rapidamente.

Question 24

Similitudes y diferencias: Perceptron vs SVM

Answer 24

Ambos buscan un hiperplano separador.

Perceptron encuentra un hiperplano; SVM encuentra el mejor hiperplano.

Question 25

Que son los suppor vectors en SVM y que cantidad deberia haber?

Answer 25

Dado un hiperplano separador, hay una distancia minima hasta el primer punto de cada clase. Los support vectors son los puntos que quedan sobre dichos margenes.

Es necesaria una cantidad n + 1, donde n indica la cantidad de dimensiones de los vectores.

Question 26

Que es lo que diferencia The Hasing trick de Perceptron y SVM y sobre que teorema se basa?

Answer 26

Permite clasificar clases que no son linealmente separables. Se basa en el teorema de Cover, que dice que dado un set de datos no linealmente separable, es posible, mediante alguna proyeccion no lineal, pasar a tener un set de datos linealmente separable con una muy alta probabilidad.