Tutorial 5: Naive Bayas Flashcards
The following table contains empirical values about your past decisions whether or not to play.
a) Calculate the rule set using the 1-Rule classification. Would you play if it was windy with high humidity, a sunny outlook and cool temperature? Utilize the 1-Rule classification to determine the answer.
- Tabelle aufstellen mit Attribut (z.b. Outlook) Spalten mit Yes or No + Error aufstellen.
- Zeilen mit den Ausprägungen (Clear, Fog, Rain…)
- In den Zellen die Häufigkeit angeben.
- Error = Min(Häufigkeit von Yes or No) / Gesamthäufigkeit
- Summe darunter. Bei Error z.b. 2/5 + 1/4 = 3/9
- Wähle zum Schluss geringste Error Summe und entscheide je nach Aussage
b) Find the aprioriprobabilities for both classes. Would you play if it was windy with high humidity, a sunny outlook and cool temperature? Determine the answer using the Naïve Bayes classification.
- Tabelle aufstellen mit Attribut (z.b. Outlook) Spalten mit Yes or No + Error aufstellen.
- Zeilen mit den Ausprägungen (Clear, Fog, Rain…)
- In den Zellen die Häufigkeit angeben und durch Summe teilen. z.B. Summe = 9 Häufigkeit = 2 = 2/9
Berechne diesen Wert jeweils für die in der Fragestellung benötigte Aussage. Hier z.b. Outlook = Sunny mit 2/9 yes und 3/5 no. - Summe darunter.
- Berechne dann: Yes = Summe der Wahscheinlichkeiten * Gesamt Yes / Gesamtantworten
- Gleiches für No
- Falls gefragt: Gewichtete Wahrscheinlichkeit mit Yes / (Yes + No)
Three problems of naive bayes
- Only one attribute
- Missing data hard to handle
- Numeric values
How to overcome zero problem?
Just add +1 to every cell. Be aware to put in one answer for every option. Might differ if two options or three options exist.
Example:
Sunny, Overcast Rainy: Yes before 2/9 after 3/12
No before 0/5 now 1 /8
Do not add yes or no to the overall sum of yes or no