Boosting Flashcards
Was ist die Idee von Boosting?
eine Anzahl von schwachen Klassifikatoren sich definieren/nutzen und diese zu einem starken Klassifikator kombinieren.
Beispiel für ein Booster?
AdaBoost für Gesichtserkennung
- labelled data
- das Lernen passiert nacheinander in mehreren Runden T
- wir gewichten die Daten und Klassifikatoren bevor wir sie zusammenführen. –> dann Mehrheitsvotum –> finaler Klassifikator H(x) = sign (Summe(Klassifikatoren*alpha)
alpha: ordnet Gewicht dem Klassifikator zu, wenn alpha=0 ist der Klassifikator dumm(lernt nicht, macht viele Fehler) –> alpha ist quasi ein Votum
-jeder schwache Klassifikator wird trainiert, um die Entscheidungsfunktion ht: X–>(-1,1) (Daten label zuweisen) zu lernen.
Welche Datenpunkte werden mehr gezählt/gevoted?
- Die schwierigen Samples/Datenpunkte zählen mehr (die Datenpunkte, die oft falsch klassifiziert werden)/ machen den Fehler größer
zwei Arten von Gewichtung?
- ! Die schwierigen Samples/Datenpunkte zählen mehr (die Datenpunkte, die oft falsch klassifiziert werden)/ machen den Fehler größer
- „dummer“ Klassifikator voten nicht und bessere bekommen mehr Votes
Wovon hängt der Fehler des schwachen Klassifikators ab?
Mehr und mehr abhängig von den Gewichten der datenpunkte.
der Fehler ist durch die Gewichte der Datenpunkte abhängig.
Wonach suchst du dir den Klassifikator aus?
Am Ende: du wählst die Klassifikatoren nach den schwierigen Datenpunkten –> und dann kennst du die, die die mehr oder weniger Fehler machen??
Ablauf vom Boosting?
Nacheinander werden die schwachen Klassifikatoren zu einem neuen starken Klassifikator. In jeder Runde t wird ein Klassifikator dazu gegeben?
Was passiert mit dem Fehler während boosting?
Mit jeder Runde wird der empirische/training Fehler minimiert. also jeder schwache Klassifikator ist better than chance (lernt)
Wovon hängt der neu gefundene Schwellenwert nicht mehr ab?
von den Runden T, das war ein Problem:
Wir müssen nämlich T erhöhen, um empirischen Fehler zu minimieren, aber zur selben Zeit wird der Konfidenzinterval (Epsilon(Term) erhöht und die Wahrscheinlich, um einen guten Verallgemeinerung zu erreichen sinkt zu viele (schwache) Klassifikatoren führt zum Overfitting
Vorteile von Adaboost?
Schwerpunkt auf den schwierigen Datenpunkten/ an den Grenzen (margin) –> gute Generalisierungsleistung
gut im Training
–> Klausur: Wissen, dass der empirische Fehler exponentiell mit T (Rundenanzahl) sinkt und dass die Generalisierungsleistung ist gut, wel man mit schwierigen Datenpunkten (an den Grenzen) arbeitet/höher gewichtet. ähnlich zu „einer Margin maximieren“MMC
Was macht Adaboost?
Wie andere Booster: Maximiert einen margin/Spielraum aber mit einer anderen Norm
Gesichtserkennung basiert oft auf welcher Methode und wie sieht die Gesichtserkennung aus?
von Adaboost.
Bildfenster scannen –> Asymmetrisch, da es mehr Bereiche gitb, wo kein Gesicht ist.
einfache Klassifizierer: Pixelvariablen mit 1 oder -1 gewichtet –> Summe (Integrieren über das Fenster) –> eine Nummer für das Fenster –> du hast eine Grenze gegeben, die aussagt, ob es ein Gesicht ist, oder nicht.
einen Klassifikator wählen und dann den schwellenwert varriieren und den besten Klassifikator mit den wenigsten Fehlern wählen.
Was muss noch für den Klassifikator gewählt werden beider Gesichtserkennung?
Bildfeature! dunkle Augen, helle Stirn –> also wie die Fenster/Bereiche mit dunkel/hellen Bereichenen aufgeteilt sind –> das Gesichtsmuster
–> sind quasi die Klassifikatoren
Was wird durch Kaskaden/Stufen erreicht?
Durch die vielen Stufen werden Bereiche reklassifiziert, also man sortiert nacheinander die Bereiche mit den nicht-Gesichtern aus.
In späteren Stufen hast du nicht mehr so viele Fenster zum analysieren. –> mehr Zeit und brauchst nicht mehr so viele Stufen
–> Viola Jones: ein wasserfall an Boostings, mehrere Stufen bei denen Boosting angewendet wird
Wie kann man die Runden/Stufen? minimieren?
durch Fusion:
Möglichkeit, verschiedene Modalitäten(Feature?) (Reichweite und Intensität, Range and intesity) einfach zusammenzuführen, ist ein weiterer Vorteil des boostings.
