Vorlesung 9 - Suchmaschinen/Empfehlungsmaschinen Flashcards
Recommender ≈ Filtersystem
- stabiles & langfristiges Interesse, dynamische Informationsquelle
- System muss unmittelbar bei Vorliegen eines Dokuments eine Lieferentscheidung treffen
Zwei grundsätzliche Ansätze des Push-Mode
- „Pull Mode (Suchmaschinen)
-> Benutzer übernimmt die Initiative
-> Ad hoc – Informationen werden benötigt - Push Mode (Empfehlungssysteme)
-> System übernimmt die Initiative
-> Fester Informationsbedarf oder das System hat genügend Wissen über den Informationsbedarf des Nutzenden“
Grundlegende Filterfrage
- Welche Dokumente mag 𝑈 ? → prüfe ob 𝑋 ähnlich ist
-> Dokumentähnlichkeit => Content-Based Filtering (CBF) - Welche Nutzer mögen 𝑋? → prüfe ob 𝑈 ähnlich ist
-> Nutzerähnlichkeit => Collaborative Filtering (CF)
CBF-System evaluieren (bewerten)
- Beispiel für Nutzenfunktion: Linearer Nutzen = 3 €⋅gut geranked − 2€⋅schlecht geranked
- Hoher Wert für gut → Es wird viel ausgeliefert (wenig zu verlieren)
- Niedriger Wert für gut → Es wird wenig ausgeliefert (viel zu verlieren)
- Koeffizienten steuern wie zögerlich/sicher ein System ist, um ein Dokument auszuliefern
Probleme mit CBF
1 . Filterentscheidung (Binärer Klassifikator)
* Dokumenttext, Profiltext → ja/nein
2 . Initialisierung
* Initialisierung des Filters basiert nur auf dem Profiltext oder sehr wenigen
Beispielen
3 . Lernen von
* limitierten Relevanzentscheidungen (nur auf “ja” Dokumenten)
* Gesammelten/ausgelieferten Dokumenten
➢ Gemeinsame Optimierung der drei Module zur Maximierung des Nutzens
Erweitern eines TR-Systems um CBF
- “Wiederverwendung” von Retrieval-Techniken um Dokumenten
einen Score zuzuweisen
-> Verwendung eines Score-Schwellwertes als Filterentscheidung
-> Lernen das Scoring mit traditionellem Feedback zu verbessern - Neue Ansätze für das Festlegen des Schwellwertes und das Lernen
Beta-Gamma-Threshold-Learning
- Nutzen bei Anzahl ausgelieferter Dokumente
- Maximum einer Nutzen-Funktion ist gleichbedeutend mit dem optimalen Nutzen ( θopt )
- Schnittpunkt mit der x-Achse wird als Nullnutzen ( θzero ) bezeichnet
- Tatsächliche Wert ( θ ) wird sich zwischen θopt und θzero (Explorationsbereich) befinden
- Es muss entschieden werden, wie weit der Schwellwert gelockert werden kann
- Abweichung zwischen θopt und θ wird als α bezeichnet
Beta-Gamma-Threshold-Learning Vor- und Nachteile
- Vorteile
-> Explizites Adressieren des Exploration-Exploitation-Tradeoff („sichere“ Exploration durch
Nullnutzenuntergrenze)
-> Beliebige Nutzenfunktion (mit passender Untergrenze)
-> Empirisch effektiv - Nachteile
-> rein heuristisch
-> Nullnutzenuntergrenze ist oft zu konservativ
Grundannahmen für das Colaborative Filtering (CF)
- Nutzer mit denselben Interessen haben ähnliche Präferenzen
- Nutzer mit ähnlichen Präferenzen teilen wahrscheinlich gemeinsame Interessen
- Ausreichend große Menge von Nutzerpräferenzen ist verfügbar (“Kaltstart”-Problem)
* Bsp.:
− Interesse: Information Retrieval → Bevorzugung von SIGIR-Aufsätzen
− Bevorzugung von SIGIR-Aufsätzen → Interesse: Information Retrieval
Empirische Nutzenoptimierung
- Prinzip
− Berechnen des Nutzens der Trainingsdaten für jeden Kandidaten-Score-Schwellwert
− Auswahl des Schwellwertes der den maximalen Nutzen auf dem Trainingsdatensatz
erzeugt - Problem: Verzerrte Trainingsstichproben!
− Man erhält nur eine obere Grenze des optimalen Schwellwertes
− Könnte ein verworfenes Objekt möglicherweise für den Nutzer interessant sein? - Lösung:
− Heuristische Anpassung (Verringerung) des Schwellwertes
Was ist Collaborative Filtering (CF)
- Treffen von Filterentscheidungen für einen Nutzer basierend auf den Bewertungen anderer Nutzer
- Ableiten der individuellen Interessen/Präferenzen von denen anderer ähnlicher Nutzer
- Prinzip
− Gegeben eines Nutzers 𝑢, finde ähnliche Nutzer {𝑢1, … , 𝑢𝑚}
− Vorhersage der Präferenzen von 𝑢’ basierend auf den Präferenzen von 𝑢1, … , 𝑢𝑚
− Nutzerähnlichkeit kann anhand der Ähnlichkeit ihrer Präferenzen für
gemeinsame Objekte bewertet werden
CF-Problem
- Aufgabe
-> Annahme: es existieren 𝑓-Werte für
einige (𝑢, 𝑜)s
-> Vorhersage von 𝑓-Werten für andere
(𝑢, 𝑜)s
-> Im wesentlichen Funktionsapproximation,
wie bei anderen Lernproblemen - 𝑿𝒊𝒋 = 𝒇 (𝒖𝒊, 𝒐𝒋) =?
Speicherbasierte Ansätze
- Prinzip:
− 𝑋𝑖𝑗: Rating des Dokumentes 𝑑𝑗 durch Nutzer 𝑢𝑖
− 𝑛𝑖: durchschnittliches Rating von 𝑢𝑖
für alle Dokumente
− Normalisierte Ratings: 𝑉𝑖𝑗 = 𝑋𝑖𝑗 – 𝑛𝑖
− Vorhersage des Ratings für Dokument 𝑑𝑗 durch Nutzer 𝑢a - Spezifische Ansätze unterscheiden sich in 𝑤(𝑎, 𝑖) – der Distanz/Ähnlichkeit zwischen
Nutzer 𝑢𝑎 und 𝑢i
Verbesserung der
Nutzerähnlichkeitsmessung
- Umgang mit fehlenden Werten: Default-Rating (z.B. durchschnittliches Rating)
- Inverse User Frequency (IUF): ähnlich wie IDF
Ähnlichkeitsmaße für Nutzer
- Pearson Korrelationskeoffizient (Summe über gemeinsam bewertete Objekte)
- Kosinus-Ähnlichkeit
- Viele andere Möglichkeiten!