Vorlesung 7 - Feedback

Question 1

Modul Feedback

Answer 1

• Lernen an Beispielen
• berechnet eine aktualisierte Abfrage (Query)

Question 2

Feedback-Arten (zwei)

Answer 2

1. Pseudo-/Blind-/Automatik-Feedback (Pseudo-Feedback)
2. Relevanz-Feedback (Relevanz-Feedback)
   2.1 Implizites Relevanz-Feedback (Implizites Feedback) (Form des Relevanz-Feedback)

Question 3

Feedback-Methoden (zwei)

Answer 3

• Methoden, um Query mit Hilfe des gesammelten Feedbacks zu updaten, z. B.
  -> Im Vektorraum (VSM) mit: Rocchio-Feedback
  -> Für Query Likelihood mit: Lineare Modell-Interpolation

Question 4

Pseudo-Feedback

Answer 4

• Automatisiert manuellen Teil des Relevanz-Feedbacks, wodurch sich verbesserte Abrufleistungen ohne zusätzliche Interaktion durch Nutzende ergeben
• Feedback wird auf Basis der vom System als relevant gelieferte Dokumente bestimmt, führt zu einem unzuverlässigem Ergebnis und entspricht nicht der Realität
• Methodenbeschreibung:
  -> Einfache Suche (Query) mittels Retrieval Engine durchführen
  -> Um anfängliche Menge der relevantesten Dokumente (Ergebnisse) zu finden
  -> Annahme (Bewertung), dass top-k-Dokumente mit dem höchsten Rang relevant sind
  -> Relevanz-Feedback mit aktualisierte Abfrage (Updated Query) erneut durchgeführen

Question 5

Relevanz-Feedback und Implizites Relevanz-Feedback

Answer 5

• Muss nicht implizit sein
  -> Nutzende könnten jedes Dokument manuell bewerten → unrealistisch
  -> Nutzende würden wegen Aufwand ausbleiben, daher in der Praxis schwer umsetzbar
• Implizites Relevanz-Feedback: (Implizites Feedback) (Form des Relevanz-Feedback)
  -> Mittels Interaktion durch Nutzende wird angenommen, welche Dokumente aus den
  Ergebnissen des Systems für den Nutzer relevant sind, z. B.: mittels Klick-Reihenfolge
  -> Übersprungene Dokumente werden als irrelevant angenommen
  -> Mit diesen Information wird eine alternative Query bestimmt
  -> Kein zusätzlicher Aufwand und zuverlässigere Bewertung als Pseudo-Feedback

Question 6

Funktionsweise von Rocchio-Feedback im VSM

Answer 6

• Erstellen eines Zentroid-Vektor jeweils für relevant und irrelevant bewertete Dokumente
• Originale Query so oft modifizieren, bis Abstand von der Query zum Zentroid der
  relevanten Doks (d) möglichst klein und zu den irrelevanten Doks (d) möglichst groß ist

Question 7

Bedeutung der Parameter im Rocchio-Feedback

Answer 7

• alpha α
  -> Gewichtung der originalen Query
• beta β
  -> Gewichtung der Verschiebung hin zum pos. Zentroid der relevanten Doks
• gamma γ
  -> Gewichtung der Verschiebung weg vom neg. Zentroid der irrelevanten Doks

Question 8

Wahl der Parameter beim Rocchio-FB für verschiedene FB-Arten qualitativ bestimmen

Answer 8

• alpha α Gewicht originaler Query
  -> hohe Gewichtung auf originaler Query behalten, damit Query nicht verzerrt wird
  –> Damit soll „Overfitting“ vermieden werden
• beta β Gewicht pos. Zentroid
  -> niedrig beim Pseudo-Feedback
  -> hoch beim Relevanz-Feedback
• gamma γ Gewicht neg. Zentroid
  -> niedrig, da neg. Zentroid weniger zur Gruppenbildung neigt

Question 9

Rocchio-Feedback: Formal

Answer 9

->qm = d->q + (1β)/|Dr| ∑ (unten: ⱯdjEDr)->dj - (1 γ)/|Dn| ∑ (unten: ⱯdjEDn)->dj

Question 10

Wie wird Feedback bei probabilistischen Sprachmodellen unter Berücksichtigung der KLDivergenz bestimmt?

Answer 10

• Feedback in Sprachmodellen:
  -> Query Likelihood Methode unterstützt normalerweise kein Relevanz-Feedback
  -> Lösung: Kullback-Leibler-Divergenz (KL) als Generalisierung der Query Likelihood
  –> Feedback wird durch Query-Modell-Schätzung/-Update erlangt
• Kullback-Leibler-Divergenz (KL-Divergenz) bezieht sich auf probabilistische Sprachmodelle
• Lassen in ihrer ursprünglichen Form keine Modifikation der Query zu
• Deshalb wird statt der ursprünglichen Query auf ein Query-Sprachmodell zurückgegriffen
• Damit lässt sich ein modifiziertes Query-Sprachmodell berechnen, unter Berücksichtigung des Feedback-Sprachmodells, welches sich aus dem Feedback ergibt