Neuere Probabilistische Modelle (K6)

Question 1

Was ist Learning to Rank?

Answer 1

“Beim Learning to Rank (LTR) wird mit Hilfe von maschinellen Lernverfahren die Relevanz oder retrieval Wert (RSV) oder Ranking vorhergesagt. Dabei spielen die Merkmale von Dokumenten und Suchanfragen eine entscheidene Rolle.””

Bsp: Anwendung learning to rank bei Internet-Suchmaschinen. Hierfür berücksichtig man Dokumenten-Merkmale, Frage-Merkmale, Eigenschaften der Ankertexte, Page-Rank sowie Information über den Benutzer und seine Freunde aus sozialen Netzen.

Question 2

Aufgabe 16:
Welche Merkmale von Dokumenten und Suchanfragen können für LTR benutzt werden? Gib mehrere Beispiele für Merkmale an. Nenne dabei neben termbasierten Merkmalen auch andere spezische Merkmale für die beiden folgenden Anwendungsfälle:
ˆ Websuche (z.B. Google, Bing oder Yandex)
ˆ Produktsuche (z.B. Amazon)

Answer 2

Websuche:

• tfidf-gewichtete Terme (Wie oft kommt Term in Kollektion vor * Wie oft kommt Term in Dok vor und wie lange ist Dok)
• PageRank
• Spam-Level
• Qualität des HTML
• Server-Geschwindigkeit
• Benutzer-orientierte Features wie z.B. Besuchsfrequenz Domain un dAnzahl Klicks auf ähnliche Dokumente.

Produktsuche: (Amazon)

• tfidf-gewichtete Terme aus Beschreibung (Wie oft kommt Term in Kollektion vor * Wie oft kommt Term in Dok vor und wie lange ist Dok)
• Sternchen-Bewertung
• tfidf-gewichtete Terme aus Reviews
• Verkaufsrang
• Preis

Question 3

Was ist der Unterschied zwischen Pointwise und Pairwise Learning to Rank?

Answer 3

Pointwise LTR: lernt Relevanz für jedes query/document Paar. <=> heißt, wie weit ist mein Dokument relevant zu meiner Query?
Bei Regression: Relevanz zwischen 0 und 1 (numerisch)
Bei Klassifikation: Relevanz ist 0 oder 1.

Pairwise LTR: lernt eine relative Ordnung zwischen Paaren von Dokumenten.
Z.B Man betrachtet Paare von Dokumenten (d,d). Man schätz eine Relevanz-Score s ein. zu einem neuen Paar (q,d) schätz man Score s ein.

Question 4

Aufgabe 18: Wie würden Sie Pointwise-LTR als Lineare Regression Problem darstellen?

Answer 4

man trainiert document, query Paare. Es soll eine Funktion gefunden werden, wo der Fehler (Distanz der Funktionswert zum echten gemessenen Wert) minimiert wird. mit der gelernten Funktion kann man einen numerischen Wert für die Eingabe der anderen Parameter/Features einschätzen/vorhersagen. D.h. man kann die Wahrscheinlichkeit der Relevanz vorhersagen.

Question 5

Wie würden Sie Pairwise LTR mit Hilfe von Klassifikationsverfahren darstellen?

Answer 5

Es gibt zwei KLassen: richtig geordnet und falsch geordnet. classifier input: document-paare mit Klasse. Dann nimmt man den gelerntem Classifier und man liesst viele Dokument-Paare ein. Man vorhersagt dann die Klasse (geordnet oder falsch geordnet).

Question 6

Vergleichen Sie IR-Modelle mit Learning to Rank

Answer 6

IR-Modelle
I beziehen sich auf spezifische Repr¨asentation
I basieren auf bestimmten expliziten Annahmen
I striktes, transparentes theoretisches Modell
I Qualit¨at h¨angt von der Gultigkeit der Annahmen ab ¨

Learning to Rank
I flexibel bezuglich der Repr ¨ ¨asentation
I intransparent – die meisten Annahmen sind implizit
I heuristische Definition des Merkmalsvektors
I bessere Adaptation an die Anwendungsdaten

Question 7

Was ist die Grundidee von IPRP?

Answer 7

*GRUNDIDEE:
Im Gegensatz zu klassischem PRP, versucht IPRP die vollständige Interaktion zw. Mensch und Computer zu simulieren, spezifische Kosten für unterschiedliche Aktivitäten zu geben, und Änderungen des Informationsbedürfnisses berücksichtigen.

IPRP betrachtet interaktives IR als Folge von Entscheidungen!

Question 8

Geben Sie ein Beispiel von IPRP?

Answer 8

Bsp:
Amazon-Shopping Experiment. Lege Produkt in Basket. Jede Wahl ist assoziert mit Kosten und Wahrscheinlichkeitsparameter. Exp_value(choice) = cost + probability_paramerter* Nutzen
1. Aufwand/Kosten = Zeit, die in einer Situation verbracht wird
2. Akzptanzwahrscheinlichkeit = Übergangswahrscheinlichkeit. (von Detail zu Result List = 74% aber Detail zu Basket = 24%)
3. Nutzen=Der Nutzen kann im Prinzip als Differenz zwischen den basket-Zeiten von Quelle und Ziel einer Transition berechnet werden.

Question 9

Was ist der Vorteil von Diversity Ranking?

Answer 9

Man kann die Abhängigkeiten zwischen Dokumenten damit berücksichtigen. Z.B. ein neues Dokument ist weniger relevant, wenn viele Teilaspekte schon von schon-gesehenen Dokumente abgedeckt wurden

Bsp: Man versucht, m¨oglichst
viele verschiedene (DIVERSE) Aspekte einer Anfrage durch die obersten Antworten abzudecken: gibt ein Benutzer etwa
den Namen eines Popstars ein, so kann er dessen neuestes Album kaufen wollen, sich das zugeh¨orige Video
anschauen wollen, Tickets fur da n ¨ ¨achste Konzert erwerben, den neuesten Klatsch erfahren wollen, oder
sich gar nur allgemein uber diese Person informieren wollen (Wikipedia). Wir stellen im Folgenden zwei Ansätze zur
Behandlung dieser Problematik vor.

Question 10

Wie kann eine Suchmaschine die P(d_j|q_i) schätzen (Diversity Ranking)?

Answer 10

don’t know…