Kapitel 6: Empfehlungssysteme Flashcards

1
Q

Was sind Hoffnungen und Befürchtungen im Bezug auf Automatisierte Kandidatenauswahl?

A

Unternehmen und Kandidaten sehen viele Chancen in (teil-)automatisierten, digitalen Auswahlsystemen (wie schneller, einfacher und diskriminierungsärmer

Gleichzeitig gibt es Sorgen (zB. Datenmissbrauch), Skepsis („können Maschinen überhaupt erkennen, was einen Menschen ausmacht?“, „Richtig beurteilen kann
sowieso nur ein erfahrene Mensch“) und konkrete Befürchtungen (systematische Fehler und institutionalisierte Diskriminierung).

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
2
Q

Welche Punkte gibt es bezüglich Daten?

A

− Für eine wirklich umfassende maschinelle Auswahl stellt sich nicht nur die Frage nach dem Auswahlverfahren (Technologie, Algorithmen) sondern auch nach den verfügbaren Daten (Input). Die beste AI kann keinen guten Vorschlag für leistungsfähige
Mitarbeiter machen, wenn keine relevanten Daten (zB. GMA) verfügbar sind. Damit fokussiert ein Großteil der Ansätze in der Praxis derzeit eher auf einen einfachen Abgleich harter Aspekte („kennt XML und TensorFlow“) oder das Emulieren menschlicher Entscheidungen (eine gute AI-Auswahl wäre dieselbe, die der Mensch getroffen hätte), was dann zu entsprechenden ethischen Herausforderungen führt.

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
3
Q

Welche Punkte gibt es bezüglich Ethical AI?

A

Derzeit entstehen viele Leitlinien für verantwortungsbewusste AI (zB. Ethikbeirat HR-Tech, Ethik-Leitlinien der EU für eine vertrauenswürdige AI) mit dem Ziel, rechtskonforme, ethische und robuste AI-Anwendungen entwickeln und nutzen zu können.
Aktuelle Diskussionen sehen die Fähigkeit für ethischen AI-Einsatz als echten Wettbewerbsfaktor, da hier funktionale, rechtliche und viele weitere Aspekte (Employer Brand, Reputation) betroffen sind.

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
4
Q

Was hat es mit Automatisierten Empfehlungssystemen auf sich?

A

Sind in Wissenschaft und Praxis weit verbreitet

seit über 20 Jahren ein wichtiges Thema v.a. im Kontext Information Retrieval, Forecasting Theories, Consumer Choice Modeling und in der E-Commerce-Literatur (Recommender-Systems).

Grundansatz: Wie können Käufer unterstützt werden, Objekte zu finden, die ihren Zielen und Präferenzen am besten entsprechen?

Ein bahnbrechender Artikel, in dem auch der Begriff recommender system geprägt wurde, ist (Resnick und Varian 1997).

Zu Beginn wurde Recommender Systems (RS) äquivalent zu Collaborative Filtering verwendet. Seitdem wurden viele Erweiterungen (v.a. „hybride“
Modelle) entwickelt, die die Ansätze des content-based filtering und des collaborative filtering vereinen (zB. Melville, Mooney und Nagarajan 2002).

Bekannte aktuelle Beispiele sind Amazon-Kaufempfehlungen oder Vorschläge von Netflix für die nächste Serie.

Dahinter liegen Daten und Algorithmen, die einen „Match“ herstellen sollen zwischen den Zielen/Präferenzen einer Person und
Objekten/Produkten.

Analog zu diesen klassischen Ansätzen kann man die Verfahren hinter Empfehlungssystemen nutzen, um Bewerber (statt Produkte) zu empfehlen/selektieren.

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
5
Q

Worauf fokussierten sich die frühen Forschungsarbeiten zu Recommender Systems?

A

Motiviert durch die Beobachtung drastisch zunehmender Informationsüberflutung, so dass Kunden mit der Informationsmenge zu Produkten und Dienstleistungen nicht mehr klarkamen. RS sollten einen Weg durch den Informationsdschungel aufzeigen, indem sie nur relevante Produktempfehlungen herausfiltern.

Dies geschah zunächst durch Fokus auf für den Kunden relevante Produkteigenschaften. Dieses content-based filtering hat also in P-E-Fit-Termini Produkteigenschaften gesucht, die für den Kunden
relevant sind bzw. ein Matching angestrebt zwischen needs des Kunden und supply durch Produkteigenschaften (→ Produktähnlichkeit).

Später kam mit collaborative filtering ein relationaler (sozialer) Ansatz hinzu, der ähnliche andere Käufer suchte und deren Produkte empfahl (→ Nutzerähnlichkeit).

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
6
Q

Was ist der eine User/Item Bewertungsmatrix?

A

Nutzen:
Empfehlungssysteme messen Nutzen üblicherweise als Rating/Bewertung, die ein Nutzer einem Item zuweist
− Bsp.: Film- oder Produktbewertung auf 5-
Sterne-Skala)

Daten:
Wahl der verwendeten Bewertungsdaten ist abhängig von Verfügbarkeit und Beschaffungsaufwand

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
7
Q

Was setzt Matching voraus?

A

„Matching“ setzt Informationen zum Zusammenhang zwischen Objekteigenschaften (auch: Objektattributen) (zB. Filmgenre oder Uniabschlussnote) und Nutzen (zB.
Präferenz/Filmbewertung, Arbeitsleistung) voraus. Die zugrundeliegenden Daten können explizit (zB. Befragung, Bewertung) oder implizit (zB. beobachtetes/interpretiertes Verhalten wie Klicks, Käufe) erfasst werden.

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
8
Q

Was passiert in realistischen Anwendungen wenn für den Nutzen U nur wenige Bewertungen vorhanden sind?

A

Der Recommender versucht dann die fehlenden Werte aufgrund der vorhandenen Daten zu schätzen.

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
9
Q

Wie funktioniert eine User-Item Bewertungsmatrix?

A
Die Abbildung zeigt eine typische typische Film-Recommender-Matrix mit einer 5er-Skala
zur Bewertung (von 1 (Film gefällt nicht) bis 5 (Film gefällt sehr gut)). Leere Felder zeigen fehlende Bewertungen an.

Genau hier setzt das RS an und versucht, möglichst gute Werte aufgrund der vorhandenen Informationen vorherzusagen (in der Praxis häufig das Objekt mit der höchsten Bewertung, oder eine Liste mit den n besten Objekten). Die Anwendung für die Personalauswahl ist dann entsprechend das Vorschlagen des oder
der n besten Bewerber(s) aus dem Bewerbungseingangsstapel.

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
10
Q

Welche Arten von Recommender Systems gibt es?

A

Content-based filtering

Collaborative-filtering

Hybrid

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
11
Q

Was ist Content-based filtering?

A

− Objekt-Ähnlichkeit: Nutzt Informationen über Objekteigenschaften
− Objekteigenschaften sind meist in unstrukturiertem Textdokumenten beschrieben
(Bsp. Film: Titel, Regisseur)
− Nutzerrating des Films wird interpretiert
als Rating jeder Objekeigenschaft →Präferenzprofil des Nutzers

Das content-basierte RS fokussiert also auf
Objektähnlichkeit und empfiehlt also Objekte, die Eigenschaften mit ähnlichen, gut bewerteten Objekten teilen.

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
12
Q

Was ist Collaborative filtering?

A

− Sozial, Nutzer-Ähnlichkeit
− Nutzen eines Objektes höher, wenn
ähnlicher Nutzer es gut bewertet hat

Das kollaborative RS fokussiert also auf Nutzerähnlichkeit und empfiehlt Objekte, die
ähnliche Nutzer gut bewertet haben. Ein Vorteil von Collaborative-filtering-Ansätzen ist, dass sie jedes beliebige Objekt empfehlen können, da keine Analyse von Objekteigenschaften nötig ist.

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
13
Q

Was sind Hybride RS?

A

− Mischformen aus content-based und

collaborative

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
14
Q

Was sind Memory based & Model based methods?

A

Gehören zu Collaborative filtering.

Memory-based CF arbeitet stets mit dem vollem Ratingdatensatz zur Ähnlichkeitsermittlung, wogegen model-based CF einige Parameter schätzen (zB. latent
factor models, die Cluster ähnlicher Nutzer generieren) und dann getrennt die Empfehlungen ermitteln, was zu besserer Skalierbarkeit auf Kosten von
Informationsverlust führt.

Die Eignung eines Verfahrens ist abhängig von den konkreten funktionalen und technischen Anforderungen, den verfügbaren Daten, dem zu bewertenden Objekt, etc.

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
15
Q

Was ist notwendig für Content-based filtering?

A

Beschreibung von Objekten (Objektattribute)

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
16
Q

Was macht ein Content Based RS?

A

Content-based RS vergleicht noch nicht bewertete
Objekte mit bewerteten und schlägt diejenigen
vor, die den gut bewerteten am meisten ähneln.

Bsp. Buch:
Attribute: Titel, Autor
Nutzerbewertung des Buches → Bewertung der
Objektattribute
RS kreiert Nutzerpräferenzprofil und sucht andere Objekte mit ähnlichen Attributen wie bei gut bewerteten Objekten, also zB. andere Bücher des selben Autors

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
17
Q

Wo finden Content based RS anwendung?

A

Content-based RS finden sich vor allem für Objekte, die textuell beschrieben sind wie Dokumente oder Websites.

Attribute sind dann meist Schlüsselworte, die ermittelt und gewichtet werden müssen.

Gewichtung gibt Bedeutung der Schlüsselworte für das Dokument an.

Wie im Information Retrieval üblich, wird hierzu term frequency/inverse document frequency (TF-IDF) verwendet

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
18
Q

Nenne einen Beispielprozess für Content Based RS?

A
  1. Objekte müssen anhand ihrer Eigenschaften beschreibbar sein • z.B. Titel und Autor eines Buchs
  2. Bewertungen für Objekte werden als Bewertungen
    für dessen Eigenschaften interpretiert
  3. Generierung eines Nutzer- Präferenzprofils
  4. Suche nach Objekten mit ähnlichen Eigenschaften
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
19
Q

Übertrage die klassische RS Sicht auf die Personalauswahl?

A

Sind die Bewerberattribute zB. die Inhalte des Lebenslaufes. Die Passgenauigkeit oder der Fit beschreibt dann, wie gut eine Person zu einer Rolle im Unternehmen passt bzw. inwieweit der Kandidat über die Fähigkeiten, das Wissen und die Erfahrung verfügt, die nötig sind, um alle mit der zu besetzenden Position verbundenen Tätigkeiten adäquat erfüllen und erfolgreich in dem Job-Profil arbeiten zu können.

Die Analogie zur Nutzerbewertung sind dann zB. Daten
zur Arbeitsleistung bisheriger Rollenträger (zB.: Doktoranden mit Eigenschaften X und Y
haben mind. Z% der Anforderungen erfüllt).

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
20
Q

Wieso ist die Aufstellung einer word/document matrix bei Content based filtering notwendig?

A

Objekteigenschaften entsprechen bei Texten deren Keywords:

Keywords müssen extrahiert und hinsichtlich ihrer Bedeutung für das Dokument gewichtet werden

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
21
Q

Was ist TF bei der TF/IDF?

A

Term Frequency (TF) ist die normalisierte Schlüsselworthäufigkeit in einem Dokument.

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
22
Q

Was ist IDF bei TF/IDF?

A

Inverse document frequency (IDF) wird verwendet, um den Einfluss in vielen Dokumenten häufig vorkommender Wörter zu reduzieren, die daher kaum
interpretierbar sind.

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
23
Q

Was ergibt die Kombination aus TF und IDF?

A

Die Kombination von TF und IDF ergibt das Gewicht (weight w(i, j)) eines Schlüsselwortes (keyword (i)) in einem Dokument (document (j)).

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
24
Q

Was bringt die Kosinusähnlichkeit?

A

Ähnlichkeiten zwischen Objekten können durch die
Kosinus-Ähnlichkeit errechnet werden.

Eine möglicher Content-based-filtering-Ansatz auf Basis der TF-IDF-Kombination nutzt die Kosinusähnlichkeit (standard cosine similarity function), um aus bestehenden Nutzerratings ein Präferenzprofil zu erstellen. Um die Ähnlichkeit zwischen einem
Nutzerpräferenzprofil und einem noch nicht bewerteten Dokument vorherzusagen, werden Nutzerprofil und Objekt als TF-IDF-Vektoren dargestellt.

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
25
Q

Was sind Voraussetzzungen und NAchteile von Content based filtering?

A

Extrahierbarkeit:
Content-based filtering ist nur möglich, wenn Objekteigenschaften (Kategorien, Titel etc.)
(automatisiert) extrahierbar sind. Das reduziert die Methode gleichzeitig auf diese Eigenschaften.

Dünn besetzte Bewertungsmatrix:
Reine Content-based-RS produzieren schlechte Empfehlungen, wenn Objekteigenschaften sehr
divers sind und es wenig Nutzerbewertungen gibt (zu wenig Information zur Erstellung der Nutzerprofile).

Überspezialisierung:
Da nur bekannte und bewertete Eigenschaften für die Ähnlichkeitsbeurteilung herangezogen werden,
werden zunehmend ähnliche Objekte empfohlen. („Users who bought books by Arthur C. Clarke might
enjoy other books by Arthur C. Clarke“). Ähnlich könnten nur noch Blogbeiträge oder Podcasts zum
selben Thema empfohlen werden.

New-User-Problem:
Das RS kann für neue Nutzer, die noch keine Bewertungen abgegeben haben, kein Präferenzprofil
ermitteln und daher keine oder nur schlechte Empfehlungen generieren.

26
Q

Was sind Alternative Ansätze zu Cont- based filtering?

A

Es gibt etliche Alternativen zur Nutzerprofilerstellung, zB. Bayesian classifiers, Clustering, decision tress, artificial neural networks

Die meisten Ansätzen unterstellen voneinander
unabhängige Schlüsselworte. Wenn diese Annahme nicht erfüllt ist, bietet sich Latent semantic indexing bzw.
analysis (LSI/LSA) an.

Grundidee: Ermittlung „latenter“ Aspekte in Dokumenten (zB. „Führungsfähigkeit“ in standardisierten Lebensläufen)

27
Q

Was sind Nachteile von Verfahren die auf Worthäufigkeit basieren?

A

Behandlung von Homonymen

Behandlung von Synonymen

28
Q

Was ist LSA?

A

Latent Semantic Analysis (LSA)
ermittelt Ähnlichkeiten auf der semantischen anstatt der
lexikalischen Ebene

Wörter mit gleicher Bedeutung zeigen im latenten Raum in die gleiche Richtung

Bekannte Verfahren
Singular Value Decomposition (SVD) &
Probabilistic Latent Semantic Aspect Model (PLSA)

29
Q

Was ist die Grundannahme bei LSA?

A

Die Grundannahme hinter LSA ist die Existenz einer allen Texten unterliegenden latenten semantisch Struktur. Relevante Ähnlichkeiten – und damit passende Empfehlungen - werden dann eher durch Analyse dieser Struktur als nur der Schlüsselworte identifiziert.

Damit werden gleichzeitig übliche Probleme der Content-Analyse (zB. Homonyme und Synonme) vermieden.

LSA sucht also semantische und keine lexikalischen Ähnlichkeiten. Formal ist die ursprüngliche Term-Document-Matrix in aller Regel sehr dünn besetzt, was verlässliche Prognosen gerade dann, wenn sie wichtig wären, unmöglich machen kann, wogegen in
weniger dimensionierten LSA-Raum diese Probleme geringer sind.

30
Q

Was ist Collaborative filtering?

A

Grundidee: Ähnliche Nutzer statt ähnliche Objekte (Gegensatz zu Content based filtering)

RS empfiehlt von ähnlichen Nutzers gut bewertete Objekte

31
Q

Was ist der Ansatz bei Collaborative filtering?

A

Schritt 1:
Bestimmung ähnlicher Nutzer (idR. anhand
ähnlicher Bewertungen)

Schritt 2:
Empfehlung von bei ähnlichen Nutzern beliebten
Objekten

Mit collaborative-filtering-basierten RS sind auch schwer beschreibbare Objekte prognostizierbar, und das Problem der Überspezialisierung wird vermieden.

32
Q

Was ist Memory based und welche Ansätze gibt es zur Ähnlichkeitbestimmung?

A

Gehört zu Collaborative FIltering und nutzt gesamte Bewertungsmatrix zur Ähnlichkeitsermittlung und
Empfehlungserstellung

Zwei Ansätze:
Korrelations-basiert: Ermittelt Ähnlichkeit zw. 2 Nutzern X und Y mit Pearson-Korrelation

Cosinus-basiert

33
Q

Was verwendet die Pearson Formel um den Einfluss systematischer Ratingunterschiede (zB.
bewerten einige Nutzer immer sehr negativ und andere immer sehr gut) zu minimieren?

A

Die Pearson-Formel verwendet die Abweichungen von der Durchschnittsbewertung statt der Absolutbewertung,

34
Q

Was verwendet die Cosinus basierte Ähnlichkeitsermittlung beim Memory based COllaborative FIltering?

A

Cosinus-basierte Ähnlichkeitsermittlung:
In diesem Fall sind Nutzer quasi die „Dokumente“
und die Bewertungen sind „term frequencies“

Nach Ähnlichkeitsermittlung kann die Vorhersage erstellt werden als mit den Ähnlichkeitsmaß
gewichtete Summe der Fremdbewertungen

35
Q

Welche Collaborative Filtering Erweiterungen/Modifikation gibt es in der Literatur um die Prädikationsgüte in bestimmten Anwendungen weiter zu verbessern?

A
  • Default voting (Auffüllen der dünn besetzen Matrix mit neutralen Durchschnittsratings)
  • Inverse user frequency bei einem Cosinus-basierten Ansatz (durchgängig hoch bewertete Objekte sind weniger nützlich zur Ähnlichkeitsbestimmung und bekommen daher geringeres Gewicht)
  • Case amplification (Transformation der Ähnlichkeitsgewichte w, um zB. hohe Gewichte mehr zu betonen)
36
Q

Was machen Model based Collaborative FIltering Ansätze?

A

Schätzen zunächst einige Parameter, um ein Modell zu
trainieren, das dann für die Vorhersage genutzt wird.

Vorteil: Parametervorhersage ist offline möglich und damit unabhängig vom eigentlichen
Prädiktionsprozess (→ Skalierbarkeit)

Nachteil: Dies kann mit Informationsverlusten einhergehen

37
Q

Welche probabilistischen Modellverfahren gibt es für Model based Collaborative FIltering?

A

Es gibt in der Literatur zahlreiche probabilistische Modellverfahren, zB.
• Latent factor models [Hofmann 1999]
• Bayesian Belief Networks [Breese, Heckerman and Kadie 1998]
• Formal statistical models [Ungar and Foster 1998]
• Linear regression models [Sarwar et al. 2001]
• Künstliche neuronal Netze [Kurbel, Szulim and Teuteberg 2000]

Ebenso gibt es Vorschläge zur Verbindung von memory-based und model-based
Ansätzen.

38
Q

Was sind Herausforderungen gängiger Auswahlpraxis mit Blick auf “fit”?

A

einfache stichwortbasierte Datenbankabfrage:
− ist nur ausreichend bei exakt beschreibbaren, einfachen Aufgaben
− lediglich für Suche nach Fähigkeiten, die explizit in Lebenslauf stehen

existierende Systeme:
− fokussieren idR. ausschließlich auf Fit zwischen Stellenanforderungen und Kandidatenfähigkeiten und
vernachlässigen dabei den Needs-Supplies-Fit (Fit zwischen den Präferenzen des Kandidaten und dem Job), obwohl zufriedene Mitarbeiter häufig bessere Leistung bringen und erfolgreicher sind (Edwards 1991) und Fachkräftemangel sowie „New Work“-Werte auch die Needs-Supply-Perspektive unverzichtbar machen.

39
Q

Was kann ein Lösungsansatz sein um die Herausforderungen gängiger Auswahlpraxis mit Blick auf “fit” zu lösen?

A

Ziel: „Fit“ aus mehreren Fit-Perspektiven herstellen

Grundidee: Empfehlungssystem nutzt vergangene Bewertungsdaten (zB. aus früheren Einstellungen
im Unternehmen)

− RS lernt, für welche Jobprofile welche Kandidaten(eigenschaften) ausgewählt wurden (Recruiter-Perspektive) und sich erfolgreich entwickelt haben (Leistungs-, Organisations- und relevante Kandidatenperspektive)
− Mit diesen Informationen werden Vorhersagen bezüglich Passgenauigkeit eines Bewerbers für einen Job generiert
− Damit können auch latente Aspekte erfasst werden, wenn das Empfehlungssystem deren Einfluss aus
vergangenen Bewertungsdaten und -prozessen lernen kann.

40
Q

Wie sieht derzeit eine Idealvision aus um direkt beobachtbare und indirekte (latente) Fit Faktoren zu verwenden?

A

Eine Idealvision sieht hier derzeit eine Mensch-
Maschine-Zusammenarbeit, die die besten Fähigkeiten von beiden verbindet, um gemeinsam deutlich bessere Entscheidungen zu treffen.

Ein entsprechendes Matching kann gleichermaßen für externe Bewerber als auch interne Teamkonfiguration erfolgen.

41
Q

Was sind Vorteile von Content based filtering?

A

Transparente Empfehlungsgenerierung

Objektsuche anhand von Eigenschaften

Neue Objekte können sofort empfohlen werden

42
Q

Was sind Nachteile von Content based filtering?

A

• Objekteigenschaften müssen extrahierbar sein: Bei Texten ist eine automatische Extrahierung kein großes Problem, wohl aber bei der Empfehlung von Bücher,
Multimediadaten oder Internetseiten

• Eigenschaften der vorhandenen Objekte müssen ähnlich sein: Sind Objekteigenschaften zu divers kann es zum sogenannten ‚Sparsity‘-Problem kommen,
d.h. es gibt zu wenige gemeinsame Bewertungen für Eigenschaften um ein Präferenzprofil aufzubauen

• Überspezialisierung der Ergebnisse (‚Overspecialization‘): Es werden immer nur
Objekte vorgeschlagen die einen ähnlichen Inhalt haben, völlig andere Objekte die durchaus interessant sein könnten werden vernachlässigt

• Empfehlungen für neue User (‚New User Problem‘): Neue Nutzer des Systems haben noch keine Bewertungen abgegeben, wodurch das System keine Ähnlichkeiten finden kann

Collaborative Filtering Verfahren versuchen
einige der Nachteile zu lösen

43
Q

Was sind Vorteile des Collaborative filtering?

A

Empfehlung beliebig komplexer Objekte

Lösung des overspecialization Problems

44
Q

Was sind die Nachteile des Collaborative Filtering?

A
  • User Cold-start oder first-rater Problem: Ein neues Objekt kann nie empfohlen werden, da hierfür noch keine Bewertungen vorliegen
  • Sparsity Problem: In einer ‚echten‘ Anwendung ist die Bewertungsmatrix nur spärlich besetzt, da nur einige Nutzer nur einige Objekte bewertet haben. Dies kann zu einer schlechten Empfehlungsgüte führen
  • New user problem: → siehe Nachteile der content-based Verfahren

Die Vorteile von content-based filtering sind die Nachteile von collaborative filtering und vice versa
→ hybride Systeme

Hybride Ansätze sind i.d.R. eine Kombination aus content-based und collaborative filtering. Ziel ist es, die Nachteile der einzelnen Verfahren durch eine Kombination zu reduzieren.

45
Q

Wie wählt man nun ein passendes Verfahren aus?

A

Auswahl des besten Verfahrens ist abhängig von
zahlreichen Faktoren:

Art der verfügbaren Daten
Anwendungsgebiet
Verfügbarkeit der Bewertungsdaten
Performance-Anforderungen

46
Q

Wie wählt man die beste Bewertungsmetrik aus?

A

Auswahl der besten Bewertungsmetrik ist abhängig von der Zielsetzung

Drei Klassen von Bewertungsmetriken:
Vorhersagegüte (‚predictive accuracy metric‘)
Klassifizierungsgüte (‚classification accuracy metric‘)
Ranggüte (‚rank accuracy metric‘)

47
Q

Was ist die Vorhersagegüte (predictive accuracy metric)?

A

Messung der Differenz zwischen dem vorhergesagten und dem tatsächlichen Wert

MAE ist ein in der Literatur häufig verwendetes Maß für
die generelle Vorhersagegüte eines Systems

Jedoch weniger nützlich wenn der Nutzer nur an den
hoch bewerteten Objekten interessiert ist oder wenn die empfundene Granularität zwischen den Rating-Werten gering ist

Die Vorhersagegüte misst den Unterschied zwischen der vorhergesagten und der tatsächlichen Bewertung. Da „nur“ ein korrektes Ranking nicht allzu viel aussagt, geht es um mehr als die Vorhersage der richtigen Rangordnung (Ranking). So kann beispielsweise eine Rangprognose (Kandidat Schmitz ist besser als Müller) richtig sein, Schmitz aber immer noch nicht gut genug für den Job (Schmitz ist also der beste, erfüllt
aber nicht die mindestens geforderten 75%).

Dies ist übrigens eine Erklärung, warum die allermeisten kommerziellen Recommender nur Rangordnungen angeben.

48
Q

Was sind übliche Messgrößen für predictive accuracy?

A

Die üblichen Messgrößen für predictive accuracy sind:

• Mean Absolute Error (MAE, durchschnittliche absolute Abweichung zwischen Vorhersage und tatsächlicher Bewertung); gute Metrik zur allgemeinen
Bewertung der Güte eines Empfehlungssystems, weniger nützlich bei geringem N

• Mean Square Error (MSE, betont dabei große Abweichungen über das Quadrieren), eine Variante ist der NormalizedMean Error (normalisierter Wertebereich zum Vergleich unterschiedlicher Vorhersagen mit unterschiedlichen Datensätzen).

In der Praxis wird dieser Wert nicht angegeben sondern nur ein Ranking

49
Q

Was ist die Klassifizierungsgüte?

A

Es wird gemessen, ob das System Objekte richtig klassifiziert in (‚mögen‘ | ‚nicht mögen‘), Abweichungen innerhalb der Klassen haben keine negative Auswirkung.

Precision (P): Wahrscheinlichkeit, dass ein vorgeschlagenes Objekt relevant ist
Recall (R): Wahrscheinlichkeit, dass ein relevantes Objekt ausgewählt wird

Nützlich, wenn die Präferenzen des Nutzer als binäre
Werte aufgefasst werden können (‚mögen‘ | ‚nicht mögen‘)

50
Q

Was zeigt die Klassifizierungsgüte an?

A

Zeigt an, wie häufig das System “richtig” – also
wie der menschliche Bewerter - zuordnet. Damit werden nicht Bewertungs- sondern
Zuordnungsabweichungen gemessen, wenn also beispielsweise ein A-Kandidat falscherweise in den B-Stapel kommt. Die Klassifizierungsgüte wird meist mittels precision, recall und ROC-Metriken angegeben.

51
Q

Wie würde man ein System in einer praktischen Anwendung anlernen?

A

In der praktischen Anwendung würde man hier einen Trainings- und einen Testdatensatz verwenden, um das System anzulernen und dann zu bewerten. Das kann so geschehen, dass man zB. 200 Lebensläufe durch einen Experten in A- (geeignet) oder B-Stapel (nicht geeignet) einordnen lässt.

Für die ersten 100 lässt man das RoboRecruiting-System dem Experten „über die Schulter schauen“, gibt dem System also die 100 Lebensläufe als Input und die Expertenentscheidung als Output, so dass das System - zB. durch LSA und künstliche neuronale Netze – Vermutungen entwickelt, welche Aspekte in den
Lebensläufen mit welcher Stapel-Entscheidung zusammenhängen. Danach kann man mit den zweiten 100 Lebensläufen überprüfen, wie ähnlich die Zuordnungen der Maschinen und des Experten sind.

52
Q

Wie berechnet man die Precision?

A

P = True positives (Relevant & selected)/ Total Selected

53
Q

Wie berechnet man Recall?

A

R=True positives (Relevant & selected) / Total Relevant

54
Q

Wie stehen Recall und Precision in Zusammenhang?

A

Recall und Precison stehen in einer inversen
Beziehung und sind abhängig von der Länge der
Vorhersageliste

→ werden mehr Objekte vorgeschlagen so steigt der
Recall-Wert aber die Precision sinkt
→ es macht Sinn immer beide Werte zu betrachten,
abhängig von den jeweiligen Anforderungen bzgl. der
Aussagekraft

55
Q

Was ist die Receiver Operating Characterisitc curve (ROC)?

A

Ein Maß für die Klassifizierungsgüte, das beide Kennzahlen vereint und darüber hinaus weitere Informationen enthält, ist die Receiver Operating
Characteristic (ROC) curve.

56
Q

Was sind Metriken zur Bestimmung der Ranggüte?

A

Die vorhergesagte Rangreihenfolge der empfohlenen Objekte wird mit der echten Reihenfolge verglichen

Die Reihenfolge innerhalb der relevanten und irrelevanten Objekte IST entscheidend.

57
Q

Was sind verwendete Rangkorrelationsverfahren?

A

Pearson‘s Produkt-Moment-Korrelationskoeffizient

Spearman‘s p

Kendall‘s Tau

58
Q

Wann sind Ranggüte-Metriken nützlich?

A

Sind dann nützlich, wenn Nutzerpräferenzen nicht binär sind. Sie vergleichen empfohlene und tatsächliche
Rangordnungen. Im Vergleich zu den
Klassifizierungsgütebestimmungen wäre die
Ranggüte schlechter, wenn zwar die Empfehlungen relevant sind (also „richtig“ im Sinne von präferenzkonformen Empfehlungen) aber in nicht identischer Reihenfolge.

59
Q

Wo finden Empfehlungssysteme in der Praxis Anwendung?

A
Urpsrgl. hauptsächlich im E-Commerce (sinkende Suchkosten für Käufer; One-to-one-Kundenansprache,
Konversion, Cross-Selling und Kundenloyalität für Unternehmen)
− Beispiele
• Amazon.com
• CDNOW
• BarnesAndNoble
• IMDb
• Levis.com
• Moviefinder.com

Analyse sehr großer Datenmengen in Unternehmen

Cloud Computing; ERP Lösungen
− „Following in Salesforce.com’s footsteps, NetSuite is pursuing the large-enterprise market…. NetSuite’s Upsell Manager for salespeople, which includes an Amazon.com-like recommendation engine that suggests products based on purchase history.”

Streaming-Plattformen

Empfehlungen von Personen zur Personalauswahl, einschl. Kontaktbörsen

Aufdecken und Nutzen von Beziehungen zwischen Personen (soziale Netzwerke, Team-
Zusammenstellung, etc.)

60
Q

Was muss bei RoboRecommendern beachtet werden?

A

Ziele: Unabhängig von der Frage, wie viel der Auswahlentscheidung von Mensch oder Maschine getroffen werden soll, müssen Ziele verstanden und bekannt sein (zB. Auswahl wie bisher vs. Auswahl nach erwarteter Arbeitsleistung)

Arbeit „Mensch mit Maschine“ kann auch für Entscheidung ganz ohne Maschine lehrreich nützlich sein. Es ist daher zu erwarten, dass in vielen Bereichen von HR bis Medizin AI-Systeme quasi in Kooperation mit menschlichen Experten Zweitmeinungen anbieten und auf diese Weise zu beidseitiger Transparenz und besseren, schnelleren und faireren Prozessen beitragen können.