11. predavanje: Uvod u obradu teksta

Question 1

Nabrojiti 4 tipična zadatka na teksutalnim podatcima.

Answer 1

• Dohvaćanje dokumenata
• Klasifikacija dokumenata
• Analiza sentimenta
• Određivanje teme teksta

Question 2

Objasniti tehniku reprezentacije teksta vektorom značajki bag of words.

Answer 2

Bag of words je multiset reprezentacija ulaznog niza tokena koja zadržava raznolikost tokena, međutim ne čuva njihov poredak.

npr. “what you see is what you get”
{get:1, is:1, see:1, what:2, you:2}
[0…0 1 0…0 1 0…0 2 0…0 1 0…0]

Question 3

Objasniti strukturu bag-of-words matrice.

Answer 3

Jedan redak po dokumentu, jedan stupac po riječi u rječniku.

Question 4

Objasniti proces tokenizacije.

Answer 4

Mapiranje znakova niza u slijeda tokena (skoro riječi). (spaCy, nltk)

Question 5

Definirati i navesti primjer za stop riječi.

Answer 5

Česte, “kratke” riječi koje nose malu informacija za većinu zadataka i smanjuju važnost informacije sadržane u stvarnim sadržajnim riječima. Primjer: I, a, the, is, you, its, interpunkcija.

Question 6

Koja je motivacija izra korištenja IDF (engl. inverse document frequency) tehnike?

Answer 6

Nisu sve riječi jednako informativne, osim uklanjanja stop riječi, želimo dati manju težinu na češće riječi (npr. per vs perceptron).

Question 7

Navesti izraz za računanje TF-IDF vrijednosti.

Answer 7

• idf(w) = -log(docfreq(w) / N)
• tf(w,d): frekvencija pojavljivanja riječi w u
  dokumentu d
• N: ukupan broj dokumenata
• zapis u retku d i stupcu w ima vrijednost
  tf(w,d) * idf(w)

Question 8

Zašto se i kako provodi normalizacija redaka TF-IDF matrice?

Answer 8

Dulji dokumenti imaju više unosa različitih od nule (imaju veći broj različitih riječi) i dalje su od ishodišta od kraćih dokumenata. Rješenje: L1 (suma redaka jednaka 1) ili L2 (euklidska udaljenost jednaka 1) normalizacija redaka TF-IDF matrice.

Question 9

Navesti tehnike za normalizaciju stupaca TF-IDF matrice.

Answer 9

• Min-max skala

- Standardizacija (-mu, /sd)

Question 10

Objasniti razliku između one-hot i word embeddings reprezentacije teksta.

Answer 10

Kod one-hot encodinga tokeni su međusobno nezavisni, 20000 dimenzionalan prostor. Kod word embeddinga geometrijski odnos između vektora riječi treba odražavati semantički odnos, 256-1024 dimenzije.

Question 11

Navesti cilj i dvije verzije word2vec-a.

Answer 11

Cilj je predviđanje riječi koristeći kontekst koji ih okružuje. Dvije verzije: CBOW i Skip-gram.

Question 12

Objasniti CBOW verziju word2vec-a.

Answer 12

Uzima vektora embeddinga n riječi prije ciljane i n riječi nakon ciljane i zbraja ih. Uklanja poredak riječi, no suma vektora je dovoljno simslena da odredi nedostajuću riječ.

Question 13

Objasniti Skip gram verziju word2vec-a.

Answer 13

Počinje s embeddingom jedne riječi i pokušava predvidjeti riječi koje ju okružuju.

Question 14

Navesti alternative Skip gram i CBOW pristupima.

Answer 14

GloVe (global vector) i ELMo (Embeddings from Language Models).