NLP

Question 1

Recurrent NN

Answer 1

Skickar tillbaka information till sig själv samtidigt som den skicar framåt

• Bra för sekvenser av data

Question 2

Long Short-Term Memory

Answer 2

En typ av RNN
- Lägger till tidsstämpel

Question 3

Sentimentanalys

Answer 3

Process där känslomässig information identiferar och extraheras

Question 4

Hur går sentimentanalys till?

Answer 4

• Tokenization
• Stop word removal
• Extrahera och tilldela sentimentvärde
• Summera värden

Question 5

One hot encoding

Answer 5

Varje ord representeras av binär vektor. Bara nollor och en enda etta. Vart ettan är avgör ord

Question 6

Real-number value

Answer 6

decimaltal i vektorerna istället för binärt

Question 7

seq2seq

Answer 7

Arkitektur i LLM som bygger på encoder-decoder

Question 8

Latent vektor

Answer 8

Den numeriska representationen av en dold data, ofta ett ord

• för att fånga struktur

Question 9

Olika metoder för prompt engineering?

Answer 9

• Chain-of-thought
• Self-ask
• ReAct

Question 10

Är BERT bidirectional eller unidirectional

Answer 10

Bidirectional

Question 11

Är GPT bidirectional eller unidirectional

Answer 11

Unidirectional

Question 12

Chain-of-thought

Answer 12

Modellen tvingas stegvis resonera sig fram till ett svar. Resonemanget printas ut steg för steg och sist kommer svaret

Question 13

Self-ask

Answer 13

modellen bryter ner en fråga i mindre delfrågor och ställer delfrågorna till sig själv. Slutligen blir det ett sista svar

Question 14

ReAct

Answer 14

modellen förklarar först sitt resonemang, Re

Sedan agerar modellen på detta, Act

om och om igen tills det slutliga svaret

Question 15

Varför är transformers bra?

Answer 15

Möjliggör parallell bearbetning av sekvenser

Question 16

I vilka modeller används transformers?

Answer 16

De som GENERERAR data

Question 17

Hur förbereds data inför en transformermodell?

Answer 17

• Tokenization
• Word embedding
• Positional encoding

Question 18

Vad sker vid tokenization?

Answer 18

• Dela upp i mindre enheter
• Tilldela varje enhet unikt id

Question 19

Vad sker vid wordembeddings?

Answer 19

Varje id från listan plockas ut och får egen array

Question 20

Vad sker vid positional encoding?

Answer 20

Vektor från wordembeddning läggs ihop med vektor för position och blir en slutlig representation

Question 21

Vad händer i self-attention mekanismen?

Answer 21

Beräknas uppmärksamhetsvektor som visar hur ordet hörhåller sig till övriga ord
- Hur mycket uppmärksamhet avrje ord ska få
- Ger kontext

Question 22

Hur skapas uppmärksamhetsvektorn?

Answer 22

Attentionscore och softmax

Högre attentionscore ger högre vikt

Question 23

Vad händer vid residual connections?

Answer 23

Residualen beräknas:

Uppmärksamhetsvektor + vektorn före attention

Question 24

Vad händer i normaliseringslager?

Answer 24

Datan anpassas
Varje vektor ska ha medelvärde på 0 med standarsavvikelse på 1

Question 25

Vilken aktivering används i feedforward i transformers?

Answer 25

ReLu

Question 26

Sker det vanlig multiheaded self-attention efter masked multi-headed self attention i decodern?

Answer 26

Ja

Question 27

Vilken aktiveringsfunktion används för de slutliga representationerna innan de printas ut?

Answer 27

Softmax Sannolikhet