NLP CHAT Flashcards
Vad är NLP och vad används det till?
Natural Language Processing (NLP) är en teknik för att analysera, förstå och generera mänskligt språk. Används för översättning, sentimentanalys, chatbots, etc.
Vad är tokenisering?
Processen att dela upp text i mindre delar (tokens) som kan vara tecken, ord eller subord.
Vad är en utmaning med ord-tokenisering?
Out of Vocabulary (OOV) problem - ord som inte finns i vokabulären kan vara svåra att hantera.
Vad är word embeddings?
Numeriska representationer av ord som gör att maskiner kan förstå semantiska relationer mellan ord.
Ge ett exempel på word embeddings-teknik.
One-hot vektorer, där varje ord representeras av en binär vektor med en enda 1:a.
Vad är en nackdel med one-hot vektorer?
De kräver mycket minne eftersom de har hög dimension.
Vad är encoder-decoder-arkitekturen?
En modell där en encoder bearbetar indata och en decoder genererar utdata, ofta använt i sekvens-till-sekvens-modeller som maskinöversättning.
Vad är en latent representation?
En kompakt representation av en sekvens som används av en decoder för att generera utdata.
Vad löser attention-mekanismen?
Den hanterar problemet med långa sekvenser genom att tilldela vikt till olika delar av indata vid varje tidssteg.
Vad är en transformer-modell?
En neural nätverksarkitektur som bygger på självuppmärksamhet (self-attention) och möjliggör parallell bearbetning.
Hur skiljer sig transformer-modeller från RNNs?
Transformers tillåter parallell bearbetning medan RNNs bearbetar sekvenser sekventiellt, vilket gör RNNs långsammare att träna.
Vad är en stor fördel med LLMs?
De kan användas för flera uppgifter (multitasking) och kan generalisera över olika domäner.
Vad är skillnaden mellan finetuning och prompting?
Finetuning innebär att man tränar om en LLM på en specifik dataset, medan prompting innebär att man ger extra instruktioner för att styra output utan att ändra modellen.
Vad är Chain of Thought (CoT)?
En prompting-teknik där modellen uppmanas att redogöra för sina tankesteg innan den ger ett slutligt svar.
Vad är Self-Ask?
En teknik där en LLM bryter ner en fråga i mindre delfrågor för att stegvis komma fram till svaret.
Vad är en traditionell chatbot jämfört med en modern AI-driven chatbot?
En traditionell chatbot använder fördefinierade svar medan en modern AI-driven chatbot genererar dynamiska svar baserat på kontext.
Vad är Turing-testet?
Ett test där en dator försöker övertyga en mänsklig domare att den också är en människa.
Vad är en foundation model?
En stor språkmodell (LLM) som kan generalisera över många olika uppgifter och inte är begränsad till en specifik funktion.
Nämn en utmaning med att träna LLMs från grunden.
Det kräver extremt mycket beräkningskraft och resurser eftersom modellerna har miljarder/triljoner parametrar.
Hur kan LLMs användas inom sjukvård?
De kan användas i expertssystem, diagnostik och rekommendationer inom sjukvård.
