Linjär regression Flashcards
Felminimering, kvadratiska felet
Linjär regression
Kvadratiska felet (“Mean Squared Error”, MSE) är ett mått på skillnaden mellan de faktiska och de förutspådda värdena. Målet är att minimera detta fel.
Gradient descent
Linjär regression
En optimeringsalgoritm som justerar parametrar iterativt för att minimera felet genom att följa derivatan av felvärdesfunktionen.
Användning: predikering
Linjär regression
Används för att förutspå kontinuerliga värden, t.ex. bostadspriser eller temperatur.
Felminimering
Logistisk regression
Liknande linjär regression men med en log-loss (logistisk förlust) funktion som mål.
Sigmoidfunktion
Logistisk regression
En matematisk funktion som omvandlar kontinuerliga värden till ett intervall mellan 0 och 1.
Användning: binär klassificering
Logistisk regression
ör att klassificera data i två kategorier, t.ex. ja/nej eller sant/falskt.
Insamling av data
Modelleringsteg
Samla relevanta dataset för att bygga och träna modellen.
Förbereda data
Modelleringsteg
Encoding: Omvandla kategoriska data till numeriska.
One-Hot Encoding: Skapa binära kolumner för varje kategori i en variabel.
Välja variabler/features: Identifiera de mest relevanta variablerna.
Skala data:
Normalisera: Skala värden till intervallet [0, 1].
Standardisera: Justera värden till en normalfördelning med medelvärde 0 och standardavvikelse 1.
Uppdelning av datamängd:
Träning: Data för att lära modellen.
Validering: Data för att justera hyperparametrar.
Test: Data för att utvärdera modellens prestanda.
Definiera modell
Använd en specifik algoritm som är lämplig för problemet.
Hyperparametrar
Träna modellen
Justerbara inställningar som batch size, epoch och learning rate.
Batch size
Träna modellen
Antalet dataexempel som används i varje träningsiteration.
Epoch
Träna modellen
Ett varv genom hela träningsdatan.
Learning rate
Träna modellen
Hur stora steg algoritmen tar vid uppdatering av parametrar.
Kvalitetsmått
Utvärdera modellen
Noggrannhet/Accuracy: Andel korrekta förutspåelser.
Känslighet/Recall: Andel korrekta positiva förutspåelser.
Precision/Precision: Andel av de positiva förutspåelserna som är korrekta.
Confusion matrix (förvirringsmatris)
Utvärdera modellen
En tabell som visar korrekta och felaktiga klassificeringar för varje klass.
Förutsägelse
Använda modellen
Använda modellen på ny data för att generera resultat.
Avstånd
K-NN
Mått på likhet mellan datapunkter.
Minkowskiavstånd
K-NN
Generaliserar avståndsmått. Två specialfall:
Euklidiskt avstånd: Rakt linjärt avstånd.
Manhattanavstånd: Avstånd längs axlarna.
Algoritmen K-NN
K-NN
Identifierar de K närmaste grannarna för en datapunkt och klassificerar den baserat på majoriteten av grannarnas etiketter.
Biologisk cell
Neurala nätverk
Inspirerad av hur nervceller fungerar i hjärnan.
Aktiveringsfunktioner
Neurala nätverk
Identitet: Ingen ändring.
ReLU: Returnerar max(0, x).
Sigmoid: Begränsar värden till [0, 1].
Noder
Neurala nätverk
Enskilda enheter som utför beräkningar.
Lager
Neurala nätverk
Grupper av noder organiserade i inmatnings-, dolda- och utmatningslager.
Vilka beräkningar görs i en nod
Neurala nätverk
Väger och summerar input, tillämpar aktiveringsfunktion.
Bakåtpropagering/Backpropagation
Neurala nätverk
Algoritm som justerar vikter i ett neuralt nätverk baserat på felet.
Sekventiellt nätverk
Neurala nätverk
Ett nätverk där lager ligger i ordning.
Fördelar: Enkel struktur.
Nackdelar: Begränsad flexibilitet.
Tillämpningar med exempel
Neurala nätverk
Regression: Förutspå kontinuerliga värden.
Klassificering: T.ex. identifiering av bilder eller text.
Beräkning av antal träningsbara parametrar
Neurala nätverk
Beror på antalet noder och lager, inklusive vikter och biasar mellan noder.
