Test Flashcards
Coje datamining?
● vyhledávání / objevování netriviálních závislosti, vzorů a trendů
prozkoumávání velkých objemů dat
● zapomocí matematických a statistických algoritmů
Coseskrývá pod zkratkou CRM?
● řízení vztahů se zákazníky
● systémový podnikatelský přístup, který se vyznačuje aktivní tvorbou a
udržováním dlouhodobě prospěšných vztahů se zákazníky <wiki></wiki>
Jaké typy úloh DM patří do portfólia problémů CRM?
● udržení si zákazníka
● přebrání zákazníka
● oslovení zákazníka
Jaké úlohy DM řeší obvykle finanční instituce?
● skórování žádostí o úvěr
● hodnocení chování splácení úvěrů
● hodnota (bonita) klienta
● podvody při používání platebních karet
Kde všude se dá DMuplatnit?
● finanční instituce, genové inženýrství, medicína (diagnostika chorob),
personalistika (přijímání pracovníků), školství (udělování stipendií, predikce
úspěšnosti), obchodní řetězce (nákupní košík), státní sféra, logisitka,
marketing, prevence kriminality, identifikace org. zločinu, průmysl…
● text mining (chatgpt, analýza sentimentu)
● webmining (logy, cookies, personalizovaný web)
● zpracování obrazu (rozpoznávání)
Je pravdivé tvrzení, že DM odhalí v datech vše podstatné?
● ne,musíme vědět, co chceme / hledáme
Je pravdivé tvrzení, že DM je modelování?
● není jen o modelech-> ale i o přípravě dat (80 % času)
● ne-klasifikace, predikce, regrese, analýza vztahů, detekce anomálií, analýza
časových řad, regresní modely, neuronové sítě, rozhodovací stromy,
asociační pravidla, shluková analýza…
● analýza vztahů-> asociační pravidla (APRIORI)
Je pravdivé tvrzení, že DM pracuje pouze s obrovskými datovými
množinami?
● specifický úkol-> zmenšuje množinu
Jaké znáte dataminingové nástroje?
● IBMSPSSModeler, KNIME, RapidMiner, Orange, Weka
● knihovny v program. jazycích
Jaké programovací jazyky jsou nejpopulárnější pro datovou analýzu, data
mining, strojové učení a umělou inteligenci?
● python, R
Co je klasifikace, predikce, seskupování? Uveďte příklad úlohy a příklad
vhodného algoritmu.
● klasifikace-> zatřídění objektů do různých tříd podle jejich vlastností
(rozhodovací stromy- C&RT, random forest…)
● predikce-> předpověď
● seskupování-> shlukovací metody (kmeans…), učení bez učitele- model se
snaží najít podobnosti mezi daty a rozdělit je do skupin (shluků / klastrů),
nemá cílovou proměnnou?
Proč a kdy vznikla metodologie CRISP DM, které společnosti stály u
vzniku?
● evropská komise-> grant na vytvoření metodologie DM
● SPSS(modely), NCR (data), OHRA, DAIMLER-CHRYSLER (průmysl)
● 1999
Z jakých fází se skládá metodologie CRISP DM, popište co se v jednotlivých
fázích řeší?
● Cross-Industry Standard Process for Data mining
● schéma/ fáze:
○ porozumění problému (nejdůležitější, co budeme dělat, plánujeme jak
to budeme dělat)
○ porozumění datům (sběr dat, první vhled do dat, deskriptivní
charakteristiky dat (četnosti, průměr…))
○ příprava dat (časově nejnáročnější, vytváříme modelovací matici->
jedna velká tabulka, modely z matice extrahují řešení problému)
○ modelování (vytváření predikčních modelů, 1…n modelů, ocenění
modelů)
○ evaluace (hodnotí se úroveň modelu na reálných datech)
○ nasazení do praxe (časově velmi rozdílná)
Jaký je základní rozdíl mezi data miningem a statistikou?
● statistika-> data z výběrového šetření
● datamining-> data z praxe
Co je vstupní proměnná, prediktor, nezávislá proměnná?
● vstupní = nezávislá = predictor
● tyto data popisují výslednou target variable?
● podle těchto dat rozhoduji o výstupní proměnné
Co je výstupní proměnná, cílová proměnná, target field?
to, co chci predikovat
Jaký je rozdíl mezi strojovým učením bez učitele a učením s učitelem?
● učení s učitelem-> vím o výsledné hodnotě-> mohu vědět, zda se model
rozhodl správně při predikci…
● učení bez učitele-> nevím o výsledné hodnotě-> model vyhledává
spojitosti mezi vzorky dat
K čemu slouží uzly Type, Varfile, Statistics File, Excel, Database, User Input,
Select, Agregate, Sort, Balance, Distinct, Merge, Append, Filter,Partition,
Filed Reorder,Table,Data Audit ; Kde tyto uzly v Modeleru najdete?
● type [field ops]-> definice datových typů sloupců, definice
vstupní/výstupní/obojí/žádné role sloupce
● varfile [sources]-> načtení textového souboru
● statistics file [sources]-> načtení .sav souboru
● excel [sources]-> načtení excel souboru
● database [sources]-> připojení DB?
● user input [sources]-> vložení vlastního vstupu
● select [record ops]-> výběr sloupců
● aggregate [record ops]-> group by
● sort [record ops]-> setřídění
● balance [record ops]-> opravuje inbalances v datech (např ve sloupci
hodnoty true (90%) a false (10%)-> model se spíše naučí rozpoznávat
true-> proto chceme balance)
● distinct [record ops]-> pouze unikátní hodnoty
● merge[record ops]-> spojení dat z různých zdrojů
● append[record ops]-> spojení dat, které mají podobnou strukturu
(sloupce…)
● filter [field ops]-> výběr sloupců
● partition [field ops]-> rozdělení na testovací / trénovací skupiny
● filled reorder [field ops]-> setřídění sloupců
● table [output]-> tabulka šmírovačka
● dataaudit [output]-> jako v pythonu pandas .info()-> dá nám základní
vhled do dat-> histogramy/distribution, statistické ukazatele…
Na jaký typ proměnné/proměnných použijete vizualizaci pomocí Plot,,
Distribution, Histogram?
● plot = oba typy?
● distribution = nominální / ordinální (kategoriální)
● histogram = spojité / diskrétní (numerické, kvantitativní)
Lze v IBM SPSS Modeler psát skripty a jaké skriptovací jazyky případně
Modeler podporuje?
● python
Jaké datové typy rozlišujeme při statistických a DM úlohách?
● statistika-> kategoriální (kvalitativní) / číselné (kvantitativní)
● DM->kvalitativní (nominální, ordinální) / kvantitativní (spojité, diskrétní)
Které statistické charakteristiky určují polohu, variabilitu, tvar?
● poloha-> aritemtický průměr, medián, kvantily, modus
● variabilita-> rozptyl, směrodatná odchylka, MAD, IQR, z-skóre, variační
koeficient…
● tvar-> šikmost, špičatost
Co je modus pro kategoriální data?
● nejčetnější kategorická hodnota
Jak se určí modus pro kvantitativní proměnnou?
● diskrétní-> nejčetnější hodnota
● spojitá-> střed shortu (nejkratší interval, ve kterém leží 50 % hodnot
sledované proměnné)
○ počet dat-> liché-> 50 % souboru se určuje = n/2 + 0.5
Co je medián a jakou informaci v sobě nese?
● prostřední hodnota setříděných dat
● nenízatížen odlehlými hodnotami
Co jsou kvantily, jak se spočítají?
● vsetříděném souboru najdeme pozici k
● k=round(np + 0.5)-> kvantil = <0,1>
○ n…poslední index
○ p…kvantil (decil, kvintil…)
● vprocentech-> k = round(np/100 + 0.5)
Co je horní a dolní kvartil?
● horní = 3 kvartil = 0,75 kvantil
● dolní = 1 kvartil = 0,25 kvantil
Co je IQR (interkvartilové rozpětí) a k čemu slouží?
● IQR=Q3-Q1
● vevzorci pro detekci odlehlých hodnot
Co je Short?
● nejkratší interval, ve kterém leží 50 % hodnot sledované proměnné
Co jsou ODLEHLÁ pozorování, jak je lze najít?
● x_i<Q1-1.5 * IQR || x_i > Q3 + 1.5 * IQR
● abs(Z_i) > 3 (z-skore)
● abs(X_mad) > 3
Jak je definován MAD?
● medián absolutních odchylek od mediánu
Kdy lze pro popis proměnné (datové sady) použít aritmetický průměr? Kdy
průměr dobře reprezentuje proměnnou?
● když neobsahuje odlehlé hodnoty (outliery)?
Proč se definoval Variační koeficient?
● porovnání variability řadově rozdílných hodnot
Proč kategorizujeme číselná data a jak to lze udělat?
● určité algoritmy nepočítají s číselnými daty
○ rozhodovací stromy
● kategorizace proměnných
○ převod na intervalovou proměnnou (určíme počet kategorií,
sturgesovo pravidlo)
○ pevnášířka intervalu
○ percentily
Jak kategorizovanou proměnnou převést na číselnou a proč?
● určité algoritmy nepočítají s kategorizovanými proměnnými
○ shluková analýza, regrese
● převod na indikátorové proměnné
○ onehotencoding?
○ zakaždou kategorii sloupec-> ve sloupci 1, pokud vzorek nabýval
hodnoty sloupce
K čemu slouží Z-skore?
● identifikace odlehlých hodnot
● Z_i=(x_i- mean) / směrodatná odchylka
Jaký je rozdíl mezi klasifikační a regresní úlohou?
● klasifikační-> klasifikovat výskyt něčeho do n kategorií
● regresní-> predikce spojité hodnoty
Jakého typu je cílová proměnná u regresní úlohy?
● continuous- spojitá
Jaký uzel v Modeleru použiju na zobrazení vztahu dvou číselných
proměnných?
● plot?
K jakým typům DM úloh se hodí algoritmus C&RT a algoritmus lineární
regrese?
● C&RT->klasifikace a regrese
● lineární regrese-> regrese
Co jsme museli provést za operace s datovou maticí, abychom mohli použít
model lineární regrese? Jakého typu proměnné se to týkalo a proč?
● musíme převést kvalitativní proměnné na kvantitativní
Jaký typ operace s daty provádí uzel SetToFlag?
● kvalitativní proměnnou-> převede na indikátorovou proměnnou
● kůň, pes-> sloupce IsHorse, IsDog
● pokudje kůň-> IsHorse = 1, IsDog = 0
Jaké dva parametry jsme používali pro hodnocení kvality modelu lineární
regrese a algoritmu C&RT?
● lineární regrese-> mean absolute error (čím blíže 0-> tím lépe), lineární
korelace?
● CART->
Jakých hodnot může nabývat průměrná absolutní chyba(MAE) a koeficient
korelace? Jaké hodnoty těchto ukazatelů naznačují, že je model lepší či
horší?
● koeficient korelace = <-1,1>
● MAE=<0,nekonečno)
Jaký uzlem mohu generovat sadu testovacích dat?
● user input
K čemu slouží uzel Sample?
● výběr vzorků z datového zdroje (každý 9. vzorek…)
Co je to dendrogram a z jakých částí se skládá?
● diagram znázorňující kroky shlukové analýzy nebo větvení rozh. stromu
● kořen, větev, listy
Jaké typy klas. stromů znáte?
● obecné (libovolný počet větví, snadnější interpretace, typicky méně
úrovní, CHAID, C5.0)
● binární (z uzlu vedou 2 větve, rychlejší výpočet, typicky více úrovní, C&RT,
QUEST)
Kolik prediktorů má obvykle klas. úloha k dispozici
● není limitováno?-> ale vybírají se nejsilnější prediktory (vybírány na
základě určitého kritéria- každý model jiné)
Kdy se zastaví růst stromu?
● a)máme100%zařazení do jedné kategorie
● b)nejsou k dispozici žádné prediktory (nebo významné prediktory)
● c)stop kritéria (uživatel definuje-> přesný počet dat v listu, max hloubka..)
Co je to boosting?
● sekvenční vytváření více stromů-> rozhodovací lesy
● případy s chybnou klasifikací v předchozím stromu mají vyšší váhu
● při rozhodování stromy hlasují
Co je to pruning?
● prořezávání stromů
● zobecnění příliš specifických stromů
● zhotového stromu se odstraní málo významné větve (podstromy)
● jiný algoritmus než růst stromu
K čemu slouží uzel Partition?
● rozdělení dat na trénovací a testovací
Pomocí jakých uzlů můžeme vyhodnotit kvalitu vytvořeného modelu?
● Analysis, graf Evaluation (ROC křivka), (Matrix?)
K čemu slouží uzel Feature Selection?
● ohodnotí prediktory podle důležitosti (určitá kritéria)
● popřípadě odstranění zbytečných prediktorů
Co jsou chyby první a druhého druhu?
● chyba prvního druhu
○ FALSEPOSITIVE (FP)
○ houba je ve skutečnosti jedlá, ale my ji označíme jako jedovatou
● chyba druhého druhu (horší než prvního druhu)
○ FALSENEGATIVE(FN)
○ houba je ve skutečnosti jedovatá, ale my ji označíme jako jedlou
Co je to, a jak se spočítá senzitivita a specifičnost
● senzitivita (recall, hit rate, TP rate)
○ TP/P=TP/(TP+FN)
○ procento TP z dat, které označil model jako pozitivní
● specifičnost (selectivity, TN rate)
○ TN/N=TN/(TN+FP)
○ procento TN z dat, které označil model jako negativní
Co jsou to transakční data?
● záznamyojednotlivých aktivitách v business procesech organizace
● vtabulce mají samostatný záznam pro každou položku (transakci)
zákazník ; nákup
1 ; Jam
2 ; Mléko
2 ; Chléb
2 ; Sušenky
Kterým uzlem provádíme restrukturalizaci dat na indikátorové proměnné?
Pro které datové typy tento druh restrukturalizace přichází do úvahy?
● SetToFlag uzel
● kvalitativní proměnné (nominal například)
Které modelovací uzly generují asociační pravidla a čím se liší?
● Apriori
○ vytváří asociační pravidla založená na antecedent supportu?
● Carma
○ vytváří asociační pravidla založená na rule supportu?
○ nepotřebuje input or target fields (stejné jako by Apriori model
pracoval jen s BOTH fields)
○ umožňuje pravidla s více consequents (závěry)
Vysvětlete na příkladu antecedent a consequent
● Pokud zákazník koupí chléb a máslo, pak také koupí mléko.
○ Antecedent (předpoklad)
○ Consequent (závěr)
● společně tvoří pravidlo-> vyjadřuje pravděpodobnost určitého vzoru v
datech
Vysvětlete na příkladu, co je Confidence?
● spolehlivost-> odhad podmíněné pravděpodobnosti závěru
● počet objektů, pro které pravidlo platí, dělený počtem objektů, pro které
platí předpoklad pravidla
● {párek}-> {hořčice, chleba}
○ počet lidí, co si koupili: párek, hořčici a chleba, dělený počtem lidí,
co si koupili párek
Uveďte příklad asociačního pravidla a vysvětlete ho
● {párek}-> {hořčice, chleba}
○ zákazníci nakupující párky mají často ve svém nákupu rovněž
hořčici a chleba
Spočítejte Lift asicačního pravidla {pečivo, mraž. výrobky}-> {alkohol}.
Nepodmíněná pravděpodobnost nákupu alkoholu je 39 %, Confidence
daného asociačního pravidla je 75 %
● Lift = relativní zvýšení pravděpodobnosti platnosti závěru, při platnosti
předpokladů
● Lift = CONFIDENCE / NEPODMÍNĚNÁ_PRAVDĚPODOBNOST_ZÁVĚRU
= 0.75 / 0.39 = 1.923
Vysvětlete princip algoritmu APRIORI
● frekventovaná množina = množina položek splňující stanovený práh
minimální podpory (supportu)
● vytváří postupně množiny L1, L2 … Li tak, že z předchozí vygeneruje
množinu novou
● apriori vlastnost = každá neprázdná podmnožina frekventované množiny
je opět frekventovanou množinou
● 2kroky:
○ nagenerování množiny kandidátů s využitím Apriori vlastnosti
frekventovaných množin
○ ořezání množiny kandidátů na množiny, které jsou frekventovanými
množinmi
Proč je důležité mít vyváženou cílovou proměnnou?
● lepší výkon modelů (když převažuje jedna třída-> dává ji model větší
váhu)
● správná metrika modelu
○ vdatech mám1mužea99žen
■ prediktnu správně 99 žen, muže prediktnu jako ženu
■ sensitivity = 99 / 99 = 1
Jakým uzlem provedete vyvážení proměnné? Lze si ulehčit práci, když
chcete vyvážit proměnnou v modeleru, aniž byste museli nastavovat
parametry uzlu ručně?
● uzel Balance
● tobylo něco, že to vytáhl z grafu ne?
Jakým uzlem provedete import dat do modeleru z databáze?
● uzel Database
Jakým uzlem provedete export dat Z modeleru DO databáze?
● uzel Database
Co je třeba připravit, abyste mohli využívat DB v Modeleru?
● vytvořit v ODBC Data Source Administrator-> nový User Data Source
Můžete v Modeleru psát SQL dotazy?
● ano
Umí modeler část streamu převést automaticky na SQL dotaz? Jak to
případně poznáte?
● ano->ikona SQL vedle uzlu? (chatgpt)
Co jsou chyby prvního a druhého druhu?
● chyba prvního druhu
○ FALSEPOSITIVE (FP)
○ houba je ve skutečnosti jedlá, ale my ji označíme jako jedovatou
● chyba druhého druhu (horší než prvního druhu)
○ FALSENEGATIVE(FN)
○ houba je ve skutečnosti jedovatá, ale my ji označíme jako jedlou
Co je matice záměn?
● vkontextu úloh ML-> kontingenční matice obsahující v řádcích skutečnou
hodnotu předpovídané proměnné a ve sloupcích předpověď klasfikátoru
Jak spočítáme celkovou správnost?
● (TP+TN) / (TP+FP+TN+FN) = accuracy
Jak spočítáme celkovou chybu?
● (TF+FN) / (TP+FP+TN+FN)
Co je přesnost? Jak byste ji definovali?
● přesnost = precision = TP / (TP + FP)
Co je úplnost? Jak byste ji definovali?
● úplnost = recall = sensitivity = TP / (TP + FN)
Co je senzitivita? Jak byste ji definovali?
● senzitivita = sensitivity = recall = TP / (TP + FN)
Co je specifičnost? Jak byste ji definovali?
● specificita = specificity = TN / (FP + TN)
Co se stane se senzitivitou, klesne-li počet chyb druhého druhu (FN)?
● zvýší se
Co se stane se specificitou, klesne-li počet chyb prvního druhu (FP)?
● zvýší se
Jaké uzly IBM SPSS Modeler vhodné pro evaluaci modelů znáte?
● Analysis, graf Evaluation (ROC křivka), (Matrix?)
Jaké evaluační charakteristiky znáte?
● senzitivita (recall), specifičnost, False Positive Rate, accuracy, celková chyba
Co je shluková analýza a k čemu se používá?
● pro deskriptivní úlohy DM
● vyhledává a utváří shluky ve vstupních datech
● pokud máme cílové shluky-> učení s učitelem
● pokud nemáme cílové shluky-> učení bez učitele
● v závěru-> najít interpretaci shluků
● využití: marketing (segmentace zákazníků), analýza kriminality (hot spots),
příprava dat, redukce počtu proměnných, první krok modelování,
identifikace podezřelých případů
Co musíme udělat s daty před jejich nasazením do shlukovacích
algoritmů?
● standardizace hodnot atributů
● normalizace hodnot atributů (0-1)
● podle algoritmu-> null hodnoty, outliery, transformace typů atributů
Coje standardizace hodnot, proč se v SA provádí? Uveďte příklady
standardizace.
● proefektivnější výpočet vzdálenosti, různé číselné rozmezí, velká čísla
potlačí ta malá
● Z-skóre, rozpětí <-1;1>, rozpětí <0;1> = normalizace, logistická funkce,
ArcTg…
Coje metrika, kdy ji můžeme použít a jaké typy metrik znáte?
● hodnocení podobnosti objektů-> pro číselná data
○ Euklidova metrika v n-rozměrném prostoru
○ Hammingova metrika (Manhattan)
○ Čebyševova metrika
● keficienty podobností objektů-> kategoriální data
● pravděpodobnostní přístup
Kdy se používají koeficienty asociace, jaké koeficienty znáte?
● vpřípadě dichotomických dat (true/false)
● Jaccardův koeficient, Sokalův a Michenerův koeficient, Diceův
Coje dendrogram?
● diagram vyjadřující kroky shlukování (pro hierarchické metody), nebo kroky klas. stromu
Dojaké kategorie shlukovacích algoritmů patří algoritmus K-Means?
● Nehierarchické
Jaké metody určování podobnosti shluků se používají při hierarchickém
shlukování?
● nejbližší soused
● nejvzdálenější soused
● centroidní (porovnávám centroidy shluků)
Jaké typy algoritmů SA znáte?
● KMeans, DBSCAN, Fuzzy K-means, aglomerativní + divizní,
Jak určíme vzdálenost shluků pro číselné atributy jednotlivých objektů?
pomocí metrik (euklidova, hammingova, čebyševova…)
