07 Avancerad analys och Big Data

Question 1

Vad är en analysapplikation?

- Henry Morris (3)

Answer 1

Fristående från operationella system/källor

Sammanför data från flera källor och möjliggör analys
över tid

Kan automatisera uppgifter för att optimera vissa
affärsprocesser (ge direkt affärsnytta)

Question 2

Vad är Big Data? (3+2)

Answer 2

Definierat som åtminstone något av:

• enormt stora, snabbt inflödande, multistrukturerade
  (eng. volume, velocity, variety)
• värdeskapande och korrekta
  (eng. value, veracity)

Question 3

Vilka två generella lagringsformer finns för hantering av Big Data?

Answer 3

Relationsdatabashanterare/data warehouse

• traditionella, men kraftfulla
• för strukturerad data, dvs med fördefinierad datamodell

Hadoop
- även för ostrukturerad data, dvs text, video, bild, sensordata, strömmande data, webbdata, data från sociala media

Question 4

Vilka två lager bestod Hadoop 1.0 utav?

Answer 4

Mapreduce
- framework/programmeringsskiktför datahantering och klusterhantering

HDFS
- Hadoop Distributed File System

Question 5

Vilka tre lager bestod Hadoop 2.0 utav?

Answer 5

Mapreduce
- framework/programmeringsskikt för datahantering

YARN (Yet Another Resource Negotiator)
- tog över resurshanteringen för
klustren från MapReduce

HDFS (Hadoop Distributed File System)

• består av ett antal noder ordnade i kluster
• data ordnas i filer med pekare

Question 6

Vad är en NoSQL-databas? (1+4)

Answer 6

En databas som inte bygger på relationsmodellen:

• ingen SQL, ingen ACID
• snabb datahantering viktigare än korrekthet till 100%
• open source
• skalbar horisontellt

Question 7

Vilka huvudtyper av NoSQL-databaser finns? (4)

Answer 7

(Wide) Column Store-DB (t ex HBase )

Document Store-DB (t ex MongoDB)

Key/Value Store-DB (t ex DynamoDB)

Graph Store-DB (t ex Neo4J)

Question 8

Vilka två typer av avancerad analys finns?

Answer 8

Data Mining och statistisk analys
- avancerad matematik på ”råa” (icke-aggregerade) datamängder, utförs av specialister, s.k. data scientists
– ofta på Big Data från data warehouse eller Hadoop- implementationer

Prediktiv analys (med hjälp av Data Mining)

• skapar och testar modeller med hjälp av verklig data
• för att förutse händelser och klassificera företeelser
• trend att bygga in avancerad analys i existerande BI-plattformar för att öka tillgängligheten/användbarheten och därmed affärsnyttan