02. Hadoop

Question 1

Miért előnyös a Hadoop?

Answer 1

1. megbízható - ha egy feldolgozó egység kiesik, egy másik veszi át a helyét
2. költséghatékony - általános hardverekkel működik
3. skálázható - könnyen hozzácsatolhatók plusz feldolgozó egységek
4. flexibilis - bármilyen adattípust tud kezelni

Question 2

Mi jellemzi a HDFS-t?

Answer 2

1. egyszeri írás, többszöri olvasás
2. feldolgozás mozog az adathoz
3. fájlrendszer név terek (könnyű navigáció
4. blokk-alapú tárolás
5. master-slave architektúra

Question 3

Milyen részekből áll a HDFS architektúrája?

Answer 3

1. Name node (metaadatok tárolása, alnode-ok menedzselése)
   1.1. FsImage - a névtér állapotát tartja számon az indulástól kezdve
   1.2. EditLogs - tárolja a fájlrendszerben végzett módosításokat
2. Data nodes
3. Secondary name node - az FsImage és az EditLogs fájlokat kezeli (nem helyettesíti a name node-ot)

Question 4

Mi a name node szerepe?

Answer 4

1. metadatokat kezel a fájlrendszerről beleértve a módosítások loholását is
2. blokk riportokat és életjeleket fogad a data node-októl
3. kezeli a data node-ok replikációit
4. data node kiesésekor helyreállítást végez

Question 5

Mi a data node szerepe?

Answer 5

1. tárolja az adatokat
2. elvégzi az olvasási és írási feladatokat riportokat és életjeleket küld a name node számára

Question 6

Mik okozhatnak gondot a HDFS-nek?

Answer 6

1. túl kicsi fájlok -> nagy adatforgalom, I/O fennakadások
2. túl kicsi blokkok -> látencia

Question 7

Mely részekből áll a YARN?

Answer 7

1. ResourceManager - felelős az összes klasztererőforrás felügyeletéért
2. NodeManager - felelős az adott csomóponton található erőforrások felügyeletéért és az alkalmazások kiszolgálásáért
3. Alkalmazáskonténerek - erőforrások izolálására és a feladatok futtatására
4. ApplicationMaster - felelős az adott alkalmazás erőforrás-igényeinek kezeléséért

Question 8

Mik a MapReduce folyamatának lépései?

Answer 8

1. Read data
2. Map data
3. Shuffle/Sort data
4. Reduce data
5. Write result