05. Stream adatfeldolgozás

Question 1

Hogyan dolgozza fel a Spark a stream adatokat?

Answer 1

1. Spark Streaming fogadja az adatokat és RDD kötegeket készít belőle
2. Spark Engine fogadja a kötegeket (DStream) és feldolgozza

Question 2

Mi a DStream?

Answer 2

• Discretized Stream
• Spark Streaming használja
• egy folyamatos adat streamet reprezentál
• szerkezetileg RDD-k sorát jelenti

Question 3

Mi a Windowed Computation?

Answer 3

A Spark Streaming lehetőséget add egy DStream több RDD-jének egyidejű transzformálására egy kimenet érdekében. Így egy DStream intervallumai tetszőleges módon dolgozhatók fel.

Question 4

Mik az accumulators?

Answer 4

Változók, amik trackelik a futó folyamatok állapotait.

Question 5

Mik a broadcast változók?

Answer 5

A Spark Streaming lehetővé teszi a csak olvasható változók eltárolását minden klaszter cache-ben, ahelyett, hogy minding másolatokat kellene elküldenie nekik.