Spark: Terms: Definitions

Question 1

FIFO

Answer 1

単一のプールを用いて、キューのように扱う。プールに登録されたタスクセットを順にスケジューリングする

Question 2

FAIR

Answer 2

複数のプールを用いて、各プールから公平にアスクセットを取り出しスケジューリングする

Question 3

クライアント, マスタ

Answer 3

ジョブのキックを担当

Question 4

ワーカ

Answer 4

計算資源の提供・管理を担当

Question 5

ドライバ

Answer 5

ユーザがRDDの変換を記述したプログラム

Question 6

エグゼキューター

Answer 6

ワーカー上で動作し、実際の計算を担当

Question 7

ジョブ

Answer 7

Sparkの処理内でアクション系のメソッドを実行するとジョブが作成される。SparkではRDDと呼ばれる抽象データセットの変換を繰り返して目的の結果を得る。この一連の処理をジョブという

Question 8

ステージ

Answer 8

ジョブはデータのシャッフルが必要な場合に複数のステージに分割される

Question 9

タスク

Answer 9

ジョブをエグゼキューターが実行可能な粒度に分割した処理単位。ステージは複数のタスクを持ち、ワーカーに対して送られる並列実行可能な処理をタスクという

Question 10

スケジューラ

Answer 10

ジョブをタスクに分割したり、タスクのエグゼキュータへの割り当てを担当

Question 11

RDD(Resilient Distributed Datasets)

Answer 11

耐障害性分散データセットで、繰り返し利用するデータについてはメモリ上に保持することが可能

Question 12

RDDの性質(5)

Answer 12

1) イミュータブルで分割されたオブジェクトのコレクション(フォールトトレラント性を実現するためRDDでは「得たいデータが失われていたら前のデータから再生成する」というアプローチを取っているため、それぞれイミュータブルである必要がある)

2) 読み取り専用

3) 並列処理(map,filter,groupBy,join)をストレージ上のデータに適応した結果を生成

4) 再利用するためにメモリ上にキャッシュされる

5) 遅延評価される(アクション系のメソッド(*2)が呼ばれるまで」実際の処理は行われない)

Question 13

union()

Answer 13

それぞれのRDDの和集合の重複を許したすべての要素からなるRDDを生成

Question 14

intersection()

Answer 14

重複を許さずそれぞれのRDDの積集合の要素からなるRDDを生成

Question 15

subtract()

Answer 15

片方の要素からもう一方の要素を除いた要素からなるRDDを生成

Question 16

distinct()

Answer 16

一つのRDD内部での重複要素を一つにまとめた要素からなるRDDを生成

Question 17

count()

Answer 17

要素の個数を返す

Question 18

take(int num)

Answer 18

複数の要素を引数の数だけ集めてくる

Question 19

collect()

Answer 19

RDD全体を取り出す(小さいサイズ場合のみ)

Question 20

saveAsTestFile()

Answer 20

分散ストレージシステムに書き出す

Question 21

saveAsSequenceFile()

Answer 21

分散ストレージシステムに書き出す

Question 22

reduce(func)

Answer 22

結合処理を並列に行う

Question 23

fold(zero)(func)

Answer 23

reduce()と見た目は同じ、中身は若干違うっぽく、単位元的な値(その操作を適応しても変わらない)を受け取る

Question 24

aggregate(func)

Answer 24

reduce()と同じだが、返す型が扱うRDDの要素と違う場合に使う

Question 25

take(n)

Answer 25

RDDからn個の要素を返す

Question 26

top(n)

Answer 26

RDDの先頭からn個までの要素を返す

Question 27

takeOrdered(n)(ordering)

Answer 27

指定された順序でRDDからn個要素を返す

Question 28

takeSample(withReplacement,n,seed)

Answer 28

RDDからランダムにn個要素を返す

Question 29

collect()

Answer 29

RDDすべての要素を返す

Question 30

count()

Answer 30

RDDの要素数を返す

Question 31

countByValue()

Answer 31

RDDの各要素の出現回数を返す

Question 32

foreach(func)

Answer 32

RDD中の各要素に指定した関数を適用