Spark: Definitions: Terms

Question 1

単一のプールを用いて、キューのように扱う。プールに登録されたタスクセットを順にスケジューリングする

Answer 1

FIFO

Question 2

複数のプールを用いて、各プールから公平にアスクセットを取り出しスケジューリングする

Answer 2

FAIR

Question 3

クライアントジョブのキックを担当

Answer 3

クライアント, マスタ

Question 4

計算資源の提供・管理を担当

Answer 4

ワーカ

Question 5

ユーザがRDDの変換を記述したプログラム

Answer 5

ドライバ

Question 6

ワーカー上で動作し、実際の計算を担当

Answer 6

エグゼキューター

Question 7

Sparkの処理内でアクション系のメソッドを実行するとジョブが作成される。SparkではRDDと呼ばれる抽象データセットの変換を繰り返して目的の結果を得る。この一連の処理をジョブという

Answer 7

ジョブ

Question 8

ジョブはデータのシャッフルが必要な場合に複数のステージに分割される

Answer 8

ステージ

Question 9

ジョブをエグゼキューターが実行可能な粒度に分割した処理単位。ステージは複数のタスクを持ち、ワーカーに対して送られる並列実行可能な処理をタスクという

Answer 9

タスク

Question 10

ジョブをタスクに分割したり、タスクのエグゼキュータへの割り当てを担当

Answer 10

スケジューラ

Question 11

耐障害性分散データセットで、繰り返し利用するデータについてはメモリ上に保持することが可能

Answer 11

RDD(Resilient Distributed Datasets)

Question 12

1) イミュータブルで分割されたオブジェクトのコレクション(フォールトトレラント性を実現するためRDDでは「得たいデータが失われていたら前のデータから再生成する」というアプローチを取っているため、それぞれイミュータブルである必要がある)

2) 読み取り専用

3) 並列処理(map,filter,groupBy,join)をストレージ上のデータに適応した結果を生成

4) 再利用するためにメモリ上にキャッシュされる

5) 遅延評価される(アクション系のメソッド(*2)が呼ばれるまで」実際の処理は行われない)

Answer 12

RDDの性質(5)

Question 13

それぞれのRDDの和集合の重複を許したすべての要素からなるRDDを生成

Answer 13

union()

Question 14

重複を許さずそれぞれのRDDの積集合の要素からなるRDDを生成

Answer 14

intersection()

Question 15

subtract()

Answer 15

片方の要素からもう一方の要素を除いた要素からなるRDDを生成

Question 16

一つのRDD内部での重複要素を一つにまとめた要素からなるRDDを生成

Answer 16

distinct()

Question 17

要素の個数を返す

Answer 17

count()

Question 18

複数の要素を引数の数だけ集めてくる

Answer 18

take(int num)

Question 19

RDD全体を取り出す(小さいサイズ場合のみ)

Answer 19

collect()

Question 20

分散ストレージシステムに書き出す

Answer 20

saveAsTestFile()

Question 21

分散ストレージシステムに書き出す

Answer 21

saveAsSequenceFile()

Question 22

結合処理を並列に行う

Answer 22

reduce(func)

Question 23

reduce()と見た目は同じ、中身は若干違うっぽく、単位元的な値(その操作を適応しても変わらない)を受け取る

Answer 23

fold(zero)(func)

Question 24

reduce()と同じだが、返す型が扱うRDDの要素と違う場合に使う

Answer 24

aggregate(func)

Question 25

RDDからn個の要素を返す

Answer 25

take(n)

Question 26

RDDの先頭からn個までの要素を返す

Answer 26

top(n)

Question 27

指定された順序でRDDからn個要素を返す

Answer 27

takeOrdered(n)(ordering)

Question 28

RDDからランダムにn個要素を返す

Answer 28

takeSample(withReplacement,n,seed)

Question 29

RDDすべての要素を返す

Answer 29

collect()

Question 30

RDDの要素数を返す

Answer 30

count()

Question 31

RDDの各要素の出現回数を返す

Answer 31

countByValue()

Question 32

RDD中の各要素に指定した関数を適用

Answer 32

foreach(func)