Terms: Definitions Flashcards
HDFS(Hadoop Distributed File System)
分散処理システムのApache Hadoopが利用する分散ファイルシステム。
Hive
オープンソースの大規模分散計算フレームワークHadoop上で動作するデータウェアハウス（DWH）向けのプロダクトです。> https://www.idcf.jp/words/hive.html
Apache HBase
NoSQLの1つで、センサ機器が生成する時系列データを管理するための有力なデータストアとして注目されています。本連載では、HBaseを用いたシステム設計のノウハウと、1,000万個のスマートメータから収集したデータによる性能検証の結果を紹介します。> https://thinkit.co.jp/article/11882
Apache Phoenix
Apache HBase をストレージとして使用する HadoopでOLTP をサポート可能な、オープンソースでマッシブパラレルなリレーショナルデータベースエンジンです。(SQL) > https://jp.cloudera.com/products/open-source/apache-hadoop/apache-phoenix.html
Apache Solr
オープンソースの全文検索エンジンです。> https://www.designet.co.jp/ossinfo/apachesolr/
Apache Oozie
Apache Hadoop のジョブスケジュールに使用される、Java Web アプリケーションです。
https://jp.cloudera.com/products/open-source/apache-hadoop/apache-oozie.html
Impala
Hadoop上で稼動するクエリエンジン(SQL)
> https://www.gixo.jp/blog/12489/
Zookeeper
分散プロセスを優れた信頼性で連携させるためのオープンソースサーバー
https://jp.cloudera.com/products/open-source/apache-hadoop/apache-zookeeper.html
Spark
巨大なデータに対して高速に分散処理を行うオープンソースのフレームワーク
Apache Livy
SparkをREST APIから実行する > https://qiita.com/chocomintkusoyaro/items/9ad844d8386cbab4aa5a
HUE(Hadoop User Experience)
Apache Hadoopクラスタとともに使用されるウェブ基盤のユーザーインターフェース
https://guide.ncloud-docs.com/docs/ja/hadoop-chadoop-4-3#:~:text=HUE(Hadoop%20User%20Experience)は,などを実行できます。
Apache Zeppelin
webベースのデータ分析ノートブックです。デフォルトでSparkをサポートしている https://avinton.com/academy/apache-spark-zeppelin-environment-setup/#:~:text=Apache%20Zeppelinはwebベース,することが出来ます。
Apache Knox
Apache Hadoop サービスにセキュア・アクセスの単一ポイントを提供するシステム
Apache Hadoop YARN
リソース管理とジョブのスケジューリング/監視の機能を別個のデーモンに分割することです
