Hadoopにおける計算機資源とネットワーク資源に応じたタスク割り当て方式

摘要

オープンソースのHadoopは、大規模データの分散処理を行うために企業のデータセンタ等で使用されている。従来研究において、スレーブノードの性能差を考慮してタスクのブロックサイズを変更することで処理時間を短縮するタスクスケジューリング方式が検討されている。しかし、タスクのブロックサイズの決定方式は示されていない。本論文は、計算機資源とネットワーク資源を考慮したタスクのブロックサイズの決定方式を提案する。提案方式は、スレーブノードでの処理時間が均一となる制約式を満足するようにタスクのブロックサイズを決定する。その制約式は、同一のブロックサイズで処理を行った場合のスレーブノードの処理時間とネットワーク資源の条件に基づいて定式化される。提案方式をHadoopに実装し、実験ネットワークを用いて性能を評価した結果、適切なブロックサイズを決定することにより処理時間を削減することを示す。