大規模分散システムにおける並列プログラムの通信と処理状況を同時に表示する可視化ツールの検討

摘要

Parallel programs are being executed to analyze large-scale data on large-scale clusters. Since it is common for communication processes to become concentrated on some servers while execution processes become concentrated on other servers, it is difficult to optimize parallel programs. As the cluster size increases, it becomes more important to understand the execution and network statuses of the servers. Of particular difficulty is comprehending execution status. In this report, we propose Sphere Viz, a visualization tool that makes it easier to tune programs. This tool can show the execution status and communication statuses of many servers simultaneously with the target being a parallel program running on a large-scale cluster. This tool collects the server logs after program execution, restructures the server logs, and shows the server logs in order of time. Since our tool visualizes the servers as balls on a big sphere and sets connections between the racks, and thus the servers in each rack, it can visualize the execution loads and the communication traffic among many servers. Programmers can analyze the execution status of their programs and then optimize their programs. In this report, we describe an application and the implementation of a prototype. We evaluate the optimization of the MapReduce program on a 100-node distributed system using the example of a simple program.%大規模なクラスタ上で，大規模データを分析する並列プログラムを開発，実行させることが一般的になってきた．このような並列プログラムは，特定のサーバに処理が集中してしまったり，サーバ間の通信が特定の時間に集中してしまうなどの問題により，実行の最適化が難しい．特に，大規模なクラスタになるほど，サーバの実行状態やサーバ間の通信状態を見やすく表示することが難しく，並列プログラムの実行状態を把握すること自体が難しい．そこで，我々は，大規模なクラスタで動作する並列プログラムを対象に，サーバの実行状態やサーバ間の通信状態を同時に表示し，並列プログラム最適化を補助するツールSphereVizを提案する．本ツールは，並列プログラムの実行後，サーバからログを収集し，ログを再構成し，時間順にそれを表示する．このとき．サーバを画面上の球面に配置し，サーバ間を線で結合することにより，多数のサーバの負荷とサーバ間通信の負荷を同時に表示する．プログラマは本ツールにより並列プログラムの実行状態を検証し，必要な最適化について検討する．本稿では．SphereVizについての提案とプロトタイプの実装について述べる．さらに，簡単なMapReduceプログラムを例に，100台規模のサーバから構成されるクラスタに構築されたHadoop上でのMapReduceプログラムの最適化への適用評価について報告する．