 |
|
NAREGIミドルウェアは、プログラミング・利用環境から資源管理まで、統合的なグリッド環境を提供しており、左図に示すコンポーネントから構成されています。多くのコンポーネントはWSRF（Web Services Resource Framework）に準拠したWebサービスとして実装しており、これらコンポーネントの連携により、NAREGIミドルウェアはより使い易く、高度なグリッド環境を提供することができます。
|
| 1 |
資源管理 |
資源管理は広域に分散された異機種混合の計算資源環境を1つにまとめて運用することを目的に、SS 、GridVM、IS の3つのコンポーネントから構成しています。SSは、資源ブローカリング機能、ジョブワークフローエンジンなどを持ち資源やジョブの管理を行います。GridVMは、異機種の計算資源を仮想化し上位サービスに対して統一されたインターフェースで資源やジョブの管理サービスを提供します。ISは、グリッド環境における計算資源、ネットワーク、ソフトウェア、アカウンティングなどに関する情報の統合的管理を行います。これら３者の連携で、一般的なジョブ投入機能のみならず、アーキテクチャの異なる計算資源のコアロケーション機能、パラメータサーベイジョブに対応したバルクジョブ投入機能など特徴的な機能を実現します。
|
|
| 2 |
データグリッド |
広域に分散するデータ資源をグリッド環境上で利用可能にすることを目的に、共有ファイルシステム、データ転送システムから構成しています。共有ファイルシステムは、大規模シミュレーションなどから得られる大量のデータを共有ファイルとして格納し、グリッド上に分散した計算環境から利用可能とします。データ転送システムでは共有ファイルシステム上の大量のデータを計算環境まで効率的に転送します。共有ファイルはWFTでの設定によりスーパスケジューラと連携して利用されます。
|
|
| 3 |
セキュリティー |
グリッドのセキュリティ基盤であるGSI (Grid Security Infrastructure)を実装するための認証・認可機能を提供します。認証機能は、PKI(公開鍵暗号基盤）を用いて各種グリッド用証明書を発行し管理するための仕組みです。NAREGI-CA(認証局ソフトウェア)は、IGTF (International Grid Trust Federation)が定めた運用基準を満たし、国際連携が可能なグリッド用認証局の構築を可能とします。認可機能では、複雑な実組織のアクセスポリシーをVO（仮想組織）を形成することで整合し、管理組織を超えた資源の共有を可能とします。
|
|
| 4 |
利用環境 |
グリッド環境上でアプリケーションを簡単かつ効率的に動かすことを目的に、WFT、GridPSE、GVSの3つのコンポーネントから構成しています。WFTはジョブ実行制御を操作性の良いGUIで簡単に記述できます。GridPSEは研究者が開発したアプリケーションをグリッド環境上に配置し、研究コミュニティーによる共有を支援します。GVSは計算結果をグリッド環境上で視覚化します。利用者はグリッド環境に入るポータルから、これらのコンポーネントを利用し、グリッド環境を使います。
|
|
| 5 |
プログラミング
環境 |
広域分散異機種混合の計算資源間で並列処理プログラミングの容易化を、GridRPC、GridMPIで実現しています。
GridRPCは耐障害性が高く、動的な資源利用を可能とするグリッドアプリケーションの容易な開発と高い実行効率を可能にします。GridMPIはグリッド上での通信遅延を考慮した高性能かつインターオペラブルな通信をTCP/IPレベル、MPIライブラリーレベルで実現します。
|
|
| 6 |
アプリケーション
対応 |
グリッド環境上で連成計算プログラムを実行するために複数アプリケーション間での高度意味変換機能をサポートしたグリッド連成ミドルウェア（Mediator）を提供します。複数アプリケーション間でのファイルによる同期型データ転送を行う機能を提供します。
|
|
|
2) NAREGIミドルウェアVer.1.0 の仕組み
|
 |
利用者はNAREGI CAからユーザ証明書と秘密鍵を取得し、MyProxyサーバに証明書を格納します。NAREGIポータルにSingle Sign-On（複数の計算サイトを利用する場合も可）し、MyProxyから取得したProxy証明書とVOMS サーバで管理されているVO関連情報を基に、VO属性証明書を含むProxy証明書を生成します。利用者はGridPSEを使い、利用するアプリケーションをコンパイルして利用可能な計算サイトへ配置、登録ができます。WFTによりジョブ実行手続き（複数のジョブからなるワークフロー、入出力ファイルとの対応関係）とそれぞれのジョブ実行要件を記述します。
|
 |
実行処理は、複数の計算サイトの利用時間を予約し、同時使用による連携を可能とする予約ジョブ（コアロケーション）と、利用時間を予約せず各計算サイトの運用ポリシーに応じて（First Come Fair Share等）処理する非予約ジョブが実行できます。また、計算サイトに関する特定条件下では、SMPマシンの非占有実行及びLocal Schedulerに直接投入されたジョブとの混在実行が可能となります。ここでは、複数の計算サイトを跨いで実行するGridMPIジョブの予約実行について説明します。
WFTから、生成したプロキシ証明書を添付してジョブをSSに投入します。SSはジョブ実行要件、プロキシ証明書のVO関連情報、ISからの資源情報等に基づき、実行要件に合致した計算サイトを探索します。適切な計算サイトが見つかると、SSはGridVMを介して計算サイトのLocal Schedulerに時刻を指定して予約をします。時刻になると、予約されたジョブが起動され、GridMPIによるMPI通信により連成解析処理等を実行します。このように、予約によりアーキテクチャが異る計算サイト間での異なるプログラムの連携実行が可能となります。GridVMからは資源情報、利用量などのAccounting情報がISに登録されます。計算途中の状況、結果はポータルのGVSで可視化し、確認できます。
|
| ユーザのProxy証明書には、使用するVOに対する属性情報が追記されます。このProxy証明書は、ジョブ投入時に資源管理機構に渡され、ジョブを投入したユーザの権限、VO属性に従い処理されます。各計算サイトが属するVOの情報はISに登録されています。SSは、この情報と投入されたジョブ要件とを照らし合わせて資源ブローカリングを行い、適合した計算サイトにジョブを投入します。各計算サイトでは、Authorization Service によりユーザの実行権の確認を行いジョブ実行の可否を判断します。また、各資源におけるVO毎の許可資源量については、各資源に設定されたポリシーとジョブ要件を照らし合わせて判断します。
|
| 外部にあるファイルを共有ファイルシステム上にインポートでき、ポータルよりWFTを使ってインポートしたファイルをジョブが実行される計算サイトとの間で転送するよう指定できます。共有ファイルシステムに転送されるファイルが大容量のときには、自動的に複数のファイルサーバに分散して格納することができます。また、VOに対応してVOごとに独立した共有ファイルシステム空間を割り当てており、VOによってファイルシステムが自動的に切り替わります。
|
 |
A大学では酵素などのたんぱく質の特性を電子構造解析により研究しています。研究に使用するプログラムは真空中のたんぱく質の特性のみが解析可能であるため、このままでは酵素がはたらく体内での反応を解析することはできません。
一方、B研究所では溶媒分布解析の研究を進めており、A大学が進めている電子構造解析と連携し、たんぱく質と溶媒との相互作用を解くことで溶液中の酵素の特性を調べる、より高度な研究が可能となります。
NAREGIミドルウェアにより構築するグリッド環境ではA大学、B研究所といった異なる組織に所属する計算機、プログラムなど、複数の研究機関のあらゆる資源を結び、最新の研究プログラムを連携させることができます。組織の壁を越えてA大学のプログラムとB研究所のプログラムを連携させ、溶液中の電子構造を解析するという、より高度な研究を促進することができます。
電子構造解析はPCクラスタ向きの計算で、溶媒分布解析は大容量メモリが必要なSMPマシン向きの計算となります。
グリッドでは計算に適した計算機資源を探し、アーキテクチャの異なる計算機を連携させ、これからの研究で重要と考えているマルチスケール、マルチフィジックスのシミュレーションが可能となります。
|
| Mセンターに所属する研究チームAと、Nセンターに所属する研究チームBがVOを作る場合を例に説明します。 |
 |
VOごとにSS、IS、VOMS、Portalを立ち上げ、VOの各メンバーは、IGTF公認の認証局からユーザ証明書（UPKI運用後はその証明書を利用）を取得します。VO管理者とVO内のGroupを決め、VOMSにVO情報を登録し、VO管理者はMセンター、Nセンターに利用 （VOと利用できる資源を関係付けたVO設定申請）を申請します。各センター管理者は利用するセンタのアカウント、ユーザ証明書サブジェクト名、VO名を申請に基づき設定します。また計算資源のVOへの所属は、計算資源の管理者がVOに対する実行ポリシーを設定することにより行われます。 |
 |
VOごとにSS、IS、VOMS、Portalを立ち上げ、VOの各メンバーは、IGTF公認の認証局からユーザ証明書（UPKI運用後はその証明書を利用）を取得します。VO管理者とVO内のGroupを決め、VOMSにVO情報を登録し、VO管理者はMセンター、Nセンターに利用 （VOと利用できる資源を関係付けたVO設定申請）を申請します。各センター管理者は利用するセンタのアカウント、ユーザ証明書サブジェクト名、VO名を申請に基づき設定します。また計算資源のVOへの所属は、計算資源の管理者がVOに対する実行ポリシーを設定することにより行われます。 |
 |
|
4) NAREGIミドルウェアVer.1.0 機能仕様
|
| 項目 |
機能 |
| 資源管理 |
- ジョブ要件に適合する計算資源の自動確保
- 資源予約を行わないジョブ実行（β版までは全ジョブ資源予約により処理）
- 資源予約ベースのコアロケーションによるジョブ実行
- 計算ノードでの複数ジョブの同時実行（予約ジョブを除く）
- グリッドジョブとローカルスケジューラジョブとの共存（制限あり）
- バルクジョブ投入機能
- VO単位でのサービスの構築
- ログ情報、サービス状態情報を統括管理する管理者支援
- EGEE/gLiteとのインターオペレーション（プロトタイプ）
- GridMPI、GridRPCとの連携
|
 |
| 利用環境 |
- ポータルへのSingle Sign-Onでグリッド環境を利用
- ポータルからのアプリケーションの登録・配置利用が可能
- WFT（GUI）によるプログラミング連携、ジョブ・データの連携
- コマンドラインインターフェイス対応
- グリッド環境での大規模可視化
- GridRPC、GridMPIによるプログラミングの容易化
|
|
| データグリッド |
- グリッド環境でのファイル配置・登録
- グリッド環境で共通な名前でアクセスできる共有ファイルシステム
- 共有ファイルシステムへのファイルインポート
- ワークフローツールとの連携による計算環境へのファイルのステージング
|
|
| セキュリティ |
- 認証局ソフトウェアによる証明書管理
- 長時間ジョブ実行のためのProxy証明書期間延長
- 認可ポリシーによるアクセス制御
|
|
| VOサポート |
- VO単位に構築可能なNAREGIサービス郡
- VO情報、VOポリシーに基づくアクセス管理
- VOユーザのGroup、Role 従ったアクセス制御
- 登録アプリケーションの利用形態（個人/VO共用）、利用者/VO管理者などVO管理機能設定
|
|
アプリケーション
対応 |
- JSDLの記述と資源管理情報を用いたファイルによる同期型データ転送
- マルチスケール、マルチフィジックス問題のための高度意味変換
|
|
| 項目 |
準拠している仕様 |
| 共通仕様 |
- WSRF/WSNによる資源管理、アプリケーション管理、データ共有管理対応
- OGSA−DAIによるISインターフェース、共有ファイルシステム管理インタフェース、アプリケーション情報管理
- JSDLによるジョブ実行要件の指定
|
|
| 資源管理 |
- OGSA-EMSベースの資源管理、ジョブ実行管理
- DMTF-CIMスキーマベースの資源情報モデル
- OGSA-RUSによるアカウンティング
|
|
| 利用環境 |
- ACS (Application Contents Service)
- MPI-1 完全準拠、MPI-2 準拠
- OGF /RPC仕様完全準拠
|
|
| データグリッド |
|
|
| セキュリティ |
- Globus GSI (Grid Security Infrastructure)によるPKI、X.509証明書ベースの認証・権限委譲
- Webサービス対応（XKMS）
|
|
| インストール |
- RPM(Redhat Package Manager)
- APT(Advanced Packaging Tool)
|
|
