30pYR3
KEK 共通計算機システム(KEKCC)[1]は,1996年１月から運用開始された, サーバ型 WS を中心にして構築されたシステムである．KEKCC は，PS 実験グループ，JLC実験グループ，国際協力実験グループ，BSF実験グループ，加速器グループ，PFグループなどと多様なワークグループが共用する．ワークグループ毎の異なる利用形態に対応するためにクラスターシステムの構成にした．
KEKCC では，実験データ解析のための計算機システムを構築するための技術として，分散処理環境はDCE(Distributed Computing Environment) [2] [3][4]を，分散ファイルシステムは DCE/DFS (Distributed File Service)を，データサーバは 20TB の Sony PetaSite とHSM(Hierarchical Storage Management, 階層型ファイルシステム)ソフトウエア Hitachi JP1/OmniStorage を導入した．
本稿ではDCEの概要の説明およびKEKCCでの運用の状況を報告する．
2. DCE の概要
2.1 DCE とは
DCEはUNIX の標準化を行なっている業界団体であるOSF(Open Software Foundation, Inc.)が提供している，ネットワーク上の分散コンピューティング環境を構築するための基本的技術のソフトウエアパッケージである.
OSF/DCE は，数台のマシンから数千台のマシンによる WAN 規模のシステムを構築できること，マルチプラットフォーム環境において標準化されたシステムであること，ネットワーク上でのセキュリティが確保できることを前提にして，クライアント／サーバモデルをベースとして設計されている．
サーバおよびネットワークの障害に対する可用性の向上，および
WAN など低速ネットワークへの対応のための技術として，データを別の場所に重複して持つサーバの機能であるreplica
と，クライアントがデータをローカルに保存して再利用するcache 機能を用いている．
2.2 OSF/DCE の構造
OSF/DCE は, 1) - 5) の基本サービスと，6)-7) の拡張サービスから構成されている．
1) リモートプロシージャコール(RPC, Remote Procedure Call)： クライアント/サーバモデルに適したプログラム技法であり, リモートマシンと通信する方法である. DCE の各サービスが使用している.
2) DCE スレッド(Threads)： プロセスを複数のサブシステム(スレッド)に分割し, プロセス内で並列処理を行うものである. DCE の各サービスが使用している.
3) Cell Directory Service (CDS) ： 同じセル内のリソース情報を管理し，アプリケーションから検索要求に対してサーバの位置情報を返す. セルとはDCE での処理と管理およびセキュリティの境界である．
4) DCE Security Service： 本人であることを確認する認証機能と，アクセスを管理する認可機能を持つ． 認証機能は Kerberos を使い，ユーザのパスワードその他の情報は, 暗号化してネットワークに流す.
5) Distributed Time Service(DTS)： すべてのホストの内部時計を同期させる機能である．
6) Distributed File Service(DFS)： 分散環境における，ファイルの共用機能である．DFS file server によりexport されたファイルセットを，1つのファイルシステムを構成してクライアントに提供する．
7) Global Directory Service(GDS)：
セル以外や他のセル間で名前を管理するディレクトリサービス．KEKCC では GDS でなく
DNS(Domain Name Service) を利用している．
3. KEKCC での OSF/DCE の運用
KEKCC の OSF/DCE は高エネルギー関係で運用されている最初で, 唯一のシステムである．計画としては，CERN, Bファクトリー計算機で導入の準備がされている．
1) 研究グループ毎の独立運用が可能であるように，クラスター毎に独立なセルを構築した．
2) ユーザにはできる限り, DCE/DFS を意識しないで使用できるようにした. そのためにUNIX のユーザ名と DCEのユーザ名を同一にした． UNIX login と DCE login の統合したIntegrated login 機能により，１回の login で済むようにした．DCE login のできる ftp, rlogin, xdm やdcepasswd, dcechshをサポートした. 通常は, ユーザが DCE を意識するのはごく限られた場合だけである.
3) ファイルはHome directory，データファイルともすべて基本的に DFS でアクセスすることにした. この中には HSM のファイルも含まれる. HSM については，アクセスしたときに, テープのアクセスに数分かかることがある. すると DCE クライアントは, DFS time out としてサーバへの接続を一時切断し，その間そのクライアントからサーバへの総てのアクセスがエラーとなる. (株)日立製作所が，HSM と DFS のインターフェイスを設けて，テープ処理中のファイルアクセスを DFS が待つようなロジックを組み込んだ.
4) ファイルのアクセスが増えると DFS token の処理が追い付かずに， DFS
time out としてサーバへの接続を一時切断されるトラブルが続いた.
DFS token が不足しないように cache
やテーブルサイズのチューニングをくり返し行なった.
最終的には 1996年10月に
OSF DCE 1.21 を導入することにより，問題が解決して安定稼動ができるようになった．
併せて DFS 性能が改善され Ver1.03 と比べて 2-3倍の性能が得られるようになった．
4. 評価と今後の課題
OSF/DCE は導入には十分な設計と検討が必要であるが， 資源が集中管理されているために保守および管理が容易である．例えばファイルシステムの変更が運用中に可能であり，実際に KEKCC で運用中に変更を行なっている. また，ネットワーク上の分散システムを前提に設計されているので，サーバの障害については自動回復がなされるようになっており，自動回復ができなくとも大部分が DCE サーバの再起動で済む． サーバマシンのリブートが必要になる場合はごく限られている．
今後の課題として，DCE サーバおよびレプリカの再配置により更なる耐障害性の向上，性能向上のためのDFS ファイルセットサーバの配置の再検討， DCE LFS（Local File System) の導入によるセキュリティの向上と DFSレプリカの利用を検討する予定である．
本稿および講演で使用する資料は WWW で参照できる．
http://research.kek.jp/people/yashiro/RepN/9703JPS/
謝辞
DCE の導入，検討，性能測定に関った，データ処理センターの佐々木節助手，石川正助教授，森田洋平助手,
渡瀬芳行教授, 物理研究部の千葉順成助教授，新潟大学の高清水直美氏，日立情報の土門哲也氏，日立製作所筑波情報システム営業所の方々，日立製作所ソフトウエア開発本部の方々に感謝します．
DCE の運用にあたっての問題解決に協力してくださった
PS ユーザを始めとする KEKCC のユーザの方々に感謝します．システムの導入に関ったデータ処理センターの方々に感謝します．
参考文献
[1] 新共通計算機システムの概要，データ処理ニュース, Vol20No1(1996.10)
[2] Introduction to OSF DCE, Open Software Foundation, Inc.
[3] プログラマーのためのDCE入門 (Understanding DCE)
[4]メーカの解説書に OSF/DCE の入門に良いものがある．
1) OSF/DCE 概説, Hitachi Ltd.(Nov.6,1995)
2) AIX/DCE 解説，日本IBM(1994.5)
3) OSF/DCE 概要, 日本ヒューレットパッカード (1994.5)