TSUBAME 利用の手引き 東京工業大学学術国際情報センター 2010.04 4.6 版 目 次 はじめに ...................................................................................................................................................1 1. システム概要.....................................................................................................................................2 1.1. 1.2. システム概念図 ..........................................................................................................................2 ハードウェア概要 ......................................................................................................................4 演算サーバ Sun Fire X4600 ..............................................................................................4 ClearSpeed社製 アクセラレータ .......................................................................................5 NVIDIA社製演算加速装置 .................................................................................................5 100 ギガビット級ネットワーク ..........................................................................................5 大規模ストレージ ...............................................................................................................5 高可用性ストレージ............................................................................................................5 パラメータサーベイ用サーバ(coTSUBAME) .....................................................................6 演算サーバ ..........................................................................................................................7 大規模ストレージ ...............................................................................................................8 1.2.1. 1.2.2. 1.2.3. 1.2.4. 1.2.5. 1.2.6. 1.2.7. 1.2.8. 1.2.9. 1.3. 1.4. ソフトウェア概要 .................................................................................................................................7 ハードウェア構成 ......................................................................................................................9 ソフトウェア構成 ....................................................................................................................10 ISVアプリケーション .......................................................................................................10 フリーソフトウェア..........................................................................................................11 1.4.1. 1.4.2. 2. 2.1. 利用環境..........................................................................................................................................12 利用できるリソース.................................................................................................................12 一般利用可能なシステム...................................................................................................12 リソース制限 ....................................................................................................................13 ユーザアカウント .............................................................................................................13 ディスク領域（ホームディレクトリ，ワークディレクトリ） .........................................14 端末装置............................................................................................................................17 プリンタ............................................................................................................................17 バックアップ ....................................................................................................................18 演算ノード(Sun Fire X4600, NEC Express5800/B120a) ................................................19 メディアワークステーション ...........................................................................................20 プロキシーサーバ .............................................................................................................20 2.1.1. 2.1.2. 2.1.3. 2.1.4. 2.1.5. 2.1.6. 2.1.7. 2.2. 2.2.1. 2.2.2. 2.2.3. 利用目的別環境 ........................................................................................................................19 3. システムの利用 ...............................................................................................................................21 3.1. ログイン...................................................................................................................................21 リモートログイン .............................................................................................................21 メディアワークステーションのログイン／ログアウト ....................................................22 パスワード変更方法..........................................................................................................23 -i3.1.1. 3.1.2. 3.2. 3.3. 3.2.1. パスワード管理 ........................................................................................................................23 環境設定...................................................................................................................................23 3.3.1. 3.3.2. 3.3.3. 3.3.4. 3.3.5. 3.4. 3.4.1. 3.4.2. 3.4.3. 3.5. 3.5.1. 3.5.2. 3.5.3. 3.5.4. 3.5.5. 3.5.6. 3.5.7. 3.5.8. 3.5.9. 3.5.11. 3.6. 環境設定スクリプト..........................................................................................................23 AP環境設定.......................................................................................................................24 利用できるシェル .............................................................................................................24 日本語環境 ........................................................................................................................24 Lustre環境の変更 .............................................................................................................25 インタラクティブ実行 ......................................................................................................27 X Window Systemの利用 .................................................................................................27 インタラクティブの制限...................................................................................................27 ジョブの作成 ....................................................................................................................28 キュー構成 ........................................................................................................................29 利用可能キューの確認 ......................................................................................................31 ジョブの投入 ....................................................................................................................33 オプションを使用したジョブコントロール ......................................................................33 並列ジョブ ........................................................................................................................37 使用メモリサイズの指定と制限........................................................................................38 ジョブの状態確認 .............................................................................................................40 ジョブの削除 ....................................................................................................................41 アレイジョブ ....................................................................................................................43 インタラクティブでの利用 ......................................................................................................27 バッチ処理 ...............................................................................................................................28 3.5.10. ジョブの結果確認 .............................................................................................................42 3.5.12. GUI...................................................................................................................................44 印刷..........................................................................................................................................45 PCからのプリンタ利用.....................................................................................................45 メディアワークステーション，インタラクティブノードからの利用...............................45 3.6.1. 3.6.2. 3.7. 3.8. 4. 4.1. LTO3 装置の利用.....................................................................................................................48 プロキシー設定 ........................................................................................................................48 コンパイラ ...............................................................................................................................49 プログラムのコンパイルとリンク ....................................................................................49 コンパイラのバージョン指定 ...........................................................................................49 標準以外のコンパイラ ......................................................................................................50 ファイルの入出力 .............................................................................................................51 ライブラリの利用 .............................................................................................................51 MPI...................................................................................................................................52 OpenMP ...........................................................................................................................55 pthread.............................................................................................................................56 PGPROF...........................................................................................................................59 - ii - プログラミング言語と環境 .............................................................................................................49 4.1.1. 4.1.2. 4.1.3. 4.1.4. 4.1.5. 4.2. 4.2.1. 4.2.2. 4.2.3. 4.3. 4.3.1. 並列化 ......................................................................................................................................52 性能解析ツール ........................................................................................................................58 4.3.2. 5. 5.1. PGDBG.............................................................................................................................60 アプリケーション............................................................................................................................61 ISVアプリケーション ..............................................................................................................61 AVS/Express PCE ............................................................................................................61 ABAQUS ..........................................................................................................................63 ABAQUS CAE .................................................................................................................64 AMBER ............................................................................................................................65 AVS Express Developer ...................................................................................................67 EnSight ............................................................................................................................68 Gaussian ..........................................................................................................................69 Gauss View ......................................................................................................................71 MATLAB ..........................................................................................................................72 Mathematica....................................................................................................................75 5.1.1. 5.1.2. 5.1.3. 5.1.4. 5.1.5. 5.1.6. 5.1.7. 5.1.8. 5.1.9. 5.1.11. 5.1.10. MOPAC ............................................................................................................................74 5.1.12. Molpro ..............................................................................................................................77 5.1.13. MD NASTRAN ................................................................................................................78 5.1.14. MD PATRAN....................................................................................................................79 5.1.15. SAS...................................................................................................................................80 5.1.16. Maple ...............................................................................................................................80 5.1.17. LS-DYNA .........................................................................................................................82 5.1.18. ANSYS FLUENT.............................................................................................................82 5.2. ISVアプリケーション(Windows端末専用) ..............................................................................83 Materials Explorer ..........................................................................................................83 Materials Studio ..............................................................................................................83 Discovery Studio Modeling..............................................................................................84 FLEXlmの使用状況確認...................................................................................................85 LmServerの使用状況確認 ................................................................................................88 slimの使用状況確認..........................................................................................................88 MathLMの使用状況確認 ..................................................................................................88 LS-DYNAの使用状況確認 ................................................................................................89 GROMACS .......................................................................................................................90 POV-Ray...........................................................................................................................90 Tinker...............................................................................................................................90 UTChem...........................................................................................................................91 NWChem..........................................................................................................................91 GAMESS ..........................................................................................................................91 プログラムソースがある場合の利用方法..........................................................................93 - iii 5.2.1. 5.2.2. 5.2.3. 5.3. 5.3.1. 5.3.2. 5.3.3. 5.3.4. 5.3.5. 5.4. 5.4.1. 5.4.2. 5.4.3. 5.4.4. 5.4.5. 5.4.6. 5.5. 5.5.1. ISVアプリケーションライセンスの使用状況確認 ...................................................................85 フリー系アプリケーション ......................................................................................................90 ClearSpeedの利用 ...................................................................................................................93 5.5.2. 5.5.3. 5.5.4. 5.5.5. 5.6. 6. 7. 8. 9. プログラムソースが無い場合の利用方法..........................................................................93 SDKによるClearSpeed 実行モジュールの作成 .............................................................94 バッチジョブによるClearSpeed利用................................................................................94 isvアプリケーションでのClearSpeedの利用....................................................................95 TESLAの利用 ..........................................................................................................................96 電子メール ......................................................................................................................................97 利用申請方法...................................................................................................................................98 利用に関する問い合わせ.................................................................................................................99 改版履歴........................................................................................................................................100 - iv - はじめに 本書は東京工業大学学術国際情報センターが導入した，TSUBAME(※)の利用の手引きです． TSUBAME は，Sun 社製「Sun Fire X4600 クラスタシステム」を中心とした，大規模グリッド計 算機環境です． このシステムは下記のような特徴を有しております． ・ 全体演算性能（ピーク性能）で 85TFLOPS ・ 大規模ストレージサービスの実現 ・ 高バンド幅ネットワーク環境 TSUBAME で採用している，オペレーティングシステムは，Linux が中心となっております． このため，本書では，Linux(UNIX)の一般的な知識をお持ちのユーザを対象にしています． 主な内容は下記の通りです． ・ TSUBAME の紹介／概要 ・ システム（リソース）の利用環境 ・ システム（リソース）の利用方法 これらの TSUBAME を通して，利用者の研究活動に一層，寄与できるものと確信しております． 2006.3.31 NEC (※) TSUBAME の名称について 本システムは，システム導入にあたり名称を公募し，大学院理工学研究科 原子核工学専攻 修 士 1 年 小川 慧さん案の TSUBAME に決定いたしました． 命名由来は以下のとおりです． 1. 新規導入される Grid システムは全ノードで力を合わせて最高速を出すことができる．そ れはキャンパスに集まる学生や研究者同士が互いにディスカッションやコミュニケーシ ョンしていく中で高めあい，新たな価値を創造していく様子を映し出しているかのようだ． ところで，鳥は二つの羽を持つ．片方の翼だけでも不足で，二つの翼を持つことで強く羽 ばたいていくことができる．このように協調・協力していくようすを鳥の一種であるツバ メの二つの羽に重ねた． 2. 本システムは 2006 年春日本最速になることから，春先に見られるスマートですばやい飛 行をするツバメはそれにぴったりである． 3. このスパコンの"巣"から若い"ツバメ"たちが，IT の世界や数値計算のリーダーとしてさら に，若々しく育っていく夢を込めた． 4. ツバメは大学のシンボルマークにもデザインされている． 2006.4. -1学術国際情報センター 1. システム概要 1.1. システム概念図 TSUBAME は，演算サーバ，ストレージサーバを中心に，以下の通り構成されています． ※ 演算サーバ Sun Fire X4600 は，1CPU＝1Core として表記しています． -2- -3- 1.2. ハードウェア概要 Sun Fire X4600 サーバは， デュアルコア AMD Opteron プロセ 1.2.1. 演算サーバ Sun Fire X4600 ッサを 16CPU 搭載しています． 演算サーバは，以下の 3 種類の Sun Fire X4600 で構成されており，合計 657 ノードです． タイプ A B C ノード数 639 16 2 CPU クロック 2.4GHz 2.6GHz 2.6GHz メモリ容量/node 32GB 64GB 128GB バッチノード 651 ノード インタラクティブノード 6 ノード （タイプ A：6 ノード） （タイプ A：633 ノード，タイプ B：16 ノード， タイプ C:2 ノード） … InfiniBand Gigabit Ethernet 大規模ストレージ Thumper 総物理容量：約 2PB /work, /work2 高可用性ストレージ iStorage 総物理容量：約 96TB /home 全演算サーバ間は，InfiniBand で接続されています． 全演算サーバとストレージサーバは， InfiniBand および， Gigabit Ethernet で接続されています． -4- 1.2.2. ClearSpeed 社製 アクセラレータ 演算サーバには， ClearSpeed 社製 アクセラレータ Dual CSX600 PCI-X Board が 1 枚ずつ搭載されています．1 枚 で 50GFLOPS の処理能力を有します． 1.2.3. NVIDIA 社製演算加速装置 演算加速装置は NVIDIA 社製 GPU を 4 セット搭載した 「TESLA」 のラックマウントタイプ 170 台を各クラスター ラックに配置して， マトリックス演算を高速に処理します． 1.2.4. 100 ギガビット級ネットワーク Voltaire 社製 InfiniBand により，システム全体のバイセクションバンド幅 が 1,400Gbps(双方向)を有するネットワーク環境となります． ま た ， キ ャ ン パ ス 内 ネ ッ ト ワ ー ク で あ る SuperTitanet さ ら に は SuperSINET，JGN 等に 10Gbps で接続可能な 10GigabitEthernet のインタ フェースを有しています． 1.2.5. 大規模ストレージ 大規模ストレージは，Thumper 42 台で構成されています．総物理容量は，約 1PB です． 1.2.6. 高可用性ストレージ 高可用性ストレージは，Express5800/120Rh-2 を 2 台と iStorage S1800AT で構成されています． 総物理容量は，約 96TB です． -5- 1.2.7. パラメータサーベイ用サーバ(coTSUBAME) coTSUBAME は新型 CPU を使用したパラメータサーベイ用のマシンです．TSUBAME ノードと 比較し CPU 性能が高くメモリも潤沢に備えています． 製品名 CPU Memory NEC SIGMABLADE Express5800/B120a 16node Intel Xeon 5550/4C/2.66GHz 8core/node ECC 付き DDR3-1,066 Registered DIMM x4SDDC 24GB/node(Core あ たり 3GB) InfiniBand 4x DDR SLES10SP2 Network OS 利用にあたっての主な仕様は以下のとおりです． 利用できる課金形態 制限(時間・プロセス数) ノードあたりの最大並列数 実装メモリ量 キュー名 マシン構成 BES TSUBAME と同じ 8 24GB cotsubame バッチ インタラクティブ 試験ノード 14 1 1 -6- ソフトウェア概要 1.2.8. 演算サーバ (1) オペレーティングシステム SUSE LINUX Enterprise Server 10 SP 2 演算サーバのオペレーティングシステムは，世界中で最も広く使われて い る Linux デ ィ ス ト リ ビ ュ ー シ ョ ン の ひ と つ で あ る SUSE LINUX Enterprise Server 10 です． SUSE LINUX Enterprise Server 10 は， Linux カーネルのバージョン 2.6 を採用しています． SUSE LINUX Enterprise Server 10 は，セキュアなハイパフォーマンス・コンピューティン グ環境に対応したスケーラブルで高性能な基盤です． (2) コンパイラ，デバッガ，開発支援ツール PGI Cluster Development Kit（PGI CDK） 演算サーバには，コンパイラ，デバッガ，開発支援ツール群として，PGI CDK が入っていま す． PGI CDK に含まれる主な機能は以下の通りです． • • • • • • OpenMP，MPI による並列化に対応した PGI コンパイラ(Fortran, C, C++) クラスタ用のデバッガとプロファイラ ScaLAPACK ライブラリ BLAS，LAPACK ライブラリ 豊富なチュートリアルと HPF，OpenMP，MPI のプログラム例 NVIDIA 製 CUDA 対応の GPU サポートする GPGPU 対応 アク セラレータコンパイラ (Fortran, C) ※PGI 9.0 以降 (3) Voltaire MPI ライブラリ Voltaire 社製 InfiniBand のノード間制御を行うインタフェース・ライブラリとして，Voltaire MPI ライブラリを利用できます． この MPI ライブラリは，MPI 1.2 の規格に準拠しています． (4) アプリケーション 演算サーバでは，様々な ISV アプリケーション，フリーソフトが利用可能です．詳細は， 「1.5 ソフトウェア構成」をご参照ください． -7- 1.2.9. 大規模ストレージ 複数の Thumper により，Lustre 並列ファイルシステムを利用可能です． Lustre は，容量，アクセス性能の両面において優れたスケーラビリティを発揮し，容易に大規模 な並列ファイルシステムを構築することが出来るソフトウェアです． Lustre により，複数台の Thumper のディスク領域を 1 つの大規模仮想ファイルシステムとし， work 領域として利用いただけます． -8- 1.3. ハードウェア構成 機器 Sun Fire X4600 タイプ A 数量 ハードウェア構成 デュアルコア AMD Opteron 880 2.4GHz × 8 搭載メモリ容量：32GB 内蔵 HDD：36GB×2（RAID1） デュアルコア AMD Opteron 885 2.6GHz × 8 搭載メモリ容量：64GB 内蔵 HDD：36GB×2（RAID1） デュアルコア AMD Opteron 8218 2.6GHz × 8 搭載メモリ容量：128GB 内蔵 HDD：73GB×2（RAID1） Dual CSX600PCI-X Board 50GFLOPS NVIDIA TESLA GPU X4 / 16GB DDR3 345GFLOPS Intel Xeon 5550/4C/2.66GHz 8core/node 搭載メモリ容量: 24GB 500GB SATA ディスクドライブ 48 本 物理容量：24TB [サーバ部分] 64bit Intel Xeon 3.80GHz × 2 搭載メモリ容量：6GB 内蔵 HDD：36GB×2（RAID1） [ストレージ部分] 400GB SATA ディスクドライブ 240 本 メモリ容量：16GB 物理容量：96TB Intel XeonTM 3.20GHz × 1 搭載メモリ容量：1GB 内蔵 HDD：300GB×2（RAID1） 3.5 インチフロッピーディスクドライブ CD-ROM 装置/ニューテック製 LTO3 装置 A3 対応カラープリンタ 1067mm(B0)モデル Intel XeonTM 3.80GHz × 2 搭載メモリ容量：1GB 内蔵 HDD：146.5GB×2（RAID1） Intel XeonTM 3.80GHz × 1 搭載メモリ容量：1GB 内蔵 HDD：146.5GB×2（RAID1） Intel PentiumD 3.20GHz × 1 搭載メモリ容量：512MB 内蔵 HDD：73.2GB×2（RAID1） Intel XeonTM 3.20DGHz × 1 搭載メモリ容量：1GB 内蔵 HDD：300GB×2（RAID1） デュアルコア AMD Opteron 275 2.2GHz × 2 搭載メモリ容量：16GB 内蔵 HDD：36GB×2（RAID1） 639 タイプ B 演算サーバ タイプ C ClearSpeed TESLA S1070 NEC Express5800/B120a 大規模ストレージ Sun Thumper NEC Express5800/120Rh-2 高可用性ストレージ NEC iStorage S1800AT 16 2 657 170 16 42 2 1 メディア ワークステーション 日本語カラー PS プリンタ B0 カラーPS プリンタ WWW サーバ NEC Express5800/120Lh NEC Color MultiWriter 9800C HP DesignJet 5500ps NEC Express5800/120Rf-1 NEC Express5800/120Rf-1 NEC Express5800/110Rg-1 NEC Express5800/120Lh 2 2 2 2 DNS 等サーバ 認証局システム CA，RA，LDAP サーバ 管理作業用 WS ログインノード N1GE マスター LDAP, License, Backup, NFS/DB サーバ 特定アプリケーション用演 算サーバ 1 3 1 Sun Fire X4100 11 -9- 1.4. ソフトウェア構成 1.4.1. ISV アプリケーション アプリケーション名 PGI CDK Intel Compiler IMSL（Fortran & C） AVS/Express PCE ABAQUS Standard ABAQUS Explicit ABAQUS/CAE MD NASTRAN MD PATRAN Gaussian GaussView Linda(Gaussian 用) Molpro MOPAC AMBER Materials Explorer Materials Studio Discovery Studio AVS/Express Developer EnSight SAS Mathematica MATLAB Maple LS-DYNA ANSYS FLUENT バージョン 6.1-2/7.2-4/8.0-6/ 9.0-1/9.0-3/10.0 10.1.011/11.0.074 6.0/7.0 7.0.1/7.1.1/7.2 6.5.6/6.7.1/6.8.4 6.5.6/6.7.1/6.8.4 6.5.6/6.7.1/6.8.4 R2.1 R2.1 03 Rev. C02/D02/E01 09 Rev. A02 3.0/4.1/5.0 7.1/7.2/8.2 2002.6 2006 V1 8.0/9.0/9.0CS/10 4.0 4.0/4.1/4.3/4.4/5.0 1.5/1.6/1.7/2.0/2.1/2.5 7.0.1/7.1.1/7.2 8.0.7(k)/8.2.6(c)/9.0.3(b) 9.1.3 5.2/6.0/7.0 7.1(R14SP3)/7.2(R2006a) 7.5(R2007b)/7.8(R2009a) 11/12/13 971R3 6.3.26/12.1 概要 コンパイラ，デバッガ，開発支援ツ ール群 インテルコンパイラ(64/32bit 用) 数値演算のための Fortran & C サブ ルーチンライブラリ 大規模データのクラスタ対応並列可 視化ソフトウェア 有限要素法による汎用構造解析プロ グラム 有限要素法による汎用構造解析プロ グラム ABAQUS モデリング/ビジュアライゼ ーション環境 有限要素法による構造解析ソフトウ ェア CAD と CAE 解析ソフトを統合するプ リ・ポストプロセッサ 分子軌道計算プログラム Gaussian のためのグラフィカルユー ザーインターフェース 並列計算プログラミングツール 非経験的分子軌道計算プログラム 量子化学計算ソフトウェア モデリングおよび分子力学と動力学 計算シミュレーションプログラムの パッケージ 分子動力学ソフトウェア 材料分野向け総合シミュレーション ソフトウェア タンパク質 3 次元モデリング・機能 解析ソフトウェア 汎用可視化ソフトウェア 汎用科学技術計算結果可視化ソフト ウェア 統計解析ソフトウェア 数式処理機能とグラフィック表示機 能を融合した数式処理システム 数値計算，行列解析，信号処理，グ ラフィックス機能を統合したパッケ ージ 数式処理システム 構造解析 流体計算 - 10 - 1.4.2. フリーソフトウェア アプリケーション名 NWChem UTChem Tinker GROMACS POV-Ray GAMESS ImageMagick fftw バージョン 4.7 2004β-a 4.2 3.3/3.3.1 3.6.1/3.5C 22 FEB 2006 (R5) 24 Mar 2007 (R3) 11 Apr 2008 (R1) 6.2.7 3.1.2 概要 計算化学・結晶構造解析ソフトウェア 量子化学計算のソフトウエア・パッケ ージ 分子力場計算プログラム 分子動力学計算プログラム 3DCG ソフト 非経験的分子軌道法プログラム 画像表示と画像処理 C 用のライブラリ - 11 - 2. 利用環境 2.1. 利用できるリソース 下記のサーバ及びストレージの利用が可能です． (1) サーバ ログ イン 可否 ○ ホスト名 login (login1login2) tgg075017 ： tgg075022 tgg072224-225 tgg075053-055 tgg072001-118 tgg072121-223 tgg072226-238 tgg073001-118 tgg073121-238 tgg074001-116 tgg074161-162 tgg075001-016 tgg075023-052 tgg074117-118 サービス (用途) ログインノー ド インタラクテ ィブ 計算/AP CS debug ノード tesladebug ノード OS ノー ド数 2 CPU 数 (Core 数) 8 備考 IP アドレス 172.17.75.161 172.17.75.162 ログインノードから 自動ログイン ログインノードから 自動ログイン ログインノードから 自動ログイン 2.1.1. 一般利用可能なシステム SLES9 △ △ △ SLES10 SLES10 SLES10 6 2 3 96 32 48 × バッチ 計算/AP SLES10 634 10144 N1 Grid Engine を 利用したバッチ利用 △ sles9 ノード 特定アプリケ ーション用演 算サーバ SLES9 2 32 △ tgg075181 RHEL4 1 4 △ coTSUBAME001-016 coTSUBAME ノード SLES10 16 128 ○ × media-o media-s proxy-o メディア プロキシ RHEL4 RHEL4 2 1 4 1 ログインノードから 自動ログイン Materials Studio 4.0,4.1,Discovery Studio1.5/1.6/1.7/2.0 用演算サーバ ログインノードから 自動ログイン (coTSUBAME001 に インタラクティブロ グイン可能) LTO3 プリンタ出力 (2) ストレージ／その他 種別（用途） ホーム領域 ワーク領域 日本語カラー ポストスクリプト 機種 NEC/iStorage S1800AT Sun/Thumper NEC/ ColorMultiWriter9800C 容量 物理容量:96TB 物理容量: 1PB 大岡山: prn1-o すずかけ台：prn1-s 備考 各演算ノードから /home として利用 各演算ノードから /work, /work2 として利 用 media-o から印刷可能 media-s から印刷可能 - 12 - プリンタ B０カラー ポストスクリプト プリンタ HP/Designjet5500ps 大岡山: prn0-o すずかけ台: prn0-s media-o から印刷可能 media-s から印刷可能 ※1) 目的に応じて，各システムをご利用下さい． ※2) IP アドレスやサービスの変更を実施する場合があります． 各システムのご利用は IP アドレスではなくホスト名を指定してご利用ください． 2.1.2. リソース制限 (1) 演算ノード インタラクティブノードのリソース制限としては，実行時間，使用メモリ，MPI ジョブのプロ セス数に制限があります． バッチノードは，バッチシステムによるリソース制限が実施されています． 詳細は 3 章「システムの利用」をご参照ください． (2) ストレージ 2010 年 4 月現在，ホーム領域の利用については一利用者あたり 300GB 以内，/work, /work2 については 1TB 以内, /archive, /archive2 については 2TB 以内での利用をお願いしておりま す． 2.1.3. ユーザアカウント 利用者のユーザ名，パスワード等の情報は LDAP を用いて一元的に管理されています． 全てのマシンで，ユーザ名／パスワード／ログインシェル／ホームディレクトリが透過になります． ある１つのマシンで利用環境を変更した場合，全てのマシンで同一の変更が実施されます． 下記に主なユーザ情報を示します ユーザ名 パスワード ログインシェル ホームディレクトリ 変更不可 変更可能 変更可能 変更不可 - 13 - 2.1.4. ディスク領域（ホームディレクトリ，ワークディレクトリ） (1) 利用可能なディスク領域 2010 年 4 月現在，利用可能なディスク領域は下記の通りです． システムの利用状況により増減がある可能性があります． ディレクトリ名 /home0 /home1 /home2 /home3 /home4 /home5 /home6 /home7 /home_bk0 /work /work2 /scrbes1 /scrbes2 /scrsla1 /scrsla2 /scrsla3 /depot1 /depot2 /archive1 /archive2 容量 7.4TB 7.4TB 7.4TB 7.4TB 7.4TB 4.4TB 5.6TB 2.4TB 1.9TB 73TB 73TB 11.2TB 11.2TB 11.2TB 11.2TB 11.2TB 20TB 61TB 35TB 備考 ユーザホームディレクトリ ※ /home 配下にシンボリックリンクされています． ホームディレクトリは，/home/usr?/ユーザ名として ご利用ください． バックアップ対象ディレクトリ ワークディレクトリ ワークディレクトリ Gaussian スクラッチディレクトリ (novice, bes1 キュー用) Gaussian スクラッチディレクトリ(bes2 キュー用) Gaussian スクラッチディレクトリ(sla1,inno1,pino1 キュー用) Gaussian スクラッチディレクトリ(sla2,inno2,pino2 キュー用) Gaussian スクラッチディレクトリ (RAM64GB,RAM128GB,hpc1,hpc3 キュー用) データ一時保管 データライブラリ (2) ユーザホームディレクトリ /home0～/home7 ホームディレクトリは全てのマシンから NFS 共有されています． このため，１つのマシンで作成したファイルを転送なしに全てのマシンで利用可能です． ホームディレクトリは下記のような名前になっています． /home/usr?/ユーザ名 (3) ワークディレクトリ /work, /work2 ワークディレクトリは全てのマシンから，Lustre(並列ファイルシステム)共有されています． このため，１つのマシンで作成したファイルを転送なしに全てのマシンで利用可能です． 新規に利用する際には，各自でユーザ名のサブディレクトリを作成してください． /work への作成方法は以下の通りです． $ mkdir /work/ユーザ名 /work2 への作成方法は以下の通りです． $ mkdir /work2/ユーザ名 - 14 - ※注意 本ディレクトリはファイルの長期保存場所ではありません． MPI プログラムや， 大規模データ を出力するプログラムの出力先に利用して下さい．また，バックアップを行っていませんので， 大切なデータは，各自の責任において，必ずバックアップを取るようにしてください． /work, /work2 は各 1TB に使用容量制限がかかっています． (4) バックアップ対象ディレクトリ /home0～/home7, /home_bk0 /home0～/home7 および/home_bk0 ディレクトリは，バックアップを行っています．大切なデ ータ保存にはこの領域をご利用ください． /home_bk0 を新規に利用する際には， 各自でユーザ名のサブディレクトリを作成してください． 作成方法は以下の通りです． $ mkdir /home_bk0/ユーザ名 (5) スクラッチディレクトリ /scr* Gussian を始めとする各アプリケーションで使用できるスクラッチファイルが格納されるデ ィレクトリです．ジョブが実行されるノードによって，スクラッチディレクトリの格納されるデ ィレクトリが異なるので，ご注意ください． 後述のバッチジョブ投入用コマンド n1ge を使用して Gaussian ジョブを投入する場合は，実 行ノードに応じて n1ge が適切にスクラッチディレクトリを設定しますので，利用者がスクラッ チディレクトリ（GAUSS_SCRDIR）を設定する必要はありません． /scr* 配下は，インタラクティブノード(tgg075017～tgg075022)上からアクセスすることがで きます．以下にアクセス例について示します． ユーザジョブの実行時に環境変数 「$TMPSCR_DIR」 が自動的に設定されます． 実行スクリプト， プログラム内にて$TMPSCR_DIR をご指定いただければ，スクラッチディレクトリ(実体)は， 「/scrXXX/ジョブ ID.タスク ID.N1GE_CELL 名.キュー名」 「XXX」 ・・・{bes1|bes2|sla1|sla2} に一時ファイルの生成が可能となっております． 平成 21 年度からは Gaussian のスクラッチと同等の扱いとして， ジョブ終了直後には削除せず， ジョブ終了から一週間の後削除となります．アプリケーションにおいて一時ファイルを作成した のち，/work などへ移動していただく等の利用が可能となります． 以下に参照例を示します． [サンプルスクリプトの内容] $ cat chk_scr.sh #!/bin/sh echo "¥$TMPSCR_DIR[$TMPSCR_DIR]" echo "ls -l ¥$TMPSCR_DIR" ls -l $TMPSCR_DIR [n1ge 実行例] - 15 - $ n1ge -g 4S080138 -q RAM64GB ./chk_scr.sh *n1ge> Checking n1ge options.... *n1ge> Checking about 4S080138 group you specified.... *n1ge>< Premium Level 1 > *n1ge> RUNTIME of this job will be set to 30 minutes. *n1ge> You should specify it by yourself when you submit jobs as SLA, INNO, PINNO type group. *n1ge> Checking which tool have the command you specified.... *n1ge> Reading specific configuration file for each tools.... *n1ge> Creating qsub options.... *n1ge> Submitting Job to Cluster...... Your job 228850 ("OTHERS") has been submitted [実行結果] $ cat OTHERS.o228850 [Starting Job 228850 on tgg075008] $TMPSCR_DIR[/gau/228850.undefined.TITECH_SLA.RAM64GB] ls -l $TMPSCR_DIR total 0 [Ending Job 228850] EXIT_CODE:0 ※注意点 システム上の取り扱い名は /scr* となっておりますが，df -k コマンドなどで く /scr* としてご利用ください． (6) データライブラリ /archive，/archive2 データライブラリは全てのマシンから，Lustre(並列ファイルシステム)共有されています．この ため，転送なしに全てのマシンで利用可能です．利用頻度の高いデータを保存してください．新 規に利用する際には，各自でユーザ名のサブディレクトリを作成してください． 作成方法は/work, /work2 と同じです． /archive,/archive2 は, それぞれ 2TB の使用容量制限がか かっています． (7) 利用制限 2010 年 1 月よりディスク領域に関して下記のストレージ利用制限を実施しています． ※ 下記制限値を超えるストレージを利用したい場合は，コンピュータシステム担当までご相 談ください．(home 領域を除く) ストレージ利用制限値 領域 home work work2 archive archive2 です) 強制値を超えると，即座にその領域での新規ブロックの割り当て，ファイルの作成ができなく なります．そのためジョブが強制終了される場合がありますので，ご注意ください． - 16 警告値 300GB 1TB 1TB 2TB 2TB 強制値 303GB 1TB 1TB 2TB 2TB 猶予期間 1 週間 1 週間 1 週間 1 週間 1 週間 参照した場 合や，システム表示で旧来からの /gau* と見える場合があります． 同じものですが，なるべ (archive,archive2 についてはテープライブラリの導入により，今後制限が緩和される予定 また，警告値を超えるとログイン時に警告が表示されます．なお，警告値を超えたまま猶予期 間を過ぎると，強制値を超えた場合と同様に，その領域での新規ブロックの割り当て，ファイ ルの作成ができなくなります． 新規ブロック等の割り当てができなくなった場合は，その領域内のファイルのバックアップを 行うなどして利用量の削減にご協力ください． ○利用量の確認方法: ・ home の場合 $ quota -v ・work の場合 $ lfs quota /work 2.1.5. 端末装置 利用可能な端末装置として， メディアワークステーションが大岡山とすずかけ台に各 1 台設置され ています． メディアワークステーションへのログインは，スパコンシステムと同様のアカウントでログイン可 能です． メディアワークステーションで利用可能な外部メディアは，LTO3 ドライブが利用可能です． また，各プリンタへの印刷が可能です． ホスト名 media-o media-s 2.1.6. プリンタ センター内で利用できるプリンタは以下の通りです． • 日本語カラーポストスクリプトプリンタ 機種 NEC ColorMultiWriter9800C プリンタ名 prn1-o prn1-s 設置場所 大岡山 すずかけ台 プリンタへ出力可能マシン media-o tgg075017 ～ tgg075022 media-s tgg075017 ～ tgg075022 設置場所 大岡山 すずかけ台 OS RHEL4 RHEL4 用途 LTO3 大岡山へのプリンタ出力 LTO3 すずかけ台へのプリンタ出力 • B0 カラーポストスクリプトプリンタ 機種 HP Designjet5500ps プリンタ名 prn0-o prn0-s 設置場所 大岡山 すずかけ台 プリンタへ出力可能マシン media-o media-s プリンタの主な仕様は以下の通りです． (1) 日本語カラーポストスクリプトプリンタ - 17 - 用紙サイズ：A3, B4, A4, B5, A5, レター, 自由サイズ ファイル形式： 印刷速度：片面カラー A4 31 頁/分 両面カラー A4 17 頁/分 ：片面モノクロ A4 40 頁/分 両面モノクロ A4 22 頁/分 解像度：9600dpi 相当×600dpi 1200dpi×1200dpi (2) B0 カラーポストスクリプトプリンタ 染料インク コ ― ト 紙 52.86 ㎡/時間 17.56 ㎡/時間 9.29 ㎡/時間 9.29 ㎡/時間 光沢フォト用紙 2 13.66 ㎡/時間 9.29 ㎡/時間 7.06 ㎡/時間 5.57 ㎡/時間 UV イ ン ク 厚 手 コート紙 26.76 ㎡/時間 9.29 ㎡/時間 5.57 ㎡/時間 光沢フォト用紙 2 13.66 ㎡/時間 9.29 ㎡/時間 7.06 ㎡/時間 5.57 ㎡/時間 最高速度 標準画質 高画質 最高品質 2.1.7. バックアップ ユーザが各自でバックアップする方法は，下記の通りです． (1) メディアワークステーションの LTO3 を利用する． メディアワークステーションにログインし，tar や cpio 等の標準コマンドが利用可能です． (2) scp, sftp, ftp を利用して，ファイル転送を実施する ログインノードでは，各ディレクトリ(/home, /work, /archive) を mount しています．またこ のマシンでは，scp, sftp, ftp サービスが動作していますので，自身の PC やストレージにファイ ル転送することが可能です． ftp によるダウンロードサービスについての詳細は次の URL をご参照ください． http://www.gsic.titech.ac.jp/~ccwww/tgc/eSATA.pdf (3) ディスク上の他の領域にコピーを実施する． 別の領域にコピーすることにより，万が一に備えることが可能です． システムでは， /home_bk0 領域をご用意しています． この領域はシステム側でバックアップを 実施しています． - 18 - 2.2. 利用目的別環境 ここでは，各マシンや周辺機器の利用目的とその環境について記述します． 2.2.1. 演算ノード(Sun Fire X4600, NEC Express5800/B120a) 演算ノードは主に下記の目的で使用可能です． (1) インタラクティブジョブの実行（小規模） • • • • • • • 単体プログラム実行 コンパイル 浮動小数点アクセラレータ（ClearSpeed）の利用 MPI 並列プログラム実行 浮動小数点アクセラレータ（ClearSpeed）の利用 NVIDIA 社製演算加速装置（Tesla）の利用 各種アプリケーションの実行 利用可能なアプリケーションは下記のとおりです． ISV アプリケーション PGI CDK IMSL (Fortran&C) AVS/Express PCE ABAQUS Standard ABAQUS Explicit ABAQUS/CAE MD NASTRAN MD PATRAN Gaussian Gauss View Linda Molpro MOPAC AMBER Materials Explorer Materials Studio Discovery Studio Modeling AVS/Express Developer EnSight SAS Mathematica MATLAB Maple LS-DYNA ANSYS FLUENT フリー系アプリケーション NWChem UTChem Tinker GROMACS POV-Ray GAMESS - 19 - (2) バッチジョブの実行（大規模） (3) ISV やフリーのアプリケーションの実行 2.2.2. メディアワークステーション メディアワークステーションは下記の目的で利用可能です． (1) LTO３装置の利用 (2) センターのプリンタへの出力 (3) 画像ファイル形式変換 2.2.3. プロキシーサーバ プロキシーの設定を行うことで，インターネットの Web ページを参照可能です． ホスト名 IP アドレス ポート番号 proxy-o.cc.titech.ac.jp 131.112.14.2 8080 - 20 - 3. システムの利用 3.1. ログイン マシンへリモートログインするには ssh コマンドを使用します． 下記マシンへリモートログインすることが可能です． (1) ログインノード（login.cc.titech.ac.jp） (2) メディアワークステーション（media-o，media-s） (3) 学外からのアクセスマシン ※ (login-gw.cc.titech.ac.jp) 3.1.1. リモートログイン パスワードに関する注意事項 • • 本システムへの初めてのログインの際，パスワードの変更が要求されます．メッセージ に従い，パスワードの変更を行ってください． パスワードの有効期限は 24 週(168 日)です．有効期限が切れた際，パスワードの変更が 要求されます．メッセージに従い，パスワードの変更を行ってください． ログインノードにログインすると，自動的にインタラクティブノードにログインします． また，SAS，MOPAC が利用可能なインタラクティブノード，ClearSpeed のデバッグ作業が可能 なインタラクティブノードへのログイン方法は下記です． 例１：ログインノードへリモートログインする場合（通常ターミナル） $ ssh
[email protected] $ ssh -l User-ID login.cc.titech.ac.jp 例２：ログインノードへリモートログインする場合（X11 転送を有効） ※-Y：X11 転送を有効にしています．X アプリケーションを使用したい場合は， このオプションを使用して下さい．(-X を使用する場合もあります) $ ssh -Y
[email protected] 例３：sles9 を利用可能なインタラクティブノードへリモートログインする場合 $ ssh -t -Y
[email protected] sles9 例４：SAS を利用可能なインタラクティブノードへリモートログインする場合 $ ssh -t -Y
[email protected] sas 例５：MOPAC を利用可能なインタラクティブノードへリモートログインする場合 $ ssh -t
[email protected] mopac 例６：ClearSpeed のデバッグが可能なインタラクティブノードへリモートログインする場合 $ ssh -t
[email protected] csdebug 例７：すずかけ台のメディアワークステーションへリモートログインする場合 - 21 - $ ssh
[email protected] 例８：tesla のデバッグが可能なインタラクティブノードへリモートログインする場合 $ ssh -t
[email protected] tesladebug 例９：coTSUBAME のインタラクティブノードへリモートログインする場合 $ ssh -t
[email protected] cotsubame 3.1.2. メディアワークステーションのログイン／ログアウト (1) ログイン 下記ログイン画面よりユーザ名，パスワードを入力します． (2) ログアウト 画面上部の『Action』より『Log out』を選択します． - 22 - 3.2. パスワード管理 パスワード変更は下記手順で行うことができます． $ passwd Changing password for user user0001. Enter login(LDAP) password: 旧パスワード New UNIX password:新パスワード Retype new UNIX password:新パスワード LDAP password information changed for user0001 passwd: all authentication tokens updated successfully. 3.2.1. パスワード変更方法 『all authentication tokens updated successfully』が出力されると問題なくパスワード変更がで きています． 3.3. 環境設定 3.3.1. 環境設定スクリプト (1) 環境設定 基本的な利用において，ユーザ自身による環境設定は，不要です． ユーザ自身で設定変更を行う場合は，下記の環境設定スクリプトを編集してください． ログインシェル bash csh，tcsh sh 環境設定スクリプト ~/.bashrc ~/.cshrc ~/.profile 設定変更は，アプリケーション実行に必要な設定などを消さないよう，十分注意が必要です． (2) 確認方法 現在の環境は下記コマンドを入力することで確認できます． $ printenv $ echo $変数名 ･･･全環境変数の値の参照 ･･･環境変数の値の参照 - 23 - 3.3.2. AP 環境設定 ログインした時点で設定されているので，ユーザ自身で設定する必要はありません． 3.3.3. 利用できるシェル 本システムでは標準で bash を提供しています．現在のログインシェルは下記コマンドを入力する ことで確認できます．以下の場合は bash に設定されています． $ echo $SHELL /bin/bash 変更可能なシェルとして sh，tcsh，csh があります． bash を含め，各々のシェルのパスは下記のとおりです． シェル名 sh bash csh tcsh パス /bin/sh /bin/bash /usr/bin/csh /usr/bin/tcsh 3.3.4. 日本語環境 本システムの言語環境は，en_US.UTF-8 が既定値になっています． 本システムで提供されている日本語化されたコマンドやソフトウェアを使用するためには，ロケー ルを設定して言語環境を指定して下さい．サポートされているロケールは以下の通りです． ロケール名 ja_JP.eucjp ja_JP.sjis ja_JP.utf8 使用する文字コード・セット名 日本語 EUC 日本語 Shift-JIS 日本語 UTF-8 現在の言語環境は下記コマンドを入力することで確認できます．以下の場合は日本語 EUC に設定 されています． $ locale LANG=ja_JP.eucjp ･･･ ･･･ ロケールは LANG 環境変数で設定します． ロケールを日本語 UTF-8 に設定する場合 $ export LANG=ja_JP.utf8 ロケールを日本語 EUC に設定する場合 - 24 - $ export LANG=ja_JP.eucjp ロケールを英語 C に設定する場合 $ export LANG=C 例えば date コマンド，標準では以下のように表示されます $ date Sat Apr 1 00:00:00 JST 2006 ロケールに日本語が選択されている場合，日付時刻を日本語で表示します． $ date 2006 年 4 月 1 日 土曜日 00:00:00 JST 環境によって表示が文字化けする場合があります．その場合，お使いのターミナルソフトのロケー ル設定を確認してください． 3.3.5. Lustre 環境の変更 /work, /work2 を構成する Lustre サーバは現在，約 1.7TB の OST 群から成り，トータル約 52.6TB を 提供しています．現在，1 つのファイルは 1 つの OST に作成される設定になっているため， 1.7TB を 超えるファイルを作成できません． しかし， ディレクトリ単位でその設定を変更することが出来ます． 以下にその方法を示します． [設定方法] /usr/bin/lfs コマンドのサブコマンド setstripe で設定，getstripe で設定の確認ができます． setstripe，getstripe の使用方法は下記により確認することができます． $ lfs help setstripe $ lfs help getstripe [利用例] /work/testuser/stripe のストライプカウントを 3 とし，3 台の OST を同時に利用するようにしま す．この結果，この最大 5.1TB (1.7TB×3) のファイルを作成できるようになります． (1) Lustre FS 上にディレクトリを作成 $ mkdir -p /work/testuser/stripe (2) 作成したディレクトリに stripe 設定 - 25 - $ lfs setstripe /work/testuser/stripe 0 -1 3 => stripe size はデフォルト値（1MB） => stripe start はデフォルト値（Lustre サーバが適当に決めます） => stripe count は３ (3) stripe 設定内容を確認 $ lfs getstripe /work/testuser/stripe OBDS: 0: tgt075121-ost1_UUID ACTIVE 1: tgt075122-ost1_UUID ACTIVE : 表示内容省略 : 29: tgt075125-ost7_UUID ACTIVE /work/testuser/stripe default stripe_count: 3 stripe_size: 0 stripe_offset: -1 (4) stripe 設定したディレクトリにファイルを作成 $ dd if=/dev/zero of=/work/testuser/stripe/zerofile bs=1024k count=10 10+0 records in 10+0 records out (5) ファイルデータの配置状態を確認 $ lfs getstripe /work/testuser/stripe/zerofile OBDS: 0: tgt075121-ost1_UUID ACTIVE 1: tgt075122-ost1_UUID ACTIVE : 表示内容省略 : 29: tgt075125-ost7_UUID ACTIVE /work/testuser/stripe/zerofile obdidx objid objid 15 2294545 0x230311 16 2272520 0x22ad08 17 2307219 0x233493 => ３つの ost（15,16,17 番)上にデータが配置されます group 0 0 0 - 26 - 3.4. インタラクティブでの利用 本システムでは， 一般の UNIX と同様のインタラクティブ環境が利用可能です． 本システムにログイ ンすると，自動的にインタラクティブノード(の一つ)にログインします． ログイン方法は， 「3.1. ログイン」の項を参照して下さい． 3.4.1. インタラクティブ実行 ログインしたインタラクティブノード上で，コンパイル，リンクなどが可能です．アプリケーショ ンやプログラムの実行は，後述のバッチ処理を利用した方が効率的です． 詳細は， 「3.5. バッチ処理」の項を参照して下さい． $ pgcc myprog.c $ ./a.out 3.4.2. X Window System の利用 本システムに，X Window System を利用できる環境からログインしている場合は，インタラクテ ィブノードにある，X Window System アプリケーションを実行することが可能です． 実行例を以下に示します． $ /usr/X11R6/bin/xclock & 上記のようにすると，ログイン元の X Window System 環境に，xclock が表示されます． 3.4.3. インタラクティブの制限 インタラクティブノード上での資源利用には次の制限があります． ・ CPU 時間は，１プロセスあたり 30 分まで ・ メモリサイズは，1 プロセスあたり 4GB まで ・ 並列実行は 4 並列まで ただし，これらは利用状況により変更される場合があります． 詳細については，学術国際情報センター研究用計算機システムのホームページを参照して下さい． http://www.gsic.titech.ac.jp/~ccwww/tgc/tgcreminder.pdf - 27 - 3.5. バッチ処理 本システムでは，バッチ処理システムを利用することができます． 通常のインタラクティブ処理(コマンドの実行)では，利用者が各々のタイミングでアプリケーショ ンやコマンドを実行するため，計算機資源の利用において競合が発生する確率が高くなります． これに比べて， バッチ処理では， 投入したジョブはシステムによってスケジューリングされるため， 他のアプリケーション，ジョブの影響を受けることなく，計算機資源を効率良く利用することができ ます． バッチ処理システムの利用手順は，以下のようになります． (1) ジョブの作成 (2) ジョブの投入 (3) ジョブの状態確認 (4) ジョブの結果確認 これらについて，順に説明します． 3.5.1. ジョブの作成 ジョブは，バッチ処理で実行したいコマンドを記述したシェルスクリプトです．これ以降，ジョブ スクリプトと呼びます． 以下にジョブスクリプトの例を示します． 例 ジョブスクリプト myjob.sh の中身 #!/bin/sh # # sample jobscript # cd $HOME/test ./myprog < input_data 上の例 myjob.sh は，$HOME/test ディレクトリ($HOME は各ユーザのホームディレクトリ)に移 動し，そのディレクトリにあるプログラム myprog を実行するジョブスクリプトです． このようなコマンドを羅列したファイルをまず作成します． また，ジョブスクリプトのファイルには，実行権を付与する必要があります． $ chmod a+x myjob.sh - 28 - 3.5.2. キュー構成 現在，利用可能なキューは以下の通りです． 構成，投入の可否などは，予算利用状況や運用によって変わります． 2010 年 4 月 7 日現在 キュー名 novice sles9 sas mopac bes1 bes2 cs1 cs2 bes1tes2 bes2tes2 tsubasa cotsubame sla1 sla2 sla1tes2 sla2tes2 RAM64GB RAM128GB hpc1 hpc1tes2 hpc3 ノード数 11 2 1 3 234 234 87 88 14 236 132 16 2 65 62 33 備 考 2.4GHz 32GB 32CPU(core)/ユーザー 旧環境ノード SAS 専用 (sles9 内の指定ノード) mopac 利用キュー（bes2 と共有） 2.4GHz 32GB 最大 1888CPU まで利用可能 bes と共有 最大 118CPU まで利用可能 bes と共有 一般利用は調整中 2.66GHz Xeon 8core/node 24GB 最大 112CPU まで利用可能 2.4GHz 32GB 最大 1888CPU まで利用可能 sla キューと共有 2.6GHz 64GB 最大 256CPU まで利用可能 2.6GHz 128GB 最大 32CPU まで利用可能 最大 1040CPU まで利用可能 (事前予約制) hpc1 キューと共有 最大 528CPU まで利用可能 (事前予約制) 2.4GHz 32GB 最大 1888CPU まで利用可能 サービス種別 無料サービス 移行措置 ベストエフォートサービス (定量ジョブ用) 性能保証サービス (従量ジョブ用) inno1 236 inno2 学外利用 inno1tes2 132 inno キューと共有 性能保障サービス inno2tes2 (従量ジョブ用) 2.4GHz 32GB pinno1 236 最大 1888CPU まで利用可能 pinno2 ※ ベストエフォートと性能保証サービスの割り当てノード数は混雑状況に応じて変更する可能性があります． ※ 無料サービス(sasを除く)内ではユーザーあたり32CPU以下で利用可能です ※ cs1, cs2の制限はプログラムにより変更できます．センターにお問い合わせください． ※ tsubasaキュー利用に当たっては，別途TSUBASA利用の手引きを参照してください． ※ 移行措置のSLES9環境ノードでは最大実行7日，メモリ4GB(interactiveと同じ)に制限されます． ※ cotsubameキュー利用に当たっては，別途coTSUBAME利用の手引きを参照してください． • ジョブ割り当てと課金 − 無料サービス(必須サービス，無料 novice キューはジョブ実行制限時間が 1 時間) − ベストエフォートサービス(有料: ジョブ実行時間制限は 7 日以内) − 性能保証サービス(有料: 従量制のため，時間制限に注意) − 移行措置の sles9(無料:実行時間制限は 7 日以内，メモリサイズは 4GB) - 29 - 有料サービスの利用者は適切な課金グループに所属している必要があります． 詳細については学術国際情報センター研究用計算機システムのホームページを参照して下さい． http://www.gsic.titech.ac.jp/~ccwww/index.html • プレミアサービス ジョブの実行時間，待ち順位を選択することがてぎます．詳細につきましては，学術国際情報 センター研究用計算機システムのホームページを参照して下さい． http://www.gsic.titech.ac.jp/~ccwww/index.html 各キューは，3 つの N1GE グループ毎に管理されます． ① free,bes（略称 free） novice, bes1/cs1/bes1tes2, bes2/cs2/bes2tes2, mopac ※ tsubasa はここに含まれますが，n1ge の都合により調整中です． ② int interactive, sas, csdebug, tesladebug ③ sla sla1, sla2, RAM64GB, RAM128GB, hpc1, hpc1tes2, hpc3, inno1, inno2, pinno1, pinno2, sla1tes2,sla2tes2,inno1tes2,inno2tes2 システムにどのようなキューが用意されているか確認するには，qlist コマンドを使用します． qlist は，-a を付加することで N1GE 属性情報を表示します． $ qlist -a RAM128GB RAM64GB bes1 bes1tes2 bes2 bes2tes2 cotsubame cs1 cs2 csdebug hpc1 hpc1tes2 hpc2 hpc2tes2 hpc3 inno1 inno1tes2 inno2 inno2tes2 interactive interactive2 mopac novice pinno1 pinno2 sla sla free,bes free,bes free,bes free,bes free,bes free,bes free,bes int sla sla sla sla sla sla sla sla sla int int free,bes free,bes sla sla - 30 - sas sla1 sla1tes2 sla2 sla2tes2 sles9 tesladebug tsubasa tsubasa_int int sla sla sla sla int int gcoe int [注意事項] キューinteractive，sas，csdebug，tesladebug が表示されますが，これらはインタラクティブ用 のキューです．バッチ利用はできませんので，これらのキューにジョブを投入することはできませ ん． 3.5.3. 利用可能キューの確認 小規模の利用以外は課金対象になりますので，利用者が利用可能なキューの確認を行なってくださ い．以下の手順で確認できます． $ qgroup -a GROUP_NAME TYPE STATUS MAX NJOBS PEND RUN CONSUME AVAILABLE -------------------------------------------------------------------------------------------4B080137 BES OK 320(cpu) 6( 56) 0( 0) 6( 56) 160 160(cpu) 4S080138 SLA OK 28800(h) 0( 0) 0( 0) 0( 0) 27845(h) --------------------------------------------------------------------------------------BES GROUP 4 5 6 7 8 9 10 11 12 1 2 3 TOTAL --------------------------------------------------------------------------------------4B0801xx 320 320 320 320 320 320 320 320 320 320 320 320 3840 -[ Running jobs ] job-ID pl ppri prior et rt(min) name user group state start at running queue slots ---------------------------------------------------------------------------------------------------------------1410425 1 -700 0.26320 2w 10081 SMP_8_1 suntest 4B080xxx r 10/14 12:54 bes2@tgg072164 8(16) 1410426 1 -700 0.21320 1w 10080 SMP_4_1 suntest 4B080xxx r 10/14 12:55 bes2@tgg072151 4 1410427 1 -700 0.21320 1w 10080 SMP_4_2 suntest 4B080xxx r 10/14 12:55 bes2@tgg072163 4 1410428 1 -700 0.21320 1w 10080 SMP_4_3 suntest 4B080xxx r 10/14 12:55 bes2@tgg072155 4 1410429 1 -700 0.21320 1w 10080 SMP_4_4 suntest 4B080xxx r 10/14 12:55 bes2@tgg072157 4 1410430 3 -100 0.45666 1w 10080 MPI_3_32_1 suntest 4B080xxx r 10/14 12:57 bes2@tgg072165 32(128) [ Pending jobs ] job-ID pl ppri prior et rt(min) name user group state submit at requested queue slots ---------------------------------------------------------------------------------------------------------------1410431 1 -700 0.00000 1w 10080 SMP_16_16 suntest 4B080137 qw 10/14 13:07 bes2 16 この例では，bes1(cs1), bes2(cs2)キューと sla1, sla2 キューを使用することができます．ジョブの 実行予報などを参考に，投入先を指定できます． また，バッチキューの利用状況を確認する場合は，qstatus コマンドを使用します． $ qstatus [出力オプション] [出力対象キュー] [出力オプション] -node 指定キューの全ノード一覧，及びその状態 (オプション未指定時のデフォルト動作) - 31 - -stat -free -sum 指定キューの状況を表形式で出力 指定キューの空きノード一覧，及びそのサマリー結果 指定キューのサマリー情報出力 オプション未指定時は"-node"(対象キューノード一覧)の動作となります． 但し出力対象キュー指定が必要です． [出力対象キュー] -nocharge -bes -sla -inno -pinno -sla1all -sla2all -slaall -hpc -ram -[キュー名] novice bes1,bes2,cs1,cs2,bes1tes2,bes2tes2 sla1,sla2,sla1tes2,sla2tes2 inno1,inno2 pinno1,pinno2 sla1,inno1,pinno1 sla2,inno2,pinno2 sla1,sla2,inno1,inno2,pinno1,pinno2 hpc1,hpc3 RAM64GB,RAM128GB 指定した任意のキュー，複数指定可． 例: -novice -bes 出力対象キューが指定されていない場合は，オプション指定が必要です． 各キューの利用状況が表示されますので，投入キューの選択の参考にしてください． (例) BES キューの全ノード一覧，及びその状態を表示する． $ qstatus -node -bes (この指定の場合，"-node"は省略可) -HOSTNAME STATUS REST CPUs REST MEM ENABLE-QUEUES --------------------------------------------------------------tgg073121 OK 4/16CPU 20/32 GB bes2 mopac tgg073122 FULL 0/16CPU 16/32 GB tgg073123 OK 8/16CPU 24/32 GB bes2 mopac tgg073124 OK 8/16CPU 24/32 GB bes2 tgg073125 OK 16/16CPU 32/32 GB tgg073126 FULL 0/16CPU 16/32 GB tgg073127 DISABLE 16/16CPU 28/32 GB tgg073128 ERROR 16/16CPU 32/32 GB tgg073129 OK 8/16CPU 16/32 GB bes2 : (略) tgg074001 OK 2/16CPU 7/32 GB bes1 tgg074002 FULL 0/16CPU 8/32 GB : (略) 注:「ENABLE-QUEUES」はそのノードに投入できるキュー名です． 上記 tgg073121 と tgg073123 の場合，同一ノードで"bes2"と"mopac"のキューが投入 できる事を表します． キュー名が出力されてない場合はどのキューも投入できない事を表します． (例) sla, inno, pinno キューのサマリー情報を表示する $ qstatus -sum -slaall -- - 32 - QUEUE FREE NODE FREE CPU FREE MEMORY USED NODE DOWN NODE DISABLE NODE TOTAL NODE ---------------------------------------------------------------------------------------------TOTAL 149 2384 CPU 4768 GB 539 3 197 - inno1 15 240 CPU 480 GB 99 0 4 118 - inno2 35 560 CPU 1120 GB 81 0 2 118 - pinno1 15 240 CPU 480 GB 99 0 4 118 - pinno2 35 560 CPU 1120 GB 81 0 2 118 - sla1 14 224 CPU 448 GB 98 0 6 118 - sla2 35 560 CPU 1120 GB 81 0 2 118 注: 同一ノード内の複数キューのサマリー値はそれぞれ同じ値となります 3.5.4. ジョブの投入 バッチ処理システムを利用するには，ジョブスクリプトをジョブとしてキューに投入します．投入 には n1ge コマンド(N1 Grid Engine)を使用します．このコマンドで投入するジョブにはフォアグラ ウンドとバックグラウンドの 2 つのモードが存在します．以下フォアグラウンドとバックグラウンド について説明します． [フォアグラウンド] 標準出力，エラーを，n1ge コマンドを実行したターミナル上へ出力します． ジョブが終了するまでプロンプトは返りません． $ n1ge -fore myjob.sh [バックグラウンド] 標準出力，エラーをファイルへ出力します． ジョブ投入後，プロンプトが返ります． $ n1ge myjob.sh Your job 753 (“jobname”) has been submitted. 3.5.5. オプションを使用したジョブコントロール n1ge コマンドにはジョブをコントロールするためのオプションが用意されています．3.5.4 節で説 明したフォアグラウンドの指定もオプションの一つです．通常使用されるオプションとしては，ジョ ブ名，キューの指定，課金グループの指定オプションなどがあります． 次のように n1ge コマンドの後ろに並べて使用します． $ n1ge -N jobname -q sla2 -g 4S0801xx myjob.sh Your job 753 (“jobname”) has been submitted. -N オプションでジョブ名を指定します． -q オプションで投入先キューを指定します． -g オプションで所属している課金グループを指定します． その他のオプションについては， 「n1ge -help」を実行すると確認できます． 上の例で， 「753」は N1GE グループ毎に一意に割り当てるジョブ ID です． • 投入キュー，課金グループを指定しない場合，自動的に novice キューに割り当てられます． 32 並列を超えるジョブの場合は，novice キューには投入できません． - 33 - -g オプションを使用している場合，課金グループが示すキューに割りあてられます． 投入用コマンド n1ge では以下のようなオプションが利用可能です． $ n1ge -help n1ge [n1ge_options....] [options...] n1ge_options: -help -verify -acverify :: This message. :: Do not submit just verify. :: Output details of the accounting information of the job that tries to submit it. This option is only effective to submit the job to the SLA type queue. -smp :: Request SMP machines. Specify the number of cpus to run on. -mpi :: Request using message passing interface. Specify the number of cpus to run on. -openmpi :: Request using Open MPI(open source message passing interface implementation). Specify the number of cpus to run on. -linda :: Request using linda for Gaussian 03 rev D.02. Specify the number of cpus to run on. -ddi :: Request using DDI for GAMESS. Specify the number of cpus to run on. -proc :: Request SMP machines. Use this option only for your original jobs. this option limits the memory of not the job but each process. Specify the number of cpus(processes) to run on. -mem :: [MPI Jobs] Specify the size of memory for each process of job.(GBytes) With -mpi, -openmpi, -ddi options. [NonMPI Jobs] Specify the size of memory for the job not processes. ONLY with -smp option. ex1) "-smp 8 -mem 16" means this job will use 16GB and limit 16GB/job. ex2) "-mpi 4 -mem 2" means this job will use 2GB*4=8GB memory and limit 2GB/proc. ex3) "-proc 8 -mem 2" means this job will use 2GB*8=16GB memory and limit 2GB/proc. -apps_list :: Show Application Name you can specify with -apps or -apps_help option. -apps :: Specify Application Name apps_name[,apps_name,...] -apps_help :: Show applicatoin specific help message of n1ge command. apps_name -q :: Bind job to the specified queue(s). queue[,queue,....] -mail :: Request mail notification when begging, ending of the job and aborted or suspended the jobs. Specify the E-mail Address. -env :: Export these environment variables on Execution Hosts. variable[=value][,variable[=value],....] -fore :: Executing this job as foreground job. -noreq :: Define job as NOT Re-queueing. -paramfile :: Specify parameter file of Voltaire MPI. You can get the sample paramfile as /opt/vltmpi/OPENIB/mpi.pgcc.rsh/doc/param.sample. You need to use -mpi option together. -N :: Specify Job Name -hold_jid :: Define jobnet interdependencies {job_id|job_name|reg_exp}[,{job_id|job_name|reg_exp},...] -divout :: Divide standard output and err stream of N1GE [default stdout filename]: jobname.oJOB_ID [default stderr filename]: jobname.eJOB_ID If you want to specify each filename please use -sgeout,-sgeerr options. -sgeout :: Specify standard output stream path(s) of N1GE - 34 - -sgeerr :: Specify standard err stream path(s) of N1GE -g :: Specify the Group Name. -rt :: Specify the runtime of the job when you belong to SLA or BES group. In minutes. (1 - 999999) SLA: Default value is 30 minitus now. BES: Default value depends on the specified value with -et. The unit can be selected by specifying the character("h" or "d") following the value. -rt XX, -rt XXm --> XX[min] -rt XXh --> XX[hour] -rt XXd --> XX[day] -rank0mem :: Specify the memory size of Rank0 processes for MPI jobs. (GBytes) -stripe :: Specify the number of stripes for Lustre FS /gau. This option is available with only Gaussian. Default value is 1. Max value is 3. -pl :: Specify priority level. The value that can be selected is 1, 2 and 3. Hierarchical relationship of job priority is shown as follows. Priority | default high priority top priority ------------+------------------------------------------n1ge option | -pl 1 < -pl 2 < -pl 3 Please refer to the GSIC Web site for a detailed usage of this function. Default level is 1. -et :: About only SLA and BES type job, the execution time limit will be extended. The value that can be selected is ... SLA Type: 1w, 2w, ... 8w. (weeks) BES Type: 1w, 2w, and 4w. (weeks) 1w = 7 days, 2w = 14 days 4w = 28 days, 8w = 56 days Please refer to the GSIC Web site for a detailed usage of this function. Default level is 1w. -t :: Sprcify Array Job. Specify the number of array job tasks and the index number which will be associated with the tasks. The index numbers will be exported to the job tasks via the environment variable SGE_TASK_ID. The option arguments n, m and s will be available through the environment variables SGE_TASK_FIRST, SGE_TASK_LAST and SGE_TASK_STEPSIZE. 1 qstat | grep user001 6090926 0.00000 OTHERS > qstat | grep user001 6090926 0.16320 OTHERS (4) 結果 計算結果はジョブ名の後ろにパラメータ数が付いてリストされます． - 43 user001 qw 10/15/2009 09:04:30 1 100-150:1 この場合，投入したものが全て待ちです． user001 qw 10/15/2009 09:04:30 1 132-150:1 この場合，最初から 32 個(100-131)が実行されて，残りが表示されます． > ls OTHER* OTHERS.o6090926.100 OTHERS.o6090926.101 OTHERS.o6090926.102 OTHERS.o6090926.103 OTHERS.o6090926.104 : OTHERS.o6090926.113 OTHERS.o6090926.114 OTHERS.o6090926.115 OTHERS.o6090926.116 OTHERS.o6090926.117 OTHERS.o6090926.126 OTHERS.o6090926.127 OTHERS.o6090926.128 OTHERS.o6090926.129 OTHERS.o6090926.130 (5) n1ge の他のオプションとの組み合わせ mpi(openmpi を含む)以外のパラメータと同時利用が可能です． 3.5.12. GUI 本システムでは，ジョブやキューの情報を参照することができる GUI ツールを利用できます．(英 語版のみ) X Window System が利用できる状態で，以下のように実行します． $ export LANG=C $ qmon & ※ qmon は対象としている N1GE グループのみ表示しますので， 目的の N1GE グループが異なる 場合は，以下の方法であらかじめ設定を変更します． (1) free: novice, bes1, bes2, mopac $ . /n1ge/TITECH_GRID/env/set_free.sh (2) int: interactive, sas, csdebug, tesladebug $ . /n1ge/TITECH_GRID/env/set_int.sh ←sh 系 (source /n1ge/TITECH_GRID/env/set_int.csh) ←csh 系 (3) sla: sla1, sla2, inno1, inno2, pinno1, pinno2, RAM64GB, RAM128GB, hpc1, hpc3 $ . /n1ge/TITECH_GRID/env/set_sla.sh ←sh 系 (source /n1ge/TITECH_GRID/env/set_sla.csh) ←csh 系 以下のような画面が表示されます． ←sh 系 (source /n1ge/TITECH_GRID/env/set_free.csh) ←csh 系 詳細は Help を参照して下さい． [注意事項] ジョブの投入は，本システムで提供している n1ge コマンドを利用して下さい． n1ge コマンド以外でのジョブ投入は，ジョブの実行やその結果について保証されません． - 44 - 3.6. 印刷 センターに設置されたプリンタは，ポストスクリプトファイルの印字のみ可能です．テキスト形式 のファイルを印刷する場合は，a2ps コマンドでポストスクリプト形式のファイルに変換する必要が あります． ユーザが利用可能なプリンタについては， 「2.1.6 プリンタ」を参照して下さい 3.6.1. PC からのプリンタ利用 手元の PC 環境からプリンタを出力することは出来ません． 3.6.2. メディアワークステーション，インタラクティブノードからの利用 メディアワークステーション media-o， media-s， インタラクティブノード tgg075017～tgg075022 から下記手順で印刷を行います． ただし，prn0-o，prn0-s はメディアワークステーションからのみ 印刷可能です． (1) 利用可能なプリンタ名 (2) lpr コマンドを使用した印刷 (3) lpq コマンドを使用要求の確認 (4) lprm コマンドを使用した印刷要求の中止 (5) デフォルトプリンタの設定 (1) 利用可能なプリンタ名 設置場所 プリンタ名 prn0-o_a0 prn0-o_b0 prn1-o_a4 (*) prn1-o_a4r prn1-o_a3 prn1-o_a3r prn0-s_a0 prn0-s_b0 prn1-s_a4 (*) prn1-s_a4r prn1-s_a3 prn1-s_a3r 備考 大判ロール紙に A0 で出力 大判ロール紙に B0 で出力 A4 普通紙に出力 A4 普通紙に両面・長辺綴じで出力 A3 普通紙に出力 A3 普通紙に両面・長辺綴じで出力 大判ロール紙に A0 で出力 大判ロール紙に B0 で出力 A4 普通紙に出力 A4 普通紙に両面・長辺綴じで出力 A3 普通紙に出力 A3 普通紙に両面・長辺綴じで出力 大岡山 すずかけ台 （*）プリンタ名を省略したときのデフォルトプリンタ インタラクティブノード tgg075017～tgg075022 から出力可能なプリンタは，プリンタ名が 「prn1-」で始まるプリンタのみです． (2) lpr コマンドを使用した印刷 ファイルの内容をプリンタで印刷するには lpr コマンドを使用します．センターで利用できる プリンタが印刷できるファイルの形式はポストスクリプトファイルのみです．テキストファイル の印刷方法については，例２を参考にして下さい． - 45 - lpr コマンドは，以下のように使用します． $ lpr [-P] file1 file2 ... オプション説明 -P プリンタ名：印刷先のプリンタ名を指定（省略可能） ．省略時は，デフォルトプリンタが 印刷先となります． 例１．大岡山のカラーPS プリンタにポストスクリプトファイル“sample.ps”を印刷する場合 $ lpr -Pprn1-o_a4 sample.ps 例２．すずかけ台のカラーPS プリンタにテキストファイル“sample1.txt”を印刷する場合， 環境変数 LANG を変更し，ファイルの変換後に印刷する． ・sh 系環境の場合 $ export LANG=ja_JP.eucjp $ nkf -e sample1.txt | a2ps -Pprn1-s_a4 ・csh 系環境の場合 $ setenv LANG ja_JP.eucjp $ nkf -e sample1.txt | a2ps -Pprn1-s_a4 ただし，インタラクティブノードの場合は，日本語の含まれたファイルは扱えませんので，環 境変数 LANG の変更および nkf コマンドによる変換は必要ありません． 例３．大岡山のカラーPS プリンタにポストスクリプトファイル“sample.ps”を A3 で印刷す る場合 $ lpr -Pprn1-o_a3 sample.ps 例４．大岡山のカラーPS プリンタにポストスクリプトファイル“sample.ps”を両面長辺綴じ で印刷する場合 $ lpr -Pprn1-o_a4r sample.ps 例５．大岡山の B0 プリンタにポストスクリプトファイル“sample.ps”を B0 で印刷する場合 $ psresize -pB0 -PA4 sample.ps | lpr -Pprn0-o_b0 (3) lpq コマンドを使用した印刷要求の確認 印刷要求を確認するには lpq コマンドを使用します． lpq コマンドは，以下のように使用します． $ lpq [-P] オプション説明 -P プリンタ名：印刷先のプリンタ名を指定（省略可能） ．省略時は，デフォルトプリンタが 印刷先となります． - 46 - 例．印刷要求の確認 $ lpq prn1-o_a4 is ready and Rank Owner Job active titech 9 1st titech 10 2nd titech 11 3rd titech 12 printing File(s) (stdin) sample.ps (stdin) test.ps Total Size 19456 bytes 20855 bytes 1024 bytes 21569 bytes (4) lprm コマンドを使用した印刷要求の中止 印刷要求を中止するには lprm コマンドを使用します． lpq コマンドで印刷要求を出力し，中止したいジョブ ID を確認後，lpr コマンドで印刷要求を 中止します． lprm コマンドは，以下のように使用します． $ lprm [-P] ジョブ ID ... オプション説明 -P プリンタ名：印刷先のプリンタ名を指定（省略可能） ．省略時は，デフォルトプリンタが 印刷先となります． ジョブ ID：ジョブ ID を指定し，個々のジョブを削除します． 例．前述の(3)でジョブ ID の確認後，印刷要求を中止する場合 $ lprm 9 10 11 (5) デフォルトプリンタの設定 プリンタ関連のコマンドでプリンタ名を省略した場合，プリンタ名 prn1-o_a4（media-o の場 合）が指定されます．ただし，環境変数が設定されている場合は，そこに設定されたプリンタ名 がデフォルトになります． 例．デフォルトプリンタにすずかけ台のカラーPS プリンタを設定する場合 ・sh 系環境の場合 $ export PRINTER=prn1-s_a4 ・csh 系環境の場合 $ setenv PRINTER prn1-s_a4 - 47 - 3.7. LTO3 装置の利用 メディアワークステーション media-o，media-s に接続されている LTO3 装置を利用することがで きます． 利用方法は以下のとおりです． (1) 媒体の挿入 メディアワークステーションの横に設置された LTO3 装置に，媒体を挿入してください． (2) 媒体への書き込み，読み込み メディアワークステーションにログインし，tar コマンドや cpio コマンド等により，媒体に書 き込み/読み込みを行います． デバイスファイル名は，/dev/st0 です． 例．tar コマンドにより，save ディレクトリ配下を書き込む場合 $ tar cvf /dev/st0 ./save (3) 媒体の取り出し LTO3 装置前面にある取り出しボタンを押すと，媒体が取り出されます． 取り出しボタン 3.8. プロキシー設定 以下の設定でプロキシーサーバを利用することができます． ホスト名 IP アドレス ポート proxy-o.cc.titech.ac.jp 131.112.14.2 8080 - 48 - 4. プログラミング言語と環境 開発環境として PGI 社製 PGI CDK(Cluster Development Kit)を導入しています． PGI CDK は， クラスタ上で必要なコンパイラ， PC 並列デバッガ等のユーティリティをバンドルし た PC クラスタ用のソフトウェア開発キットです．特徴としては次のとおりです． 4.1. コンパイラ コンパイラの利用方法について説明します．pgf95 コマンドにより，Fortran プログラムをコンパ イル・リンクします．コンパイラは，FORTRAN77 の上位互換であるため，FORTRAN77 で記述さ れたプログラムでも Fortran90 および Fortran95 で記述されたプログラムでもコンパイルが可能で す．また，コンパイラの利用方法は，他の言語コンパイラでも同じです． 例１．Fortran プログラム“sample.f”の場合 $ pgf95 sample.f 例２．C プログラム“sample.c”の場合 $ pgcc sample.c この例の場合，実行オブジェクトファイル a.out が生成されます． 例３．実行オブジェクトファイルを明示的に指定する場合 $ pgf95 -o sample sample.f ● 実行時における注意事項 実行オブジェクトファイルの実行後に，標準エラー出力に「FORTRAN STOP」というメッセー ジが出力されることがありますが，実行およびその結果について影響はありません．また，このメ ッセージを抑止したい場合は，環境変数 NO_STOP_MESSAGE を設定して下さい．なお，値は任 意です． 4.1.2. コンパイラのバージョン指定 TSUBAME の PGI コンパイラは 7.2-4 ですが，違うバージョンのコンパイラを使う場合，次のよ うにすると使用できます． (１) 指定できるコンパイラは 6 種類用意しています． /usr/apps/isv/pre_release/pgi6.2.5 (バージョン 6 の最後) /usr/apps/isv/pre_release/pgi6.1-2 (SLES9 環境時のデフォルト) /usr/apps/nosupport10/pgi/linux86-64/8.0-6 /usr/apps/nosupport10/pgi/linux86-64/9.0-1 (GPGPU 対応バージョン) /usr/apps/nosupport10/pgi/linux86-64/9.0-3 (GPGPU 対応バージョン) /usr/apps/nosupport10/pgi/linux86-64/10.0 (GPGPU 対応バージョン) ※ pgi 6.x は SLES9 環境で使用可能です． 4.1.1. プログラムのコンパイルとリンク (２) 環境変数の切り替えを行います．指定するパスは上記を確認の上指定してください． - 49 - ・PGI6.2.5 の場合 $ export PGI=/usr/apps/isv/pre_release/pgi $ export PATH=/usr/apps/isv/pre_release/pgi/linux86-64/6.2/bin:$PATH $ export LD_LIBRARY_PATH=/usr/apps/isv/pre_release/pgi/linux86-64/6.2/libso:$LD_LIBRARY_PATH ・PGI8.0-6 の場合 $ . /usr/apps/nosupport10/pgi/pgiset.sh ・PGI9.0-3 の場合 $ . /usr/apps/nosupport10/pgi/pgiset9.sh ・PGI10.0 の場合 $ . /usr/apps/nosupport10/pgi/pgiset10.sh (３) 簡単なチェックをします． $ pgf95 -V pgf95 7.2-4 64-bit target on x86-64 Linux Copyright 1989-2000, The Portland Group, Inc. All Rights Reserved. ※バージョンが表示されます．確認してください． 現行の MPI ライブラリと不整合が発生する可能性があります．動作を確認の上ご利用ください． 4.1.3. 標準以外のコンパイラ (1) インテルコンパイラ インテルコンパイラを利用することができます．これは ISV アプリケーション（MSC.Nastran, ABAQUS）のユーザサブルーチンをコンパイルすることを主目的として導入されています．通常 のユーザプログラムは PGI 社製 PGI CDK を使用して下さい． EMT64bit Fortran/C++ コンパイラを使用する際は，以下を実行し，設定します． ＜Fortran コンパイラ＞ ・バージョン 11 $ . /usr/apps/isv10/intel/11/bin/ifortvars.sh intel64 ←sh 系 (source /usr/apps/isv10/intel/11/bin/ifortvars.csh intel64) ←csh 系 ・バージョン 10 $ . /usr/apps/isv10/intel/fce/10.1.011/bin/ifortvars.sh ←sh 系 (source /usr/apps/isv10/intel/fce/10.1.011/bin/ifortvars.csh) ←csh 系 ＜C++コンパイラ＞ ・バージョン 11 $ . /usr/apps/isv10/intel/11/bin/iccvars.sh intel64 ←sh 系 (source/usr/apps/isv10/intel/11/bin/iccvars.csh intel64) ←csh 系 ・バージョン 10 $ . /usr/apps/isv10/intel/cce/10.1.011/bin/iccvars.sh ←sh 系 (source /usr/apps/isv10/intel/cce/10.1.011/bin/iccvars.csh) ←csh 系 (2) coTSUBAME のコンパイラ CPU はインテル社の新型ですので， TSUBAME 上のコンパイラで専用の最適化はできませんが， PGI では，-tp によりインテル向けの最適化が可能です．また，コンパイラにインテルコンパイラ を使用したい場合は次のように実行します． 1. インテルコンパイラによるシングルまたは，ノード内並列 以下の手順で操作します．(/work/UNIX/tune の例) - 50 - $ ifort -V Intel(R) Fortran Intel(R) 64 Compiler Professional for applications running on Intel(R) 64, Version 11.0 Build 20081105 Package ID: l_cprof_p_11.0.074 Copyright (C) 1985-2008 Intel Corporation. All rights reserved. $ icc -V Intel(R) C Intel(R) 64 Compiler Professional for applications running on Intel(R) 64, Version 11.0 Build 20081105 Package ID: l_cproc_p_11.0.074 Copyright (C) 1985-2008 Intel Corporation. All rights reserved. $ icc -c wclock.c $ ifort -fast -O3 -o coTSUi sample10a.f wclock.o $ ./coTSUi 2. PGI コンパイラの場合 $ pgif95 -V pgf95 7.2-4 64-bit target on x86-64 Linux -tp penryn-64 Copyright 1989-2000, The Portland Group, Inc. All Rights Reserved. Copyright 2000-2008, STMicroelectronics, Inc. All Rights Reserved. $ pgf95 -Minfo=all -fastsse -tp penryn-64 -o coTSU sample10a.f wclock.c $ ./coTSU 4.1.4. ファイルの入出力 コンパイルとリンクが正常に終了したら，次に実行です．入力データがない場合には，そのまま a.out を実行すればよいですが，入力データがある場合には，少し注意が必要です．FORTRAN の WRITE 文，READ 文にユニット番号を指定した場合，fort.nn（nn は，ユニット番号）ファイルか らの入出力になります．つまり， write(10,*) → fort.10 read(20,*) ← fort.20 の状態になります．もちろん入力データが存在しない場合には，プログラムの実行はできません． また，0 番（標準エラー出力） 番（標準入力） 番（標準出力）は，予め事前に接続されてい ，5 ，6 ます．標準入力と標準出力だけであれば，リダイレクトによる方法でもデータの入出力は可能です． 例．入力データファイル“sample.inp” ，出力データファイル“sample.out”の場合 $ a.out < sample.inp > sample.out 4.1.5. ライブラリの利用 リンク時にオプションでライブラリ名を指定することにより，アーカイブファイルを検索してリン クを行います．lib***.a というライブラリをリンクする場合，***の部分を-l オプションの直後に記述 します．また，コンパイラの利用方法は，他の言語コンパイラでも同じです． 例１．Fortran プログラムで“libblas.a”をリンクする場合 $ pgf95 sample.f -lblas - 51 - 例２．C プログラムで“libblas.a”をリンクする場合 $ pgcc sample.c -lblas 例３．プライベートなディレクトリにあるライブラリ“libprivate.a”をリンクする場合 $ pgf95 sample.f -L/home/hoge/private -lprivate 並列化 並列化には，主に分散並列環境で利用する MPI とメモリ共有並列環境で利用する OpenMP， pthread があります． 4.2. 4.2.1. MPI MPI とは， 並列処理アプリケーション用メッセージパッシングライブラリです． メッセージパッシ ングとは，メッセージと呼ばれる特定のデータ形式の受け渡しとこれらの一元的な管理に基づく通信 手段の一つです．MPI は主に分散環境で，Fortran，C プログラム中から関数，サブルーチンとして 使用されます．MPI を使ったプログラムのコンパイル・リンクには，mpif90（mpicc）コマンドを使 用します． 例１．MPI プログラムをコンパイル・リンクする場合 $ mpif90 -o sample sample.f 例２．MPI の実行オブジェクトファイル“sample”を 2CPU で実行する場合 ・インタラクティブノードのみで実行 $ mpirun -np 2 sample ・インタラクティブノード以外で実行 $ n1ge -fore -mpi 2 sample - 52 - 以下は，円周率を計算する簡単な MPI のプログラム例です． program compute_pi implicit none include 'mpif.h' integer n,i,myid,numprocs,rc,ierr double precision w,x,sum,pi,f,a,mypi ! function to integrate f(a)=4.d0/(1.d0+a*a) call mpi_init(ierr) call mpi_comm_rank(mpi_comm_world,myid,ierr) call mpi_comm_size(mpi_comm_world,numprocs,ierr) if(myid.eq.0) then ! print *,'Enter number of intervals: ' ! read *,n n=500000000 end if call mpi_bcast(n,1,mpi_integer,0,mpi_comm_world,ierr) ! calculate the interval size w=1.0d0/n sum=0.0d0 do i=myid+1,n,numprocs x=w*(i-0.5d0) sum=sum+f(x) end do mypi=w*sum ! collect all the partial sums call mpi_reduce(mypi,pi,1,mpi_double_precision, &mpi_sum,0,mpi_comm_world,ierr) ! node 0 prints the answer. if(myid.eq.0) then print *,'computed pi=',pi end if call mpi_finalize(rc) end program compute_pi - 53 - プログラムのコンパイル・リンク $ mpif90 -o compute_pi compute_pi.f プログラムの実行 $ mpirun -np 2 compute_pi あるいは， $ n1ge -fore -mpi 2 compute_pi 実行結果 computed pi= 3.141592653589621 ● MPI における注意事項 (1) fork 関数を使用する場合 fork 関数を使用したプログラムで，まれに不正処理(実行処理が進まない等)が発生する場合が あります．vfork 関数では同様の現象は発生しませんので，fork 関数を vfork 関数に置き換えて 下さい． (2) mmap 関数，munmap 関数を使用する場合 通信バッファを mmap 関数で確保，通信，munmap 関数で解放を繰り返す処理が含まれるプ ログラムで，まれに通信したデータの不整合が発生する場合があります．mmap 関数，munmap 関数を繰り返し使用することは避けて下さい． (3) coTSUBAME の MPI 並列プログラム pgi の場合は標準コンパイラと同様にコンパイルします．(ただし，tp をつけます) $ mpif90 -fastsse -tp penryn-64 -o coTSU sample11a.f wclock.c インテルコンパイラの場合は以下の手順で操作します． $ export PATH=/opt/openmpi/1.2.6-V00/pgi/bin:$PATH $ export LD_LIBRARY_PATH=/opt/openmpi/1.2.6-V00/pgi/lib64:$LD_LIBRARY_PATH $ export OMPI_FC=ifort $ export OMPI_CC=icc $ mpif90 -V Intel(R) Fortran Intel(R) 64 Compiler Professional for applications running on Intel(R) 64, Version 11.0 Build 20081105 Package ID: l_cprof_p_11.0.074 Copyright (C) 1985-2008 Intel Corporation. All rights reserved. $ icc -c wclock.c $ mpif90 -fastsse sample11a.f wclock.o $ n1ge -g 4B09xxxx -q cotsubame -openmpi 2 ./a.out ※注意 インテルコンパイラを使っての MPI の使用は正式にはサポートされていませんので， 利用に当た っては事前に動作確認をお願いいたします (4) MPI2 並列プログラム MPI-2 規格のサブルーチンを使用したい場合， VolraireMPI では対応できませんので， openmpi を使 用します．次のように環境を切り替えて使用してください． また，ジョブの投入時には，n1ge で mpi の代わりに openmpi オプションを使用します． - 54 - $ export PATH=/opt/openmpi/1.2.6-V00/pgi/bin:$PATH $ export LD_LIBRARY_PATH=/opt/openmpi/1.2.6-V00/pgi/lib64:$LD_LIBRARY_PATH $ mpif90 –V pgf90 7.2-4 64-bit target on x86-64 Linux -tp k8-64e 4.2.2. OpenMP OpenMP とは，メモリ共有並列環境の並列プログラミング仕様です．Fortran，C プログラム中か らディレクティブ（指示文）を使用して並列プログラミングを行います．OpenMP を使ったプログラ ムのコンパイル・リンクには，pgf95（pgcc）コマンドを使用します． 例１．OpenMP プログラムをコンパイル・リンクする場合 $ pgf95 -mp -o sample sample.f 例２．OpenMP の実行オブジェクトファイル“sample”を 2CPU で実行する場合 ・インタラクティブノードのみで実行 $ export OMP_NUM_THREADS=2 ← sh 系 (setenv OMP_NUM_THREADS 2) ← csh 系 $ sample ・インタラクティブノード以外で実行 $ n1ge -fore -smp 2 sample 以下は，円周率を計算する簡単な OpenMP のプログラム例です． program compute_pi implicit none integer n,i double precision w,x,sum,pi,f,a ! function to integrate f(a)=4.d0/(1.d0+a*a) n=500000000 ! calculate the interval size w=1.0d0/n sum=0.0d0 !$omp parallel do private(x),shared(w),reduction(+:sum) do i=1,n x=w*(i-0.5d0) sum=sum+f(x) end do pi=w*sum print *,'computed pi=',pi stop - 55 - end program compute_pi プログラムのコンパイル・リンク $ pgf95 -mp -o compute_pi compute_pi.f プログラムの実行 $ export OMP_NUM_THREADS=2 ← sh 系 (setenv OMP_NUM_THREADS 2) ← csh 系 $ ./compute_pi あるいは， $ n1ge -fore -smp 2 compute_pi 実行結果 computed pi= 3.141592653589814 4.2.3. pthread pthread とは，メモリ共有並列環境でスレッドレベルでの並列プログラミングの規格です．スレッ ドの生成や消去など，C プログラム中から関数として使用されます．マルチスレッドプログラムでは スレッド間でアドレス空間を共有し，複数の CPU で 1 つのプロセスを実行することが可能です． pthread を使ったプログラムのコンパイル・リンクには，pgcc コマンドを使用します． 例１．pthread プログラムをコンパイル・リンクする場合 $ pgcc -o sample sample.c -lpthread - 56 - 例２．pthread の実行オブジェクトファイル“sample”を 2CPU で実行する場合 ・インタラクティブノードのみで実行 $ ./sample 2 ・インタラクティブノード以外で実行 $ n1ge -fore -smp 2 sample 以下は，円周率を計算する簡単な pthread のプログラム例です． #include #include #include "pthread.h" volatile double pi = 0.0; /* Approximation to pi (shared) */ pthread_mutex_t pi_lock; /* Lock for above */ volatile double intervals; /* How many intervals? */ void * process(void { register register register *arg) double width, localsum; int i; int iproc = (*((char *) arg) - '0'); /* Set width */ width = 1.0 / intervals; /* Do the local computations */ localsum = 0; for (i=iproc; i cd avspce_test/ tgg075017 admin/sun> cp /work/samples/avs_pce/* . tgg075017 admin/sun> ls app_extedges.v app_iso.v app_orth.v app_val_loop.v app_volrend.v app_extface.v app_isoline.v app_orth_grey.v app_vector.v app_volrend_grey.v ③ AVS/Express PCE の起動 バージョン 7.2 の場合，“para_start クラスタ情報ファイル Display ホスト名 ユーザ名” を実行します． tgg075017 admin/sun> para_start $PARA_INI 172.17.74.223 sun バージョン 7.1.1 の場合，“/usr/apps/isv10/avs/para_express_7.1.1/utl/para_start 情報ファイル Display ホスト名 ユーザ名” を実行します． tgg075017 admin/sun> 172.17.74.223 sun /usr/apps/isv10/avs/para_express_7.1.1/utl/para_start クラスタ $PARA_INI - 61 - コマンド実行により，以下の GUI 画面が表示されます． ④ “Select File”をクリックし，app_extedges.v ファイルを選択し OK をクリックします． ⑤ “para app”ウィンドウの”Calc Start”ボタンをクリックします． 終了は「File ⇒ Exit」となります． (3) n1ge での実行方法（バージョン 7.1.1，7.2） デフォルトではバージョン 7.2 となります．バージョン 7.1.1 を利用する場合は次のように環境変 数をセットします． $ export AVS_VERSION=7.1.1 または， $ setenv AVS_VERSION 7.1.1 csh/tcsh の場合 [フォアグラウンド] - 62 bash/ksh/sh の場合 $ n1ge -fore -g -mpi avspce DISP= \ i= j= k= child_num= \ log_dir= data_dir= [バックグラウンド] GUI アプリケーションのため，バックグラウンドでは利用出来ません． (4) 旧環境での実行（バージョン 7.0.1） 「sles9 キュー」をご参照ください． (5) 補足:Display エラーについて 「Error: Can't open display IP アドレス:0.0」というエラーメッセージが表示され，起動できない 場合があります．この場合は，以下の点を確認してください． ・手順通りに実行しているか？ ・AVS/Express PCE はポート番号 6000 を利用します． 使用端末でこのポートを利用できる状態に しているか？ 5.1.2. ABAQUS ABAQUS はバージョン 6.5.6， 6.7.1, 6.8.4 が使用できます． デフォルトでの実行はバージョン 6.8.4 になります． 6.5.6 を使用する際は， 旧環境マシンに移動して実行します． (3)旧環境での実行をご確認ください． (1) 実行方法（バージョン 6.7.1, 6.8.4） デフォルトではバージョン 6.8.4 となります．バージョン 6.7.1 を利用する場合は次のように環境 変数をセットします． $ export ABAQUS_VERSION=6.7 bash/ksh/sh の場合 または， $ setenv ABAQUS_VERSION 6.7 [フォアグラウンド] 複数 CPU 利用時 $ n1ge -fore -mpi CPU 数 abaqus job=入力ファイル cpus=CPU 数 (※) -mpi で指定する CPU 数と cpus で指定する CPU 数は同じ値にして下さい． 1CPU のみ利用時 $ n1ge -fore abaqus job=入力ファイル [バックグラウンド] 複数 CPU 利用時 $ n1ge -mpi CPU 数 abaqus job=入力ファイル cpus=CPU 数 (※) -mpi で指定する CPU 数と cpus で指定する CPU 数は同じ値にして下さい． 1CPU のみ利用時 $ n1ge abaqus job=入力ファイル (2) サンプルデータを用いた実行例 - 63 csh/tcsh の場合 ① ② 作業ディレクトリを作成します． tgg075017 admin/sun> mkdir abaqus_test abaqus fetch コマンドを使用してサンプルデータを取得します． tgg075017 admin/sun> cd abaqus_test/ tgg075017 sun/abaqus_test> abaqus fetch job=damage_combine_deg Abaqus FETCH job damage_combine_deg Archive: /usr/apps/isv10/abaqus/6.8-4/samples/job_archive/samples.zip inflating: damage_combine_deg.inp tgg075017 sun/abaqus_test> ls damage_combine_deg.inp ③ 取得したデータを用いて，ABAQUS を 4CPU で実行します． tgg075017 sun/abaqus_test> n1ge -fore -mpi 4 abaqus job=damage_combine_deg cpus=4 *n1ge> Checking n1ge options.... *n1ge> Checking which tool have the command you specified.... *n1ge> Reading specific configuration file for each tools.... *n1ge> The version of ABAQUS you specified is 6.8. *n1ge> Creating qrsh options.... *n1ge> WARNING: The runtime limit for novice queue is 1 hours. *n1ge> Adding qrsh options.... *n1ge> Submitting Job to Cluster...... [Starting Job 6731622 on tgg075047] Abaqus JOB damage_combine_deg Abaqus Version 6.8-4 Begin Analysis Input File Processor (3) 旧環境での実行（バージョン 6.5.6） 「sles9 キュー」をご参照ください． 5.1.3. ABAQUS CAE ABAQUS CAE は GUI アプリケーションです．バージョン 6.5.6，6.7.1, 6.8.4 が使用できます．デ フォルトでの実行はバージョン 6.8.4 になります． 6.5.6 を使用する際は， 旧環境マシンに移動して実行します． (3)旧環境での実行をご確認ください． (1) 実行方法（バージョン 6.7.1, 6.8.4） デフォルトではバージョン 6.8.4 となります．バージョン 6.7.1 を利用する場合は次のように環境 変数をセットします． $ export ABAQUS_VERSION=6.7 bash/ksh/sh の場合 または， $ setenv ABAQUS_VERSION 6.7 [フォアグラウンド] $ n1ge -fore abaqus cae [バックグラウンド] GUI アプリケーションのため，バックグラウンドでは利用出来ません． (2) 起動例 - 64 csh/tcsh の場合 次のコマンドを実行します． tgg075017 sun/abaqus_test> n1ge -fore abaqus cae *n1ge> Checking n1ge options.... *n1ge> Checking which tool have the command you specified.... *n1ge> Reading specific configuration file for each tools.... *n1ge> The version of ABAQUS you specified is 6.8. *n1ge> Creating qrsh options.... *n1ge> WARNING: The runtime limit for novice queue is 1 hours. *n1ge> Adding qrsh options.... *n1ge> Submitting Job to Cluster...... [Starting Job 6731623 on tgg075047] Abaqus License Manager checked out the following license(s): "cae" version 6.8 from tggls . 終了は「File ⇒ Exit」となります． (3) 旧環境での実行（バージョン 6.5.6） 「sles9 キュー」をご参照ください． 5.1.4. AMBER AMBER はバージョン 8，9，10 が使用できます．デフォルトでの実行はバージョン 10 になりま す． 8 を使用する際は，旧環境マシンに移動して実行します．(3)旧環境での実行をご確認ください． (1) 実行方法（バージョン 9，10） デフォルトではバージョン 10 となります．バージョン 9 を利用する場合は次のように環境変数を セットします． $ export AMBER_VERSION=9 または， $ setenv AMBER_VERSION 9 [フォアグラウンド] 複数 CPU 利用時（1CPU 実行時も含む） - 65 csh/tcsh の場合 bash/ksh/sh の場合 $ n1ge -fore -mpi CPU 数 sander -O -i 入力ファイル -o 出力ファイル [バックグラウンド] 複数 CPU 利用時（1CPU 実行時も含む） $ n1ge -mpi CPU 数 sander -O -i 入力ファイル -o 出力ファイル AMBER バージョン 10 では，ClearSpeed が利用できます． [フォアグラウンド] $ n1ge -fore -g BES グループ名 -q cs2 sander.CS -i 入力ファイル -o 出力ファイル -O [バックグラウンド] 複数 CPU 利用時（1CPU 実行時も含む） $ n1ge -g BES グループ名 -q cs2 sander.CS -i 入力ファイル -o 出力ファイル -O (2) サンプルデータを用いた実行例 ① ② 作業ディレクトリを作成します． tgg075017 admin/sun> mkdir amber_test /work/samples/amber ディレクトリからサンプルデータを取得します tgg075017 admin/sun> cd amber_test/ tgg075017 sun/amber_test> cp /work/samples/amber/* . tgg075017 sun/amber_test> ls inpcrd mdin prmtop ③ 取得したデータを用いて，AMBER を実行します． tgg075017 sun/amber_test> n1ge -fore -mpi 8 sander -O -i mdin -o test *n1ge> Checking which tool have the command you specified.... *n1ge> Reading specific configuration file for each tools.... *n1ge> The version of AMBER you specified is 10. *n1ge> Creating qrsh options.... *n1ge> Warning: The runtime limit for novice queue is 1 hours. *n1ge> Submitting Job to Cluster...... [Starting Job 3560921 on tgg075037] [mpirund@tgg075037] The maximum size of Virtual Memory => 1048576 kb. Cleaning up all processes ... done. [Ending Job 3560921] Connection to tgg075037 closed. tgg075017 sun/amber_test> ls inpcrd mdin mdinfo prmtop profile_mpi restrt test tgg075017 sun/amber_test> (3) 旧環境での実行（バージョン 8） 「sles9 キュー」をご参照ください． - 66 - 5.1.5. AVS Express Developer AVS/Express Developer は GUI アプリケーションです．バージョン 7.0.1，7.1.1，7.2 が使用でき ます．デフォルトでの実行はバージョン 7.2 になります． 7.0.1 を使用する際は， 旧環境マシンに移動して実行します． (3)旧環境での実行をご確認ください． (1) 実行方法（バージョン 7.1.1，7.2） デフォルトではバージョン 7.2 となります．バージョン 7.1.1 を利用する場合は次のように環境変 数をセットします． $ export AVS_VERSION=7.1.1 または， $ setenv AVS_VERSION 7.1.1 csh/tcsh の場合 [フォアグラウンド] $ n1ge -fore run_express [バックグラウンド] GUI アプリケーションのため，バックグラウンドでは利用出来ません． (2) 起動例 次のコマンドを実行します． tgg075017 admin/sun> n1ge -fore run_express *n1ge> Checking n1ge options.... *n1ge> Checking which tool have the command you specified.... *n1ge> Reading specific configuration file for each tools.... *n1ge> The version of AVS/Express you specified is 7.2. *n1ge> Creating qrsh options.... *n1ge> WARNING: The runtime limit for novice queue is 1 hours. *n1ge> Submitting Job to Cluster...... [Starting Job 4575356 on tgg075043] bash/ksh/sh の場合 AVS/Express Developer Edition Version: 7.2 fcs linux_64 Project: /usr/apps/isv10/avs/express_7.2 (read-only) Attempting to connect to license server (172.17.75.167:33333) Received license from server Checking hostid 0 - 67 - 終了は「File ⇒ Exit」となります． (3) 旧環境での実行（バージョン 7.0.1） 「sles9 キュー」をご参照ください． 5.1.6. EnSight EnSight は GUI アプリケーションです．バージョン 8.0.7_k，8.2.6_c，9.0.3_b が使用できます． (1) 実行方法（バージョン 8.0.7_k，8.2.6_c，9.0.3_b） バージョン 8.0.7_k を利用する場合は次のように環境変数をセットします． $ export ENSIGHT_VERSION=8.0 または， $ setenv ENSIGHT_VERSION 8.0 csh/tcsh の場合 bash/ksh/sh の場合 [フォアグラウンド（バージョン 8.0.7_k，8.2.6_c）] $ n1ge -fore ensight8 -X (※) OpenGL 環境が整った端末の場合には-X オプションの指定は必要ありません． (※) EnSight 8.2.6_c の場合には，-X オプションの指定は必要ありません． [フォアグラウンド（バージョン 9.0.3_b）] $ n1ge -fore ensight90 [バックグラウンド] GUI アプリケーションのため，バックグラウンドでは利用出来ません． (2) 起動例 次のコマンドを実行します． tgg075017 admin/sun> n1ge -fore ensight8 -X *n1ge> Checking which tool have the command you specified.... *n1ge> Reading specific configuration file for each tools.... *n1ge> The version of EnSight you specified is 8.2.6_c *n1ge> Creating qrsh options.... *n1ge> Warning: The runtime limit for novice queue is 1 hours. *n1ge> Submitting Job to Cluster...... [Starting Job 3065698 on tgg075033] Using CEI_HOME = /usr/apps/isv/ensight/ensight_8.2.6_c/CEI Using CEI_ARCH = linux_2.6_64 DISPLAY = localhost:11.0 hostname = tgg075033