電池材料の材料計算科学

第一原理計算と分子動力学による材料設計

←
教材を選ぶ(TSUBAME4.0の使い方)
このページの目次
HPC

TSUBAME4.0の使い方

TSUBAME計算メモ

VASP5.4.4がTSUBAME4でコンパイルできない

最新のIntel oneAPIにはiccが含まれていないため、VASP 5.4.4用のmake.includeファイルが使えません。20年ほど使われてきたiccが、icxに置き換わったようです。公式ドキュメントも確認しましたが、icx用のmake.includeは見当たりませんでした。そこで、VASP6へ移行することにしました。

VASP6のコンパイル

VASP関連ファイル(擬ポテンシャル)は /gs/bs/tga-kanno-lab002/vasp6/POT_PAW_PBE_64 に置いてあります。コンパイラとしては、aocc(AMD CPU向け)、nvhpc(GPU向け)、intel(デフォルト?ただしHPC Toolkitは利用不可)を検討しました。そのほかの選択肢として、aocc_ompi_aocl、aocc_ompi_aocl_omp、nvhpc、nvhpc_acc、nvhpc_omp、nvhpc_omp_accがあります。

TSUBAMEへのアクセス手順

TSUBAMEアカウントの作成とログイン

  1. TSUBAME 4.0のアカウントを作成し、ユーザーIDをMatsuiに送ってください。Matsuiがkanno-groupに招待しますので、招待を承認してください。
  2. ssh-keygenで鍵ペア(秘密鍵と公開鍵)を作成し、catコマンドで表示した公開鍵をコピーして、TSUBAME4ポータルに登録します。
bash
cd # move to home dir
ssh-keygen # make secret key
cat .ssh/id_rsa.pub # print the public key
  1. TSUBAME4にログインします。
bash
ssh <yourID>@login.t4.gsic.titech.ac.jp -o ServerAliveInterval=180

よく使うコマンド

ポイントの確認は、次のコマンドで行えます。

bash
t4-user-info group point -g tga-xxxxxx

ジョブの投入は、次のように行います。バッチジョブはqsubで、インタラクティブジョブはqrshで投入します。

bash
# submit job file
qsub -g tga-kxxxxxx job.sh
# interactive job
qrsh -g tga-xxxxxx -l cpu_16=1 -l h_rt=01:00:00
qrsh -g tga-xxxxxx -l node_o=1 -l h_rt=01:00:00 -p -3
qrsh -V -g xxxxxx -l node_f=1 -l h_rt=01:00:00 -ar 425
qrsh -g tga-xxxxxx -l node_f=1 -l h_rt=02:00:00 -ar 585
qrsh -g tga-xxxxxx -l node_h=1 -l h_rt=01:00:00 -p -3

ノード予約では、CPUやGPUの数を個別に指定することはできず、192 CPUコア + 4 GPUを含む1ノード単位で予約する必要があります。ノード予約の上限については https://www.t4.cii.isct.ac.jp/resource-limit を参照してください。予約開始時刻の24時間前までであれば、低コストで予約できます。逆に、24時間を切ってからの予約は非常に高額になるため避けてください。現在の予約状況は、ログインノードで次のコマンドを実行すると確認できます。

bash
t4-user-info compute ars

Jupyterを使用する場合の手順は次の通りです。

  1. ターミナル1で、TSUBAME上にJupyterサーバーを起動します
bash
eval "$(/apps/t4/rhel9/free/miniconda/24.1.2/bin/conda shell.bash hook)"
conda activate mace #any enviroment is accetable if jupyter is installed
module load jupyterrun
jupyterrun -V -g tga-xxx-xxxx -l cpu_40=1 -l h_rt=04:00:00
jupyterrun -V -g tga-xxx-xxx -l node_f=1 -l h_rt=04:00:00 -ar 585 # for researved node
  1. 別のターミナル(ターミナル2)を開き、ターミナル1に出力されたsshコマンドを入力します
bash
#for example
ssh -l your-id -L 8888:r23n7:12591 login.t4.gsic.titech.ac.jp
  1. ブラウザで http://localhost:8888/ を開きます
  2. ターミナル1の出力の下の方にある「Or copy and paste ...」に続くURLから、token=以降の文字列をコピーし、ブラウザのtoken欄に入力します

TSUBAME4の資源タイプ

TSUBAME4で利用できる資源タイプ(ノードの割り当て単位)は次の通りです。

資源タイプ使用物理CPUコア数メモリ (GB)GPU 数ローカルスクラッチ領域 (GB)
node_f19276841920
node_h963842960
node_q481921480
node_o24961/2240
gpu_18961240
gpu_h4481/2120
cpu_1601603680960
cpu_80801840480
cpu_4040920240
cpu_161636.8096
cpu_8818.4048
cpu_449.2024