###### tags: `Taiwania 3` `test` `twnia3` `HPC`
<!--
# 台灣杉三號(Taiwania 3) 測試期說明
-->
# 台灣杉三號(Taiwania 3) 使用說明
## 零、公告
<font size=3 color="#f00">
## 110/06/18 台灣杉三號（Taiwania III）計算主機開放上線服務通知
</font>
台灣杉三號將於110年6月21日起正式開放上線服務，不限產官學研，各行各業工作者對電腦運算資源有需求者，均可提出申請使用。
<font size=3 color="#f00">
<!--
**Beta 測試將於 6/19 08:00 AM 結束，同時將停止現有服務，中止所有工作，並禁止登入，直至06/21 08:00 AM。後續若要繼續使用，請您與在本中心的窗口聯繫申請計畫啟用Taiwania 3，我們會協助您在 iService 計畫中設定台灣杉三號。6/19後將會清空用戶在GOV109199的錢包，請用戶以您自己的計畫Submit Job。**
-->
**請注意!!!
若您在測試期間有申請擴充磁碟Quota，請於8/31前將檔案搬回，我們會於 9/1 開始清理檔案，並將您的Quota還原為100GB。但若您有繼續使用檔案的需求，請參閱 [磁碟配額設定方式](https://man.twcc.ai/q7ulSyVnTc2tjlswlLm2Gg)，將HFS使用的計畫，改為您自己的計畫（計費方式請參閱[iService 計價說明](https://man.twcc.ai/@twccdocs/SJWlN3YDr?type=view#%E9%AB%98%E9%80%9F%E6%AA%94%E6%A1%88%E7%B3%BB%E7%B5%B1-Hyper-File-System-HFS)）。**
</font>
申請主機使用方法
1. 目前已有iService計畫且該計畫在有效期限者，請聯繫iService帳號申請服務信箱（iservice@narlabs.org.tw），告知您的計畫名稱以及代號，由我們代為啟用。
2. 已有iService帳號但還未擁有iService計畫者或是計畫過期者，請至iService（ https://iservice.nchc.org.tw/nchc_service/index.php ）申請計畫，並於申請服務時勾選台灣杉三號，待計畫審核完成後，會立即通知您。
3. 尚未申請iService 帳號者請先申請帳號後，再申請計畫。
收費標準
110年6月21日起迄110年8月31日止，於此期間，僅記錄用戶在台灣杉三號的資源用量，暫不收費。自110年9月1日起，將依科技部核定之費率收費。
台灣杉三號初期（110年6月21日至110年8月31日）使用注意事項
* 用戶雖無額度使用上限，但用戶工作（Job）仍須依照系統排程規則排隊。
* 不適用服務層級協議（SLA）當中之抵免額相關條款。
* 用戶不得於本中心提供之服務中涉及比特幣等虛擬貨幣、武器研發、網路攻擊或其他非法行為等與科研計算無關之運用，若是違反此項，本中心將依狀況中止或取消您的使用權。
* 計畫核可後須遵守NCHC iService相關使用規定，依標準程序操作，必要時須配合簽署相關書面聲明。
聯絡方式：
歡迎各界申請使用，使用上若有任何問題或有其他特殊申請需求與合作
iService帳號申請服務
Email：iservice@narlabs.org.tw
技術支援服務
Email：isupport@narlabs.org.tw
免付費客服專線
0809-091-365
服務期間：因應防疫分流上班措施，若因人員忙碌未能接聽您的來電，請來信至 isupport@narlabs.org.tw，留下您的姓名、電話並敘述您的問題，我們會在24小時內回覆您。
<!--
2. HFS額度，由於目前用戶如果有HFS空間的需求，都是使用GOV109199為計畫來申請，如果已經停止使用，需請用戶自行搬移所需的檔案回去，我們將於8/31後將Quoda還原。如果用戶會繼續使用，須至iService 中，將使用HFS的計畫，改為用戶自己的計畫，並開始計算費用。
-->
</font>
<!--
---
06/04
本系統預計於6/7(一) 14:00 ~ 15:00 進行 ldap 改接(第二次)，預估時間 1 HR，請各位用戶，改接期間勿嘗試登入，本作業完成後，系統將直接開放。
造成您的不便，還請見諒
---
05/26
台灣杉三號的使用環境設定，採用 Lmod 管理，目前登入後的 MODULEPATH 預設為
**<code>/opt/ohpc/Taiwania3/modulefiles</code>** 與 **<code>/opt/qct/ohpc/pub/modulefiles</code>**
**<code>/opt/qct/ohpc/pub/modulefiles</code>** 為系統建置廠商測試時所設立，其 modulefile 設定與目前的檔案系統架構有些許差異，且因其 module 命名方式不易顯示相依性關係、架構扁平單一， Lmod 無法做相依性管理，在少數情況下可能會造成環境設定錯誤。
因此我們將於 **6/1** 把 MODULEPATH 的預設變數中移除 **<code>/opt/qct/ohpc/pub/modulefiles</code>** ，若您有使用 **<code>/opt/qct/ohpc/pub/modulefiles</code>** 中的 module file ，請告知我們您使用的 module 名稱，我們將視實際需求作適當的改寫並納入 **<code>/opt/ohpc/Taiwania3/modulefiles</code>** 中。
-->
<!--
---
05/21
親愛的用戶您好，若您目前無法使用密碼登入 T3，請至iService 變更主機帳號密碼，變更密碼後1~2min，使用新密碼登入。如果還是有登入失敗的問題，請通知我們。造成您的不便還請見諒。
---
-->
## 03/23 10:00 系統已開放使用
<font size=3 color="#f00"> 03/23 10:00 系統已修復並開放使用，造成不便，還請見諒</font>
## 03/22 緊急停機
03/22 11:00 系統發生 GPFS 檔案系統障礙，用戶無法執行任何程式，系統需要緊急修復，因此將停止服務。預估修復時間未定，待修復完成後立即開放，造成您的不便請見諒。
謝謝
### Beta Test 進程
04/01 09:00 開放全系統全測試用戶使用
### 台灣杉三號驗證測試報告同意書
[下載同意書](https://drive.narlabs.org.tw/navigate/s/EC6F5F68291F442AA9F30ED618CAD625GUY) [空白驗證測試報告](https://drive.narlabs.org.tw/navigate/s/6E330517B72F4BD7B4EB248EB6892B5DGUY) [驗證測試報告範本](https://drive.narlabs.org.tw/navigate/s/AA3FA45CE6454183ADC1C9A45ABFC43DGUY)
### 注意事項
<font size=3 color="#f00">請注意，
1.各 Test 階段不保證資料能留至下一階段以及正式運轉階段，請用戶自行備份重要資料。
2.所有用戶都需要有iService帳號，才能登入使用，若是您之前並未申請iService機帳號，請至[iService網站](https://iservice.nchc.org.tw/nchc_service/index.php?lang_type=)申請。
3.檔案空間配額(Qouta)修改，請參閱 [台灣杉三號測試期間，磁碟配額設定方式](https://man.twcc.ai/q7ulSyVnTc2tjlswlLm2Gg)，
4.請優先使用位於
*/opt/ohpc/Taiwania3/modulefiles*
~~以及
*/opt/qct/ohpc/pub/modulefiles*~~
下的module。
5.Submit Job 時，Job Script 中的 acconnt 請使用GOV109199，若Submit Job有問題，請聯繫[我們](mailto:gavin@narlabs.org.tw)。
例如
`#SBATCH --account=GOV109199`
</font>
<!--
### Alpha Test 進程
<font color="#f00">03/17更新 </font>==========================================
更新各期間資源及queuing policy
<font color="#f00">03/16更新 </font>==========================================
Phase 5：<font color="#f00">2021-03-21</font>至 2021-03-31
開放所有測試用戶，開放所有核心
02/15 =========================================
Phase 4：2021-02-15 至 2021-03-15
用戶分組進行全系統執行單一(大型)計算工作測試，限制可以用全機求解單一job的七位用戶試 Run，開放所有核心(獨占試跑)
|測試團隊| 開始時間 | 結束時間 |
|------|------|------|
|許晃雄老師團隊 | 02/15 AM 01:00 | 02/17 PM 11:59 |
|尤禎祥老師團隊 | 02/18 AM 01:00 | 02/20 PM 11:59 |
|林明楷老師團隊 | 02/21 AM 01:00 | 02/23 PM 11:59 |
|羅敏輝老師團隊 | 02/24 AM 01:00 | 02/28 PM 11:59 |
|陳仕宏老師團隊 | 03/01 AM 01:00 | 03/06 PM 11:59 |
|羅友杰老師團隊 | 03/07 AM 01:00 | 03/09 PM 11:59 |
|曾于恒老師團隊 | 03/10 AM 01:00 | 03/15 PM 11:59 |
02/04==========================================
台灣杉三號測試期間，磁碟配額設定方式，請參閱[這邊](https://man.twcc.ai/@twnia3/S1OitBIgO)
01/29==========================================
Alpha Test Phase 2 時段安排如下，時間有限，請各團隊把握時間
|測試團隊| 開始時間 | 結束時間 |
|------|------|------|
|清大 江老師團隊| 02/01 AM 10:00 | 02/02 PM 11:59 |
|交大 陳老師團隊| 02/03 AM 01:00 | 02/04 PM 11:59 |
|交大 朱老師團隊| 02/05 AM 01:00 | 02/06 PM 11:59 |
|彰師大 周老師團隊| 02/07 AM 01:00| 02/08 PM 11:59|
|交大 周老師團隊| 02/09 AM 01:00 | 02/10 PM 11:59|
因GPFS還有問題待處理，於 Phase 2時先開放 720 計算節點 (40,320 Cores)，其餘節點待問題解決後，再行開放(暫定於 phase 3時開放)。
=============================================
-->
## 一、[簡介]
<!--
<font color="salmon">(Done)</font>==(https://man.twcc.ai/lRoe8PboTUGL0U79VxPAHg/)
-->
<!--
### 台灣杉系統示意圖
台灣杉三號全系統共計 50,848 個計算核心(Cores)、與台灣杉二號共用平行檔案系統總容量約為 9.4PB，搭配InfiniBand HDR100 100Gbps高速網路，整體效能可達2.7千兆次浮點運算(PFLOPS)。
=========================== ==嵌入[可用計算資源](https://man.twcc.ai/g6EAXhVjSNGLpHLcxbQweA)== ===========================
-->
### 硬體架構
台灣杉三號共有900部CPU計算節點、12部GPU計算節點以及4部第大記憶體節點，硬體規格如下
#### CPU計算節點
* 2顆 Intel® Xeon® Platinum 8280 2.7GHz CPU (28 Cores/CPU)
* 192GB 主記憶體
<!--
#### ==GPU計算節點 <font color="salmon">(Done)</font>==
* 2顆 Intel® Xeon® Platinum 8280 2.7GHz CPU (28 Cores/CPU)
* 192GB 主記憶體
* 8張 Nvidia V100 SXM2 32GB GPU 卡
-->
#### 大記憶體計算節點
* 4顆 Intel® Xeon® Platinum 8280L 2.7GHz CPU (28 Cores/CPU)
* 6TB 主記憶體
#### 網路系統
* 每個計算節點具1張 ConnectX-6 VPI adapter card, 100Gb/s(HDR100) 網路卡，同時提供MPI平行計算與平行檔案存取使用
* Leaf Layer 交換器（Mellanox QM8790，40個 HDR埠，每個埠提供 200Gb/s的全雙向頻寬）。每部 Leaf 交換器透過 IB HDR 200Gb/s to 2x100Gb/s 纜線，串接至所有計算節點
* Spine 交換器（Mellanox QM8790，40個 HDR埠，每個埠提供 200Gb/s的全雙向頻寬）間採Fat -Tree 架構，提供更通暢的網路環境
<!--
========================== ==嵌入[可用計算資源]== ============================
-->
### 現有軟體列表
<!--
| 類別 | 軟體 | Module|
| -------- | ------------------------------------- |----- |
| 作業系統 | Centos Linux 7.8 x86_64 | 無 |
| 編譯器 | Intel Parallel Studio XE 2020 <br> Nvidia HPC SDK v20.11 (PGI Compilers)| intel/19.1.3.304 <br> nvidia/nvhpc/20.7 |
| 排程系統 | Slurm | 無 |
-->
<table>
<tr>
<td>類別</td><td>軟體</td><td>Module</td>
</tr>
<tr>
<td>作業系統</td><td>Centos Linux 7.8 x86_64</td><td>None</td>
</tr>
<tr>
<td rowspan=11>編譯器</td><td>AMD Compiler</td> <td>compiler/aocc/2.3.0</td>
</tr>
<tr>
<td rowspan=4>GNU Compiler</td><td>compiler/gcc/4.8.5</td>
</tr>
<tr>
<td>compiler/gcc/7.5.0</td>
</tr>
<tr>
<td>compiler/gcc/8.3.0</td>
</tr>
<tr>
<td>compiler/gcc/10.2.0</td>
</tr>
<tr>
<td rowspan=3>Intel Compiler</td><td>compiler/intel/2020u2</td>
</tr>
<tr>
<td>compiler/intel/2020u4</td>
</tr>
<tr>
<td>compiler/intel/2021</td>
</tr>
<tr>
<td rowspan=2>Nvidia HPC SDK</td><td>compiler/nvhpc/20.11</td>
</tr>
<tr>
<td>compiler/nvhpc/21.5</td>
</tr>
<tr>
<td>PGI Compiler</td><td>compiler/pgi/2018</td>
</tr>
<tr>
<td>排程系統</td><td>Slurm</td><td>None</td>
</tr>
</table>
### 檔案系統
共用台灣杉二號 GPFS 平行檔案系統
| 目錄 | 容量 |Quota|
| ----- | ----- |-----|
| /home | 1.8PB |100GB|
| /work | 7.6PB |100GB|
### 連線資訊
SSH 登入節點：twnia3.nchc.org.tw port 22
Thinlinc 登入節點：t3-c3.nchc.org.tw port 22
使用者須先至 [NCHC iService](https://iservice.nchc.org.tw/nchc_service/index.php?lang_type=) 取得主機帳號
## 二、登入方式
[註冊 iService 帳號](https://man.twcc.ai/@TWCC-III-manual/SypVJCWcO)
[查詢主機帳號與使用 OTP 載具取得認證碼](https://man.twcc.ai/@TWCC-III-manual/SJwbCxzqO)
[登入/登出主機](https://man.twcc.ai/@TWCC-III-manual/Hy4lIKidu)
[ThinLinc Login](https://man.twcc.ai/@TWCC-III-manual/rJ2RH77cO)
[檔案資料傳輸](https://man.twcc.ai/@TWCC-III-manual/Bk-pE62jd)
## 三、Ｍodule使用
[環境操作(Lmod)說明](https://man.twcc.ai/@twnia3/BJxhYk2CD)
## 四、排程系統
[Job Script 建立](https://man.twcc.ai/@TWCC-III-manual/Sy9-QqHiO)
[排程系統基本操作 ](https://man.twcc.ai/@twnia3/SJDW5J3Rv)
## 五、常用 MPI 範例
[各Compiler差異對照表](https://man.twcc.ai/@TWCC-III-manual/SkgZUHhi_)
[IntelMPI 使用範例](https://man.twcc.ai/@TWCC-III-manual/H1Vyiuos_)
[OpenMPI 使用範例](https://man.twcc.ai/@TWCC-III-manual/BJJYo_joO)
[Hybrid MPI / OpenMP 使用範例](https://man.twcc.ai/@TWCC-III-manual/BJcHhOjs_)
## 六、系統政策
<!--
1. Beta Test期間：
2021-4-01 09:00 ~
2. Beta Test 期間開放範圍如下：
* 開放計算節點數：CPU 900節點。
* 開放的partition(Queue)以及政策如下表
-->
| Queue 名稱 | 可用 CPU 核心數 | 最長執行時間 (Hours) | 每位用戶最多可 同時執行工作數 | 系統最多可 執行工作數 |
|:----------:|:---------------:|:--------------------:|:-----------------------------:|:---------------------:|
| serial | 1 | 96 | 10 | 224 |
| ctest | 1 ~ 1120 | 0.5 | 2 | 80 |
| ct560 | 2~560 | 168 | 4 | 100 |
| ct2k | 561~2240 | 72 | 4 | 22 |
| ct8k | 2241~8960 | 48 | 1 | 4 |
| large | 8961~ | | | |
<!-- | ct224 | 2~224 | 168 | 5 | 200 | -->
<!-- | ct1k | 561~1120 | 96 | 4 | 20 | -->
<!-- | ct4k | 2241~4480 | 48 | 2 | 8 | -->
<!--
<font color="#f00">***Beta Test 階段不保證資料能留至正式運轉階段，請用戶自行備份重要資料***</font>
-->
<!--
1. Alpha測試期間：
Phase 1：2021-01-14 至 2021-01-31
Phase 2：2021-02-01 至 2021-02-10
Phase 3：2021-02-11 至 2021-02-14
Phase 4：2021-02-15 至 2021-03-15
<font color="#f00">系統調整：2021-03-16 至 2021-03-20 </font>
Phase 5：<font color="#f00">~~2021-03-16~~ 2021-03-21 </font>至 2021-03-31
2. Phase 1期間系統開放範圍如下：
* 開放計算節點數：CPU 64節點、GPU 12節點。
* 開放的partition(Queue)為test。
* 排程系統政策
* 每個用戶每個job的核心數上限是840個(15 nodes)
* 每個job最長時間是4小時。
* 每個用戶執行中job數上限3個。
* 每個用戶等待job數限制是3個。
3. Phase 2 全系統小型分散式平行計算工作測試
* 開放計算節點數：CPU 900節點、GPU 12節點。
* 開放的partition(Queue)為Phase_2, gpu。
* 排程系統政策
* 特定用戶專屬時段
5. Phsae 3 開放所有測試用戶使用
* 開放計算節點數：CPU 900節點、GPU 12節點。
* 開放的partition(Queue)為Phase_3, gpu。
* 排程系統政策
* 每人最多可用核心數為10000
* 每個job最長時間是4小時。
* 每個用戶執行中job數上限3個。
* 每個用戶等待job數限制是3個。
6. Phase 4 全系統執行單一(大型)計算工作測試
* 開放計算節點數：CPU 900節點、GPU 12節點。
* 開放的partition(Queue)為Phase_4, gpu。
* 排程系統政策
* 特定用戶專屬時段
8. Phase 5 開放所有測試用戶使用
* 開放計算節點數：CPU 900節點。
* 開放的partition(Queue)為Phase_5。
* 排程系統政策
* 每人最多可用核心數為10000
* 每個job最長時間是12小時。
* 每個用戶執行中job數上限3個。
* 每個用戶等待job數限制是3個。
9. <font color="#f00">***各 Alpha Test 階段不保證資料能留至下一階段以及正式運轉階段，請用戶自行備份重要資料***</font>
10. 各階段實施細節將另行訂定。
-->
## 七、問題與建議
若使用本系統遇到問題或有其他相關的建議，歡迎您隨時與敝中心的客服團隊聯繫，我們今盡快為您處理與回應。
帳號申請服務
Email : iservice@narlabs.org.tw
電話 : 03-5776085 #442
技術支援服務
Email : isupport@narlabs.org.tw
電話 : 03-5776085 #214
免付費客服專線
0809-091-365
服務時間 : 週一至週日 09:00~17:00
### 附錄、[NCHC HPC系統硬體架構](https://man.twcc.ai/5guhSlpgRBallhC3lZI-kg)
## FAQ