--- tags: tutorial, 生醫, S3, 巨量資料儲存 --- # 生醫專用巨量資料儲存服務使用說明 ## 巨量資料儲存服務簡介 生醫專用巨量資料儲存服務即Ceph S3儲存與Aspera高速傳輸服務，透過Aspera軟體加速客戶端傳輸檔案的速度，加速客戶端到S3儲存與計算主機間的傳輸速度。服務模式如下圖所示：  ## 服務帳號開通通知信 * 當您申請生醫巨量資料儲存服務後，您會收到巨量資料儲存帳號開通通知信。 * 通知信會包含兩部分帳號，一為S3物件儲存存取金鑰，一為Aspera連線帳密。 * 提供之Aspera帳密，請先透過ssh連線至`ascp.nchc.org.tw`，使用信件內密碼登入修改密碼才能正常使用。 * S3物件儲存金鑰組長度組成複雜不易被破解，但仍建議六個月更新一次，使用者可依需求向國網中心生醫核心設施要求變更，變更後原金鑰組即失效，請使用新配發之金鑰組進行檔案存取。 ## 巨量資料儲存服務管理政策與使用須知 1. 巨量資料儲存服務提供您實驗室產出資料的備份，採用Erasure Code(4+2)保護機制來保護您的資料，可用性及完整性高，不另外進行資料備份，若您仍有疑慮，請另向國網中心申請磁帶備份服務。 2. 磁碟空間上的檔案用戶需自行備份保留，若發生檔案毀損、遺失或刪除，本核心設施不負任何還原或賠償責任。 4. 申請巨量資料儲存服務後，將提供給使用者S3物件儲存金鑰組，此金鑰組長度組成複雜不易被破解，但仍建議六個月更新一次，使用者可依需求向國網中心生醫核心設施要求變更，變更後原金鑰組即失效，請使用新配發之金鑰組進行檔案存取。 5. Aspera密碼有效期間為180天，若您發現密碼到期且無法使用原密碼進行檔案傳輸，請透過ssh連線軟體連線至ascp.nchc.org.tw進行密碼變更，或是隨時要求我們協助變更密碼。 6. 本儲存空間可讓您上傳、儲存、下載內容，您的資料仍屬於您所有。對於您的任何內容 (包括您在儲存空間中上傳、共用或儲存的所有資訊和檔案)，我們都不會聲明擁有權。因此，如果您決定與他人共用文件，我們可以提供這項功能。您可以跟他人共同編輯檔案，但內容的「擁有者」為控制內容和其用途的使用者。 7. 儲存服務裡的共用設定可讓您控管其他人如何使用您儲存空間中的檔案。檔案的隱私權設定則是取決於檔案所在的資料夾或儲存空間。只要您還沒指定共用對象，您儲存空間中的檔案就只有您本人能夠存取。您可以與他人共用自己的檔案，也可以將內容的管理權轉移給其他使用者。如果您在他人與您共用的資料夾或儲存空間中建立或放置檔案，這些檔案將可能會沿用所在資料夾或儲存空間的共用設定，也可能會沿用擁有權設定，我們不會與他人共用您的檔案和資料。 8. 巨量資料儲存服務可使用S3通訊協定的ssl加密連線或是IBM Aspera(Aspera CLI指令ascp或是Aspera Desktop Client)進行加密傳輸，來確保您資料傳輸時是受到保護的。 ## 使用第三方軟體管理檔案 建議使用者可使用S3 Browser來進行巨量資料儲存上的檔案內容管理。 ### S3 Browser * S3 Browser 是一款簡單好用的 Amazon S3 Windows 客戶端程式，它提供了一個簡單的 Web 服務接口，可隨時從 Web 上的任何位置儲存和檢索資料。 * S3 Browser 免費版僅供非商業用途使用，詳情請參見 [S3 Browser](https://s3browser.com/) 官網。 * 下載安裝檔請連線至[S3 Browser官網下載](https://s3browser.com/download.aspx)。 * 安裝說明亦請參考[S3 Browser官網安裝說明](https://s3browser.com/how_to_install.aspx)。 ### 連線儲存空間 * 當您申請生醫巨量資料儲存服務後，您會收到巨量資料儲存帳號開通通知信。 * 通知信會包含兩部分帳號，一為S3物件儲存存取金鑰，一為Aspera連線帳密。 * 安裝好軟體，打開S3 Browser，需先新增S3物件儲存帳號資訊，Account Type 必須選擇「S3 Compatible Storage」，再依照帳號通知信提供之S3物件儲存存取金鑰，設定 REST Endpoint（`s3-cloud.nchc.org.tw`）、Access Key 及 Secret Key，以上輸入完後按下Add New Account即可。  ## 使用Aspera軟體傳輸檔案 ### Aspera * Aspera是一款由IBM推出的高速檔案傳輸軟體，透過獲得專利的 FASP® 傳輸軟體技術，突破性的通訊協定克服了網際網路連線和硬體的限制，將可用頻寬最大化，提供高速的傳送速度、點對點安全性、可靠性及卓越的頻寬控制。 * 客戶端軟體可於[IBM網站免費下載](https://www.ibm.com/products/aspera/downloads)，包含IBM Aspera CLI與IBM Aspera Desktop Client，下載前需申請IBMid，登入後即可進行下載，安裝方式請參考原下載網頁說明。 * 安裝Desktop軟體時，於IBM Aspera服務帳戶頁面，需給予svcAspera帳戶一組密碼，並點選下一步，提示出現使用者不存在，請確認新增使用者，如果無法創建帳號，還請貴單位IT系統人員協助，並繼續安裝以完成安裝程序。 ### 使用Aspera Desktop Client進行檔案傳輸 * 安裝好軟體後打開Desktop Client，點選右上角連線，進行連線設定管理。   * 按下左上角+號，新增連線，主機請輸入`ascp.nchc.org.tw`，用戶密碼請輸入國網提供的帳號與您自行修改的密碼，填寫完後可按下右下角測試連接進行測試，若連線成功會出現已成功訪問對話框。  * 若無法連線，請要求貴單位IT人員協助，開啟對IP:140.110.141.75/ TCP:22 port/ UDP:33001~ 33010 port的雙向連線。詳細說明可參考[Aspera防火牆設定說明網頁](https://www.ibm.com/support/pages/configuring-windows-firewall-enable-aspera-fasp-transfers)。 * 點選安全性頁面，將加密選項改為AES-256，按下好，即可儲存設定。  * 點選偏好設定，將傳輸頁面的上下載默認速度皆更改為1Gbps。  * 點選剛才新增的連線設定，按下右上角連線，即可連線至遠端主機。   * 選擇本地端檔案，按下中間的向右箭頭，即可以AES256加密上傳文件。   ### 使用Aspera CLI進行檔案傳輸 * 傳輸指令 ``` $ ascp [OPTION] SRC... DEST ``` * 上傳範例 ``` $ ascp –k1 filename userid@ascp.nchc.org.tw:/bucketname/ $ ascp –k1 folder userid@ascp.nchc.org.tw:/bucketname/ ``` * 下載範例 ``` $ ascp –k1 userid@ascp.nchc.org.tw:/bucketname/filename ./ $ ascp –k1 userid@ascp.nchc.org.tw:/bucketname/folder ./ ``` * 帳號密碼請輸入您[變更過後](https://man.twcc.ai/@nchcbio/Hki4S0eMh#%E6%9C%8D%E5%8B%99%E5%B8%B3%E8%99%9F%E9%96%8B%E9%80%9A%E9%80%9A%E7%9F%A5)的帳密。 ## ## Last updated: 2024/06/11 13:45