--- title: refinery-README tags: DAS GA: UA-155999456-1 --- {%hackmd @docsharedstyle/default %} # 3. 專案資源-Data Refinery 章節最後更新時間: 2020-08-27 ## 章節目錄 本章節參考 IBM 官方手冊的 Refining data 章節。 以其中的 [Tutorial: Shape raw data](https://dataplatform.cloud.ibm.com/docs/content/wsj/refinery/dr_tutorial.html) 文檔為基礎，使用資料 [airline-data.csv file (1.5 MB)](https://cos.twcc.ai/cp4d/das4_0/refinery/data/airline-data.csv) 演示下列功能： - [3.1 資料導入](https://man.twcc.ai/@dasdocs/Ch3-section1) - [3.2 畫面簡介](https://man.twcc.ai/@dasdocs/Ch3-section2) - [3.3 資料驗證與觀察](https://man.twcc.ai/@dasdocs/Ch3-section3) - [3.4 資料操作](https://man.twcc.ai/@dasdocs/Ch3-section4) - [3.5 儲存與排程](https://man.twcc.ai/@dasdocs/Ch3-section5) > 在官方手冊上，Data Refinery 被翻譯為精簡資料，而其餘的專有名詞也有相應的翻譯，但考量到文件使用場域、對象及溝通上的便利性，本文的教學內容會盡量以翻譯的名詞為主，但在括弧內會加註英文名詞。 --- ## 關於 Data Refinery 的其他參考連結 以下皆來自 IBM 官方手冊的 Refining data 章節，為上述各步驟的細節與補充說明。 - [introduction - refining data](https://dataplatform.cloud.ibm.com/docs/content/wsj/refinery/refining_data.html) 簡介 Data Refinery 的功能，包括使用環境的必要條件、資料導入、預覽、驗證、視覺化，以及數據處理。 - [Adding data to Data Refinery](https://dataplatform.cloud.ibm.com/docs/content/wsj/refinery/asset_browser.html) 資料導入 Data Refinery 的方法。 - [Specifying the format of your data in Data Refinery](https://dataplatform.cloud.ibm.com/docs/content/wsj/refinery/data_format.html) 指定導入的數據格式。 - [Validating your data in Data Refinery](https://dataplatform.cloud.ibm.com/docs/content/wsj/refinery/metrics.html) 透過資料驗證(Profile)，觀察部分資料分布與摘要。 - [Visualizing your data in Data Refinery](https://dataplatform.cloud.ibm.com/docs/content/wsj/refinery/visualizations.html) 資料視覺化。 - [Managing Data Refinery flows](https://dataplatform.cloud.ibm.com/docs/content/wsj/refinery/data_flows.html) 管理 data refinery flow，包括儲存、設定排程、複製、移除等功能說明。 - [Copying data from source to target](https://dataplatform.cloud.ibm.com/docs/content/wsj/refinery/moving.html) 利用 data refinery flow 寫入、更新資料庫。 - [GUI operations in Data Refinery](https://dataplatform.cloud.ibm.com/docs/content/wsj/refinery/gui_operations.html) 簡介 data refinery flow 數據處理的 GUI 功能。 - [dplyr R library support in Data Refinery](https://dataplatform.cloud.ibm.com/docs/content/wsj/refinery/code_operations.html) 介紹 data refinery flow 的互動式程式碼範本。 - [Supported data sources for Data Refinery](https://dataplatform.cloud.ibm.com/docs/content/wsj/refinery/refinery-datasources.html?audience=wdp) 介紹 data refinery 在連結下所支持的所有數據源。 - [Data Refinery 指導教學：整理原始資料 - IBM Cloud Pak for Data](https://dataplatform.cloud.ibm.com/docs/content/wsj/refinery/dr_tutorial.html) 利用 data refinery flow 對實際案例進行操作。 --- ## 數據來源與欄位說明 - [Airlines Delay | Kaggle](https://www.kaggle.com/giovamata/airlinedelaycauses) - [The data. Data expo 09. ASA Statistics Computing and Graphics](http://stat-computing.org/dataexpo/2009/the-data.html) --- ## END