數據管道是由一連串可重複步驟組成，用來收集或搬運數據、處理數據，並傳送到指定位置。步驟可以包括驗證、篩選、合併、轉換格式或彙總。目的地可以是報表資料庫、分析工具或另一個應用程式。AWS 把數據管道描述為整理企業數據以供分析的一系列處理步驟；管道亦可用於營運流程。
數據管道如何運作
管道從一個或多個來源讀取資料，按已定義的規則轉換，再寫入目的地。它可以按時間表批次執行，也可以持續處理新事件。團隊要訂明來源延遲、資料未能通過驗證，或流程中途停止時應如何處理。AWS 數據管道概覽介紹常見組件、批次和串流方式，以及數據管道與 ETL 的關係。
企業應用示例
以下示例僅供說明：營運報表可以整合排程系統的服務紀錄和庫存系統的零件用量。管道把日期和識別碼轉成一致格式，標示無法配對的紀錄，再把整理後的數據載入報表。若不同來源的數值互相矛盾，仍要由員工判斷以哪個來源為準。
數據管道、ETL 和系統整合
ETL 指擷取、轉換和載入，是搬運及整理數據的一種常見方法。其他管道可以先載入原始資料再轉換，或持續傳送資料變更。系統整合常用於應用程式之間的營運資料交換；分析管道則常把資料整理好供分析使用，兩者也可能重疊。可參閱系統整合解說和RAG 的資料來源。
限制和營運需要
如果沒有清晰規則，管道無法自行判斷來源數據的矛盾代表甚麼。即使流程順利完成，欄位對應錯誤、數據定義不一致或紀錄遺漏，也會令結果失真。應保護敏感資料、驗證重要欄位、監察資料更新時間和失敗執行，並安排人員調查問題。批次和串流的選擇會影響資料到達速度及操作方式。
如需了解服務範圍，可參閱 technine.io 的數據分析及 AI 可用數據服務。
常見問題
所有數據管道都是 ETL 嗎？
不是。ETL 是其中一種處理方法；部分管道會先載入數據再轉換，也可以持續處理事件或加入其他步驟。
批次和串流有甚麼分別？
批次會按間隔處理一組數據；串流則持續或分小批處理新事件。選擇要視乎數據需要有多即時，以及實際營運要求。
使用管道可以保證數據乾淨嗎？
不能。管道可以按照規則驗證和轉換數據，但規則必須配合已確認的定義。亦要監察例外，並檢查來源資料是否完整和可信。
主要資料來源：AWS：What is a data pipeline?