【雲端遷移專欄 II】想要雲端遷移？資深雲端架構師親自傳授遷移心法

• 何謂數據遷移
  所謂的遷移 (Migration)，即是包括將任何工作負載從來源端，常見是內部本地端的部署流程、環境、基礎設施或從其他公有雲端中，轉移到另一個目地端的過程。數據遷移是最常見的遷移需求之一，則是將數據從一個地方移動到另一個地方的過程，通常是指儲存資料或資料庫之間轉移。
   
  眾多企業都會有將部分或全部的資料進行遷移，包括使用混合雲或是完全透過公有雲來管理數據。數據遷移的需求包括企業本身的服務升級，業務流程更改，數據量劇增和性能要求等，以求更高的可靠性、可用性與減少管理成本。
   
  當數據從來源地遷移到目的地，通常也需要數據驗證，以求其在新的系統轉換數據格式或儲存更大量的資料等。此外，透過雲端相關工具進行資料搬遷，也必須要同時能兼顧高可用性、擴展性、安全性，以防在資料轉換與傳輸過程中有所遺失。 許多企業選擇將工作負載轉移到雲中，希望將其應用程序託管在可用的最具成本效益和最佳性能的雲端環境中。選擇正確的數據遷移解決方案是雲遷移計劃過程的關鍵組成部分，即使在其最初階段也應予以考慮。
   

• 資料遷移的流程
  一般來說，遷移大致上都可以將階段分成前期評估、遷移計畫、實施遷移與操作以及遷移後維運的四大流程，以下說明：
   
  • 前期評估
    1. 了解數據及其用途
       在開始數據遷移過程之前，請確定要遷移的數據，當前使用的格式、是否有加密、數據的存放位置、遷移後的格式以及與目標環境系統的一致性等，並記錄轉換前後其中可能存在差異的地方。以數據類型來說，包括型別、空值、空格、時間和日期格式等等的相關資料樣貌，有可能在前後資料庫轉換過程，尤以異質資料庫轉換，導致未正確搬遷。
    2. 規劃項目的規模和範圍
       當了解企業自己的數據樣貌之後，接下來則必須清楚定義想要搬遷的資料範圍、預期將使用的有關資源、停機風險、花費時間以及合理預算。以求在評估階段能夠通盤預先知道在執行搬遷時會發生的狀況。
    3. 對於企業業務的潛在影響
       在整個遷移過程中，資料傳輸的過程是否加密。是否可以容忍任何數據丟失或損壞，如果可以的話，可以接受多久與多少資料量丟失，以及對於當前企業的業務範疇內會造成的影響。經過搬遷之後，必須決定舊有的數據中心是否要關閉、還是將原有與後來的資料存放位置混合使用。當上述的問題都能被詳細從頭到尾完整盤整過後，企業也更能掌握遷移前後的營運狀況。
        
  • 遷移計畫
    成功的資料遷移計畫，需要規劃相當細節的綜合搬遷策略。然而，規劃搬遷時通常會考慮將哪些工作負載、資料遷移到目標雲端、風險評估、預算和各個遷移步驟的安全性等，以制定不同階段資料遷移目標與時間軸，以確保企業的搬遷需求能在規劃中符合預期地完成。
     
    資料遷移的計畫上，大致上可以分成前期準備、執行方式、實施搬遷的不同階段，如下：
     
  1. 前期準備
     根據前期評估避免風險發生，通常是在於網路安全、資料加密、防止停機以及數據流失等常見狀況。在數據真正遷移之前，也必須要確認已備份所有數據，尤其是要遷移的文件。如果您在遷移過程中遇到任何問題，例如文件損壞，不完整或丟失，則可以通過備份將數據恢復為原始狀態來糾正錯誤。
  2. 執行方式
     以資料遷移本身來說，本質上還是要遵循 ETL 資料轉換基礎三大步驟，包括提取數據、轉換資料以及載入資料。一般來說，資料轉移大致上可以分成兩種：
      
     • 資料庫的轉移：
       1. 確認來源端的資料格式、所用資料庫引擎
       2. 創建在雲端上的能用於儲存搬遷後資料的目的地環境
       3. 將來源端資料中心與雲端目標資料庫進行連接
       4. 選擇對應想要搬遷的資料庫
       5. 透過搬遷工具自動同步搬遷資料
           
     • 儲存資料的轉移：
       1. 確認資料來源
       2. 選擇使用轉移方式，私有連線、線上傳輸、離線傳輸或是串流資料
       3. 創建在雲端上的能用於儲存搬遷後資料的目的地空間
       4. 透過工具開始備份資料到雲端
  
  
  • 實施搬遷與操作
    • 資料庫搬遷：
      透過整合 AWS DMS (Database Migration Service)，可以協助進行資料庫搬遷。其可以保證在來源端資料庫可以保持完全運行中的狀態、將多來源資料庫合併成一目標資料庫、最大化減少停機時間，甚至可以保證與目標雲端的資料庫保持同步等多項優點。
       
      若企業本地端資料庫與雲端的資料庫引擎不相同時，DMS 除了本來就支援的同質遷移 (如從 MySQL 到 MySQL)，也可以支援異質遷移 (如從 Microsoft SQL Server 到 MySQL)，大幅減少企業擔心資料轉換問題。
       
      目前 AWS DMS ( AWS Database Migration Service) 亦支援 noSQL 相關異質移轉，包括從 MongoDB、Cassandra、MySQL 等移轉到 dynamoDB。對於企業有使用多種不同資料庫引擎而言，毋須擔心搬遷支援上的問題。
       
    • 儲存搬遷：
      若與儲存相關的資料搬遷，大致上可分成如私有連線、線上傳輸與離線傳輸。

• 混合雲：使用如 AWS Storage Gateway 與 AWS Direct Connect。是可以將本地的資料中心與 AWS 雲端打通一個專屬的私有網路連線，如此一來若有龐大的資料需要上傳，則可以透過這個方法將資料移轉至雲端。

• 線上傳輸：使用如 AWS DataSync 服務，可以將本地端資料上傳 Amazon S3 或 Amazon EFS 等常見的儲存服務，簡化整個資料傳輸的過程，其傳輸速度能比開源工具快上 10 倍。AWS Transfer Family 系列服務，更可以提供全託管將文件傳入或傳出 Amazon S3，透過常見的傳輸協議如 安全文件傳輸協議 SFTP、SSL 的文件傳輸協議 FTPS 或文件傳輸協議FTP。若有速度上的需求，甚至可以加上 Amazon S3 Transfer Acceleration，不需要專有網路協定，即可最大化頻寬以加速傳輸。

• 多來源的裝置資料：透過 Amazon Kinesis Data Firehose，將資料大量串流儲存到 Amazon S3 或者 Amazon Redshift。此外，Amazon Kinesis Data Firehose 更具備全託管能力，讓開發人員不再需要撰寫應用程式或自行管理基礎設施。

• 離線傳輸：常見的是嚴峻的環境，如工作空間、電力、設備受限等等，可以使用 AWS Snow 系列，包括 AWS Snowcone、AWS Snowball 與 AWS snowmobile，透過實體裝置以實體線連接至企業的數據中心，能夠有效且穩定搬移龐大的資料。
 

• 遷移後維運
  遷移完成後，請確保來源端和目標端的系統之間的搬遷資料具有一致性。目的是確保所有遷移數據都是正確、安全且在正確位置。為了驗證這一點，請針對目標端的系統進行測試，以求搬遷後的目標端系統，能夠以原本的應用程式對接，符合原本的業務需求。
   
  即使進行測試，也總是有可能在遷移過程中出錯，如果發現錯誤，例如數據不完整或損壞。故遷移到雲端上後，也必須要有備份、安全性與對應的錯誤處理機制，以求業務能穩定於雲端運行。
   
• 結論
  如今，企業產生的數據量不斷增長，傳統作法已難以負荷，如果又要提升從資料湖中提取的高價值的數據，進行雲端遷移或混合雲架構是符合數位轉型趨勢的作法。
   
  資料搬遷的成功越來越取決於為您的工作負載選擇最佳環境，若企業評估整個遷移流程，需要尋找可靠且擁有豐富雲端遷移經驗的團隊，銓鍇國際 CKmates 是您值得合作的夥伴，銓鍇國際 CKmates 擅長依據企業現有的架構進行完善的遷移計劃，能考慮到數據所運行的環境細節，大幅降低意外成本或停機狀況的可能性。並且在遷移期間和遷移之後，銓鍇國際 CKmates 將持續協助企業進行優化和服務建議。當數據能有效且穩定的在雲端上提供高可靠、合規性與安全性時，就能為企業提供更多商業價值。
   

雲端遷移系列專欄

• Why migrate to the AWS Cloud?
• 想要雲端遷移？資深雲端架構師親自傳授遷移心法
• 影響雲端遷移成功的關鍵因子：「評估策略」與「完善計畫」
• 善用 AWS 原生遷移工具 使雲端遷移事半功倍