AWS數(shù)據(jù)庫上云最佳實踐

1、AWS數(shù)據(jù)庫上云最佳實踐AWS Database Migration Services 技術日程Redshift數(shù)據(jù)倉庫EMRHadoop + SparkAthena交互式分析Kinesis DataAnalytics 實時ElasticsearchService運營分析MariaDB, Oracle, SQLServerAuroraMySQL,PostgreSQLRDSMySQL, PostgreSQL,QuickSightSageMakerDynamoDB鍵值ElastiCacheRedis, MemcachedNeptune圖時間流時間序列QLDB分類賬數(shù)據(jù)庫S3/GlacierGlue

2、ETL和數(shù)據(jù)目錄Lake Formation數(shù)據(jù)湖Database Migration Service| Snowball | Snowmobile | Kinesis Data Firehose | Kinesis Data Streams數(shù)據(jù)移動分析Databases商業(yè)智能和機器學習數(shù)據(jù)湖Managed BlockchainBlockchain TemplatesBlockchainRDS on VMwareDocumentDB文件我們的產(chǎn)品組合廣泛而深入的產(chǎn)品組合，精確構建將現(xiàn)有應用程序“提取和 更換”至云在云中快速構建新的 應用程序獲得新的見解三個階段關系數(shù)據(jù)庫非關系數(shù)據(jù)庫數(shù)據(jù)倉庫H

3、adoop和SparkRedshiftEMR 運營分析ElasticSearch ServiceAurora業(yè)務智能QuickSightRDSDynamoDB DocumentDB客戶想提取和更換至云我的數(shù)據(jù)該如何上云本地數(shù)據(jù)庫遷移至AWS云上轉(zhuǎn)換數(shù)據(jù)庫產(chǎn)品 數(shù)據(jù)庫對象轉(zhuǎn)換幾乎為零的停機時間數(shù)據(jù)庫遷移服務AWS SchemaConversion Tool服務組件定制化遷移現(xiàn)有數(shù)據(jù)持續(xù)復制服務遷移階段定制化您的數(shù)據(jù)倉庫把Oracle, SQL Server, Netezza, Greenplum,Vertica, 或 Teradata 轉(zhuǎn)化為 Amazon Redshift定制化定制化您的數(shù)據(jù)庫

4、把Oracle, SQL Server, 或 Db2 轉(zhuǎn)化為 PostgreSQL, MySQL, 或 Amazon Aurora介紹Amazon AuroraAmazon RedshiftMySQLPostgreSQLSCT用來轉(zhuǎn)換對象：介紹遷移現(xiàn)有數(shù)據(jù)不需要停機不影響原有數(shù)據(jù)不需要安裝代理、插件跨數(shù)據(jù)庫產(chǎn)品自動轉(zhuǎn)換支持數(shù)據(jù)合并、拆分不僅僅是關系型數(shù)據(jù)庫介紹Amazon RDSAmazon RedshiftAmazon AuroraAmazon DynamoDBAmazon S3SDM日志架構SMD特性 - 數(shù)據(jù)合并、拆分SMDAmazon AuroraAmazon AuroraAmazon

5、 RDSAmazon Aurora 跨regionAmazonRDSSMDAmazon S3Dynamodb特性 -不僅僅是關系數(shù)據(jù)庫持續(xù)復制讀取源端日志迅速的同步至目標端實時數(shù)據(jù)驗證特性 - 持續(xù)復制客戶 場所應用程序用戶AWS網(wǎng)絡VPN特性 幾乎零宕機遷移啟動復制實例連至源數(shù)據(jù)庫和目標數(shù)據(jù)庫選擇表格、模式或數(shù)據(jù)庫讓AWS DMS創(chuàng)建表格、加載數(shù) 據(jù)，并使其保持同步在方便時將應用程序切換至目標AWS DMS操作界面操作界面操作界面數(shù)據(jù)類型 請在DMS官方文檔查閱所支持的數(shù)據(jù)類型。數(shù)據(jù)庫發(fā)行版本 商業(yè)數(shù)據(jù)庫版本限制。DDL語句 不同數(shù)據(jù)庫產(chǎn)品所支持的DDL語句有所差異，比如MySQL作為目標時

6、，不支持TRUNCATE PARTITION、DROP TABLE 和 RENAME TABLE。用戶、模式、庫之間的轉(zhuǎn)換 不同數(shù)據(jù)庫產(chǎn)品，對于用戶、模式、庫的使用方式有很大差別，比如定位一張表，Oracle是庫.模式.表；MySQL是用戶.庫.表；PostgreSQL是用戶（角色）.庫.模式.表時間格式 通常字符串類型varchar、數(shù)字類型int的用法大同小異，還請注意不同數(shù)據(jù)庫產(chǎn) 品對于時間類型的格式有差別，需要調(diào)整代碼。最佳實踐 - 跨數(shù)據(jù)庫產(chǎn)品最佳實踐 - 跨數(shù)據(jù)庫產(chǎn)品最佳實踐 - 跨數(shù)據(jù)庫產(chǎn)品表完全加載后，立即開始驗證對于持續(xù)復制的任務，對比所有增刪改選用大內(nèi)存實例詳細報告源端與目

7、標端不匹配的數(shù)據(jù)行會把詳細內(nèi)容記錄在目標端表中：awsdms_validation_failures_v1select * from awsdms_validation_failures_v1“;SCOTT PEOPLERowkey:111記錄目標丟失key:4source column : NAME, value : Super333 與目標列不匹配：lalala最佳實踐 - 數(shù)據(jù)驗證表設置 添加主鍵。遷移的項目 DMS僅遷移表、數(shù)據(jù)、主鍵索引，適度添加目標端二級索引。并行度 DMS默認是8張表并行加載，可以提升此值，同時根據(jù)復制實例的性能情況加大復制 實例的機型，過大的并行數(shù)量反而會降低復制速度。降低目標端的瓶頸 關閉目標端的約束、日志記錄、備份，加載完數(shù)據(jù)后再逐步開啟。開啟多任務task 對于同一個復制項目，可以開啟多task以增加并行度。請注意每個task所包 含的表，都應該處于同一個事務中，即不要出現(xiàn)這