GBase 8A MPP Cluster 產品培訓-日常維護.ppt

GBase8aMPPCluster日常維護 南大通用數(shù)據(jù)技術股份有限公司 維護管理規(guī)范介紹 目錄 2 一 數(shù)據(jù)庫日常維護 二 問題解答 三 維護管理規(guī)范介紹 目錄 3 一 數(shù)據(jù)庫日常維護 二 問題解答 三 檢查集群狀態(tài)查詢磁盤空間監(jiān)控內存使用情況帳號 權限管理系統(tǒng)日志查看 日常維護 4 集群狀態(tài) 使用gcadmin命令查看正常的集群狀態(tài) 命令行方式 上圖為正常的集群狀態(tài)和節(jié)點狀態(tài) 當集群 節(jié)點某個狀態(tài)不正常時 相應文字會閃爍 5 集群狀態(tài) 集群的工作狀態(tài)分為 ACTIVED狀態(tài) 當前集群中Online的節(jié)點個數(shù)大于1 2時 集群總的狀態(tài)為ACTIVED狀態(tài) LOCKED狀態(tài) 當前集群中Online的節(jié)點個數(shù)小于等于1 2時 集群總的狀態(tài)為LOCKED狀態(tài) 集群不再執(zhí)行SQL操作 集群的模式分為 normal 正常 能執(zhí)行所有SQL操作readonly 只讀 只能執(zhí)行查詢SQL 用于數(shù)據(jù)備份操作 recovery 恢復 不能進行任何SQL操作 用于數(shù)據(jù)恢復操作 6 節(jié)點狀態(tài) 節(jié)點的工作狀態(tài)分為 Online狀態(tài) 節(jié)點為正常狀態(tài) Offline狀態(tài) 則表示節(jié)點斷線或者集群gcware服務未啟動 各模組進程的工作狀態(tài)分為 Open狀態(tài) 該模組進程為正常狀態(tài) Close狀態(tài) 則表示該模組進程啟動失敗或消失 datastate數(shù)據(jù)的一致性狀態(tài)分為 0 該節(jié)點數(shù)據(jù)一致性正常 1 該節(jié)點數(shù)據(jù)一致性已不正常 nodestate節(jié)點的一致性狀態(tài)分為 0 該節(jié)點正常 1 該節(jié)點不正常 長期故障 7 模組進程故障排除 節(jié)點的工作狀態(tài)為Offline狀態(tài)排查是否掉電 斷網等硬件 網絡問題 重新啟動該節(jié)點的gcware服務 servicegcwarestart整體集群重啟操作172 17 254 101節(jié)點root用戶Cexecsservicegcwarerestart查看gcware日志分析原因 vi var log corosync log查找lost的記錄 8 模組進程close狀態(tài)故障排除 節(jié)點服務啟動后 正常有以下模組進程啟動 gcluster進程名 gclusterdgnode進程名 gbasedgcsync同步進程名 gc sync servergcware進程名 corosync監(jiān)控工具 monit元數(shù)據(jù)恢復工具 gcmetarecover數(shù)據(jù)恢復工具 gcdatarecover檢查進程是否正常命令ps ef grep進程名如果有進程不存在 需重新啟動該節(jié)點gcware服務servicegcwarerestart servicegcwarerestart會啟動所有模組進程 需使用root帳號啟動服務 9 模組進程close狀態(tài)故障排除 查看模組進程狀態(tài)命令 service進程名status單獨啟動 停止各模組進程命令如下 需使用root帳號啟動服務 gcluster進程啟停命令 servicegclusterdstart stopgnode進程啟停命令 servicegbasedstart stopgcsync同步進程啟停命令 servicegcsyncstart stopgcware進程啟停命令 servicecorosyncstart stopmonit監(jiān)控工具啟停命令 servicemonitstart stop元數(shù)據(jù)恢復工具啟停命令 servicegcmetarecoverstart stop數(shù)據(jù)恢復工具啟停命令 servicegcdatarecoverstart stop 10 數(shù)據(jù)恢復 datastate狀態(tài)為1的故障排除 當某個節(jié)點執(zhí)行命令失敗后 數(shù)據(jù)恢復工具可監(jiān)控到錯誤日志 然后調用同步工具 自動修復節(jié)點數(shù)據(jù)不一致的情況 確保各節(jié)點數(shù)據(jù)的一致性 數(shù)據(jù)恢復 datastate狀態(tài)為1的故障排除 說明 同步工具是將safegroup組另一個好的節(jié)點上的數(shù)據(jù)拷貝到locked節(jié)點上 適用于節(jié)點出現(xiàn)offline狀態(tài) 故障恢復后需數(shù)據(jù)恢復 執(zhí)行加載 DDL DML語句導致數(shù)據(jù)狀態(tài)不一致時 Lock節(jié)點發(fā)起自動恢復 集群支持自動恢復方式 恢復時先恢復ddl操作 然后恢復dml操作 DDL自動恢復 datastate狀態(tài)為1的故障排除 DDL自動恢復實現(xiàn)過程 如果有節(jié)點執(zhí)行DDL操作失敗 gcware會把失敗記錄寫入到ddlevent日志 Gcmetarecover恢復進程定時的從gcware檢索ddlevent日志 發(fā)現(xiàn)有錯誤信息 則會將表上鎖 重新執(zhí)行DDL操作 執(zhí)行成功后 清除錯誤日志記錄 解除表鎖 數(shù)據(jù)自動恢復 datastate狀態(tài)為1的故障排除 數(shù)據(jù)自動恢復實現(xiàn)過程 如果有節(jié)點執(zhí)行dml loader操作失敗 gcware會把失敗記錄寫入到dmlevent日志 Gcdatarecover恢復進程定時的從gcware檢索dmlevent日志 發(fā)現(xiàn)有錯誤信息 則會將表上鎖 進行數(shù)據(jù)恢復 自動調用同步工具 將同組中另一個好的節(jié)點上的表的副本分片數(shù)據(jù) 非整個表分片數(shù)據(jù) 拷貝過來 同步成功后 清除錯誤日志記錄 解除表鎖 節(jié)點故障排除 當某個節(jié)點出現(xiàn)故障時 短時間無法修復 需設置節(jié)點狀態(tài)failuregcadminsetnodestatenodeip192 168 12 53failure當故障修復完畢 則將節(jié)點狀態(tài)設置為normalgcadminsetnodestatenodeip192 168 12 53normal數(shù)據(jù)會自動恢復 15 15 集群命令行gcadmin管理工具 命令行工具gcadmin可以為管理員提供管理集群的操作 包括 添加SafeGroup 查看集群狀態(tài) 切換集群狀態(tài) 查詢集群表鎖等常用功能 主要功能 gcadmin help列出所有命令gcadminaddsg nodes names移除組 有數(shù)據(jù)時慎用 gcadmin showcluster 查看集群信息gcadminswitchmode normal readonly recovery 切換集群模式gcadminshowlock查看集群鎖 表級 gcadminsetnodestate normal failure 節(jié)點出現(xiàn)故障時 設置節(jié)點狀態(tài)為failure 修好以后 設置節(jié)點狀態(tài)為normal 16 gcadmin切換集群模式 集群模式集群模式分為 normal 正常 能執(zhí)行所有SQL操作readonly 只讀 只能執(zhí)行查詢SQL 用于數(shù)據(jù)備份操作 recovery 恢復 不能進行任何SQL操作 用于數(shù)據(jù)恢復操作 舉例 備份之前設置集群模式為readonly gcadminswitchmodereadonly備份結束之后 將集群模式設置為normalgcadminswitchmodenormal 17 17 gcadmin查看集群鎖 查看集群鎖命令 gcadminshowlock功能 查看目前集群中的表級鎖 示例 Tablename 鎖加在哪個表上Owner 哪個節(jié)點加的這把鎖Content 鎖的備注Createtime 鎖的創(chuàng)建時間 以加鎖的節(jié)點的時間為準 Orphan 是否是孤兒鎖 Type 鎖的類型 S 共享鎖E 獨占鎖 18 gcadmin查看集群鎖 查看集群鎖gcadminshowlock 19 檢查內存使用率 使用top LINUX nmon opt gnode server bin 目錄下 等工具進行監(jiān)控 opt gnode server bin nmon 20 檢查磁盤空間使用情況 使用df h命令查看磁盤的使用率和剩余空間如果空間快滿 需考慮是否增加磁盤或者集群擴容 21 連接集群數(shù)據(jù)庫幾種方法 通過GBaseShell方式連接集群 命令行方式 gccli ugbase pgbase20110531 h172 17 254 106 101 108 111 118 P5258 opt gcluster server bin gbase ugbase pgbase20110531 P5258批處理SQL文件 gccli ugbase pgbase20110531 Dtest vvv f sql result txt2 sql result err企業(yè)管理器可連接 windows下的圖形化客戶端 應用程序訪問 22 實用SQL語句 帳號管理 創(chuàng)建用戶 CREATEUSERadminIDENTIFIEDBY 123456 admin是新用戶名 123456是密碼刪除用戶DROPUSERadmin 修改用戶名RENAMEUSERold userTOnew user設置 修改密碼SETPASSWORD PASSWORD adminnew SETPASSWORDFOR admin1 PASSWORD admin 查詢用戶 SELECTTRIM host host TRIM user user passwordFROMgbase user 用戶管理 23 實用SQL語句 帳號管理 GRANT和REVOKE語句允許系統(tǒng)管理員創(chuàng)建8a集群用戶帳號 并處理用戶權限的賦予與收回 授權語法 GRANTALLONTEST TO admin WITHMAX QUERIES PER HOUR20MAX UPDATES PER HOUR10MAX CONNECTIONS PER HOUR5MAX USER CONNECTIONS2 MAX QUERIES PER HOUR 每節(jié)點上限制每用戶每小時發(fā)出的查詢數(shù)MAX UPDATES PER HOUR 每節(jié)點上限制每用戶每小時發(fā)出的更新數(shù)MAX CONNECTIONS PER HOUR 每節(jié)點上限制每用戶每小時可連接服務器的次數(shù)MAX USER CONNECTIONS 每節(jié)點上限制每用戶可同時連接的最大連接數(shù) 24 實用SQL語句 帳號管理 權限列表 25 實用SQL語句 帳號管理 查看用戶授權的語句SHOWGRANTSFORuser 收回語法 REVOKEALLPRIVILEGES GRANTOPTIONFROMuser 收回權限管理 26 查看服務器運行語句 查看本節(jié)點正在運行的線程 SQL語句 SHOW FULL PROCESSLIST 如果有SUPER權限 可以看到所有線程 顯示8a集群的系統(tǒng)變量的值 SHOW GLOBAL SESSION VARIABLES LIKE pattern 舉例 顯示集群壓縮相關的系統(tǒng)變量的值SHOWVARIABLESLIKE compress 27 查看服務器運行語句 顯示警告或錯誤信息 SHOWWARNINGS 顯示由最后一個語句產生的錯誤 警告和注意信息 SHOWERRORS 顯示由最后一個語句產生的錯誤信息 顯示集群中節(jié)點信息 SHOWNODES 如果有SUPER權限 可以看到所有節(jié)點信息 SHOWLOCALNODE 顯示集群中客戶端正在訪問節(jié)點的信息 28 查詢數(shù)據(jù)庫信息 showdatabases 查看系統(tǒng)中數(shù)據(jù)庫名的語句 根據(jù)權限顯示 usedb name 數(shù)據(jù)庫作為以后查詢的缺省數(shù)據(jù)庫 showtables 列出給定數(shù)據(jù)庫的所有非臨時表desctest t 查看test庫t表的列信息showindexfromtest t 查看test庫t表的索引信息 29 查詢創(chuàng)建數(shù)據(jù)的信息 SHO