MongoDB管控系統(tǒng)查詢優(yōu)化模塊的設(shè)計(jì)與實(shí)現(xiàn)

1、MongoDB管控系統(tǒng)查詢優(yōu)化模塊的設(shè)計(jì)與實(shí)現(xiàn)近年來(lái) , 隨著 NoSQL數(shù)據(jù)庫(kù)的飛速發(fā)展和大規(guī)模實(shí)踐應(yīng)用, 越來(lái)越多的企業(yè)和研究機(jī)構(gòu) , 選擇 NoSQL數(shù)據(jù)庫(kù)構(gòu)建內(nèi)部的高性能系統(tǒng), 以應(yīng)對(duì)日益增長(zhǎng)的內(nèi)部業(yè)務(wù)需求和大數(shù)據(jù)的存儲(chǔ)檢索挑戰(zhàn)。 MongoDB便是其中一種優(yōu)秀的NoSQL數(shù)據(jù)庫(kù) ,已被成千上萬(wàn)家企業(yè)和研究機(jī)構(gòu)應(yīng)用在一線生產(chǎn)環(huán)境中。和傳統(tǒng)關(guān)系型數(shù)據(jù)庫(kù)相比 ,MongoDB不基于關(guān)系代數(shù) , 查詢語(yǔ)句、索引類型與傳統(tǒng)的關(guān)系型數(shù)據(jù)庫(kù)有較大的差別 , 而查詢語(yǔ)句的編寫 , 索引設(shè)計(jì)的好壞 , 都是影響 MongoDB查詢性能的重要因素。因此如何根據(jù) MongoDB的查詢特點(diǎn)、 索引特點(diǎn) ,

2、對(duì)業(yè)務(wù)方 MongoDB的查詢進(jìn)行優(yōu)化建議 , 成為了一個(gè)需要研究的問(wèn)題。 基于上述情況 , 本文以 MongoDB慢查詢?nèi)罩緸橐罁?jù) , 采用流程分解、 影響因素分析、 語(yǔ)法檢查、索引推薦等技術(shù) , 設(shè)計(jì)并實(shí)現(xiàn)了對(duì) MongoDB的查詢進(jìn)行優(yōu)化建議的系統(tǒng)。 (1) 本文首先對(duì)項(xiàng)目背景和用戶需求進(jìn)行了實(shí)地調(diào)研 , 重點(diǎn)分析了當(dāng)前的優(yōu)化流程和管控系統(tǒng)的業(yè)務(wù)背景。在此基礎(chǔ)上 , 對(duì) MongoDB的查詢處理過(guò)程進(jìn)行了流程分解 , 從瓶頸資源、影響因素、優(yōu)化方向三個(gè)角度對(duì)分解后的各階段進(jìn)行了分析。 結(jié)合減少數(shù)據(jù)訪問(wèn)、 返回更少數(shù)據(jù)等優(yōu)化原則 , 最終確立了以查詢謂詞檢查、索引評(píng)估、索引推薦、結(jié)果集數(shù)量

3、分析作為管控系統(tǒng)的優(yōu)化方向。 (2) 日志獲取、判重與初步解析。系統(tǒng)首先讀取 MongoDB實(shí)例的慢查詢?nèi)罩?, 對(duì)單條日志記錄 , 提取日志中的唯一性標(biāo)識(shí) , 計(jì)算對(duì)應(yīng)的 MD5值, 利用緩存進(jìn)行判重。將沒有重復(fù)的原始日志保存到數(shù)據(jù)庫(kù)中 , 接著對(duì)原始日志進(jìn)行初步解析 , 提取關(guān)鍵屬性 , 并對(duì)日志中的查詢條件進(jìn)行標(biāo)準(zhǔn)化處理 , 最后將初步解析結(jié)果保存到數(shù)據(jù)庫(kù)中。 (3) 從查詢謂詞檢查、索引優(yōu)化、結(jié)果集數(shù)量分析三個(gè)方面, 進(jìn)行優(yōu)化建議。利用初步解析結(jié)果 , 在查詢謂詞檢查方面 , 對(duì)相關(guān)查詢謂詞進(jìn)行語(yǔ)法層面的檢查 , 兼容謂詞和普通查詢條件混用的情況。在索引評(píng)估方面, 計(jì)算索引選擇率 ,評(píng)估索引過(guò)濾能力 , 結(jié)合用戶實(shí)例內(nèi)存評(píng)估索引大小的影響, 基于影響權(quán)重的原則進(jìn)行最左前綴匹配評(píng)估和索引覆蓋情況評(píng)估。在索引推薦方面, 基于等值排序范圍條件的索引建立原則, 對(duì)集合進(jìn)行索引推薦。在結(jié)果集數(shù)量分析方面 , 計(jì)算本次返回文檔數(shù)量占總文檔數(shù)的比重, 結(jié)合語(yǔ)法層面投影限行謂詞的檢查, 分析結(jié)果集返回?cái)?shù)量的影響。系統(tǒng)最后將優(yōu)化建議結(jié)果保存到數(shù)據(jù)庫(kù)中。本論文最后對(duì)系統(tǒng)功能性和非功能性需求進(jìn)行了測(cè)試, 實(shí)驗(yàn)結(jié)果證明本系統(tǒng)能滿足管控系統(tǒng)業(yè)務(wù)需求。本文從管控平臺(tái)的角度 ,