MDSSV03使用手冊vVIP

1、海量數(shù)據(jù)存儲檢索系統(tǒng)SQL-LIKE語言使用手冊MDSS-V0.3目 錄 TOC h z u t 標題 1,2,標題 2,3,標題 3,4,副標題,2 HYPERLINK l _Toc298163327 1SQL-LIKE語言使用手冊 PAGEREF _Toc298163327 h 4 HYPERLINK l _Toc298163328 1.1MDSS-V0.3系統(tǒng)功能概述 PAGEREF _Toc298163328 h 4 HYPERLINK l _Toc298163329 1.2SQL-LIKE中的數(shù)據(jù)類型 PAGEREF _Toc298163329 h 4 HYPERLINK l _To

2、c298163330 1.3SQL-LIKE語法使用說明 PAGEREF _Toc298163330 h 5 HYPERLINK l _Toc298163331 CREATE PAGEREF _Toc298163331 h 5 HYPERLINK l _Toc298163332 INSERT PAGEREF _Toc298163332 h 6 HYPERLINK l _Toc298163333 SELECT PAGEREF _Toc298163333 h 6 HYPERLINK l _Toc298163334 聚合函數(shù) PAGEREF _Toc298163334 h 7 HYPERLINK l

3、 _Toc298163335 時間表達式函數(shù) PAGEREF _Toc298163335 h 8 HYPERLINK l _Toc298163336 1.4SQL-LIKE使用中注意的問題 PAGEREF _Toc298163336 h 9 HYPERLINK l _Toc298163337 where中多個條件的優(yōu)先級說明 PAGEREF _Toc298163337 h 9 HYPERLINK l _Toc298163338 幾點使用限制說明 PAGEREF _Toc298163338 h 9 HYPERLINK l _Toc298163339 2MDSS-V0.3 SHELL操作手冊 PA

4、GEREF _Toc298163339 h 11 HYPERLINK l _Toc298163340 2.1進入shell系統(tǒng) PAGEREF _Toc298163340 h 11 HYPERLINK l _Toc298163341 2.2SHELL操作方法 PAGEREF _Toc298163341 h 11 HYPERLINK l _Toc298163342 30.3版本新增功能 PAGEREF _Toc298163342 h 15 HYPERLINK l _Toc298163343 3.1幾個常用命令的符號鏈接 PAGEREF _Toc298163343 h 15 HYPERLINK l

5、 _Toc298163344 進入SHELL命令 PAGEREF _Toc298163344 h 15 HYPERLINK l _Toc298163345 檢索結(jié)果文件導出命令 PAGEREF _Toc298163345 h 15 HYPERLINK l _Toc298163346 根據(jù)文件構(gòu)建檢索條件并導出檢索結(jié)果命令 PAGEREF _Toc298163346 h 15 HYPERLINK l _Toc298163347 3.2域名分級檢索功能 PAGEREF _Toc298163347 h 16 HYPERLINK l _Toc298163348 域名分級定義 PAGEREF _Toc2

6、98163348 h 16 HYPERLINK l _Toc298163349 MDSS中域名分級函數(shù)的使用 PAGEREF _Toc298163349 h 16 HYPERLINK l _Toc298163350 4命令行操作方法 PAGEREF _Toc298163350 h 18 HYPERLINK l _Toc298163351 4.1基本功能 PAGEREF _Toc298163351 h 18 HYPERLINK l _Toc298163352 4.2語法 PAGEREF _Toc298163352 h 18 HYPERLINK l _Toc298163353 4.3舉例 PAGE

7、REF _Toc298163353 h 19SQL-LIKE語言使用手冊MDSS-V0.3系統(tǒng)功能概述SQL-LIKE是為MDSS系統(tǒng)設(shè)計的數(shù)據(jù)檢索語言，MDSS-v0.3系統(tǒng)主要功能如下：提供二維表格數(shù)據(jù)模型；以一條記錄為原子操作；利用分布式存儲框架，實現(xiàn)數(shù)據(jù)和索引的分布存儲、并發(fā)檢索功能；在單一表空間內(nèi)利用SQL-LIKE語言實現(xiàn)：精確查詢，模式查詢，多屬性查詢，區(qū)間查詢，統(tǒng)計排序，函數(shù)聚合等檢索功能；支持近期數(shù)據(jù)的快查（近期緩存在集群內(nèi)存中）功能；SQL-LIKE中的數(shù)據(jù)類型 目前MDSS-V0.3 SQL-LIKE語言支持六種基本數(shù)據(jù)類型包括：INTEGER或INT、IPV4_ADDR

8、、IPV6_ADDR、CHAR、STORE、TIMESTAMP六類：INTEGER或INT，IPV4_ADDR、IPV6_ADDR、CHAR支持where條件查詢，STORE不支持where條件查詢，直接保存數(shù)據(jù)，每種類型使用規(guī)則如下：整數(shù)類型：關(guān)鍵字：INTEGER或INT例如：ID INTEGER；說明：INTEGER類型字段支持算術(shù)比較（,=），支持統(tǒng)計查詢(SUM，COUNT，AVG)；IP字段類型：關(guān)鍵字：IPV4_ADDR, IPV6_ADDR。 IPV4_ADDR保存IPV4類型的IP地址，IPV6_ADDR保存IPV6類型的IP地址例如：sip IPV4_ADDR；說明：支持I

9、P類型數(shù)據(jù)的區(qū)間檢索、子網(wǎng)檢索；sip= to 55,表示sip在整個10.10.10.*段的IP地址；索引類型：關(guān)鍵字CHAR說明：CHAR類型字段建立索引，支持精確查詢，模糊查詢；存儲類型：關(guān)鍵字：STORE說明：STORE類型字段直接存儲到數(shù)據(jù)文件中，不支持where查詢條件；時間類型：關(guān)鍵字TIMESTAMP說明：記錄以字符串形式記錄的時間信息，以秒為單位, TIMESTAMP使用“年月日時分秒”時間字符串表示，如“”表示2011年5月14日6點6分6秒；SQL-LIKE語法使用說明 SQL-LIKE是為海量數(shù)據(jù)存儲系統(tǒng)MDSS設(shè)計的數(shù)據(jù)檢索操作語言。SQL-LIKE通過提取標準SQL

10、語言中的核心操作邏輯，支持針對單表空間的多維屬性查詢、統(tǒng)計操作。SQL-LIKE具體實現(xiàn)如下三類功能操作：表空間管理、數(shù)據(jù)查詢統(tǒng)計、數(shù)據(jù)管理等操作，基本使用規(guī)則如下：命令、關(guān)鍵字不區(qū)分大小寫，用戶自定義的字段名區(qū)分大小寫；每條命令以“；”作為命令結(jié)束標記符號；表名、字段名中不能出現(xiàn)#， $，￥，|，%，*，等字符；數(shù)據(jù)中如果有特殊字符，需要加兩個單引號括起來，如Aabc abc，表示Aabc abc作為一個字段，插入到數(shù)據(jù)庫中，但是不載入數(shù)據(jù)庫；區(qū)間查詢使用“ to ”表示，支持數(shù)字、IP類型、以及時間戳類型的檢索； SQL-LIKE基本操作命令包括：CREATE，INSERT以及SELECT

11、三類；CREATE命令作用：創(chuàng)建表空間；基本格式：CREATE TABLE TABLENAME (FIELDNAME FIELDTYPE , FIELDNAME FIELDTYPE,);FIELDNAME：字段名，不能以?,*等通配符開始；FIELDTYPE：字段類型，包含INTEGER, IPV4_ADDR, IPV4_ADDR,TIMESTAMP,INDEX, STORE六類基本類型,具體含義如1.1節(jié)。INSERT命令作用：插入記錄基本格式：INSERT INTO TABLENAME VALUES(VALUE1 , VALUE1);“VALUE1 , VALUE1”構(gòu)成的value列表使

12、用“，”分隔，value列表使用括號括起來。SELECT命令作用：檢索記錄；基本格式：SELECT FIELDSLIST FROM TABLENAME WHERE (CONDITION) GROUP BY FIELDNAME ORDER BY FIELDNAME ASC | DESC TOP K | LIMIT K;FIELDSLIST: DISTINCT | * | COUNT ( FIELDNAME | * ) | SUM ( FIELDNAME)| AVG ( FIELDNAME)| ,FIELDNAME,各個字段名之間，統(tǒng)計函數(shù)與其余字段之間使用“,”分割開；支持COUNT，SUM，A

13、VG，MAX，MIN統(tǒng)計查詢函數(shù)；DISTINCT關(guān)鍵字直接放在SELECT后，如“select distinct ”表示針對整個FIELDS LIST列表的去重；放到聚合函數(shù)里，SUM(DISTINCT FIELDNAME)表示針對統(tǒng)計字段的去重；支持字段名檢索；WHERE CONDITION AND|OR|NOT CONDITION ：where子句支持多個邏輯查詢條件的組合，CONDITION表示每個邏輯查詢條件；多個條件之間使用邏輯操作符號AND，OR，NOT連接；如：where domain = www.baidu.* and port=8080;當where中有多個邏輯條件時，計算

14、順序是從左到右依次進行（可以理解為優(yōu)先級從左向右依次降低），比如：檢索IP地址池中所有類型為A的DNS記錄，可以寫作：select * from domaintable where IP=ip1 or IP=ip2 or IP=ip3 or or IP=ipn and type = A; 當邏輯表達式中有not時，做and not處理；CONDITIONINGETER類型支持關(guān)系運算：=，等關(guān)系比較;IP地址類型字段支持子網(wǎng)查詢，如“sip=”檢索127.10.10網(wǎng)段所有的IP地址;CHAR支持模糊查詢：*表示字符串，?表示單個字符串；ORDER BY結(jié)果集排序，排序標識關(guān)鍵字為：ASC或D

15、ESC，默認是升序ASC。目前支持對單一字段進行排序；GROUP BY結(jié)果集分組關(guān)鍵字；可以針對多個字段進行分組；TOP K 返回符合條件的前K條記錄；聚合函數(shù)MDSS-V0.3主要的聚合函數(shù)包括：COUNT，SUM，AVG，MAX，MIN,LENGTH;COUNT統(tǒng)計符合條件的記錄數(shù)；SUM，AVG，MAX，MIN函數(shù)可以針對INT類型進行計算；LENGTH取字符串的長度;目前統(tǒng)計函數(shù)可以同時出現(xiàn)多個：如：select name3,avg(name1),sum(name2) from tablename where name3 10 group by name3;時間表達式函數(shù)為了提高檢索靈

16、活性，SQL-Like語言支持時間表達式的計算，支持如下時間函數(shù)：1、取當前時間函數(shù):%CURRENT_TIME%CURRENT_TIME 是表示獲取當前系統(tǒng)時間。如果其后需要進行四則運算（目前系統(tǒng)不支持除法運算），需要把四則運算放到 %號里邊。CURRENT_TIME 后邊跟著的數(shù)值的單位為秒。注意：%號一定是要成對出現(xiàn)舉例：Select count(*) from t1 where time = %CURRENT_TIME - 2*3600 -1800% to %CURRENT_TIME%;假設(shè)當前時間為：2011年6月1號10點30分整，則該sql會被翻譯為：Select count(*

17、) from t1 where time = ;2、支持時間函數(shù):to_date()To_date函數(shù)會帶參數(shù)，參數(shù)格式為：年-月-日 時:分:秒，舉例：Select count(*) from t1 where time = to_date(2011-6-1 10:3:00) to to_date(2011-6-2 10:3:00);該sql會被翻譯為：Select count(*) from t1 where time = ;3、取當前時間的零點:%CURRENT_DAY%取當天時間的零點函數(shù)，具體含義與%CURRENT_TIME%相同。SQL-LIKE使用中注意的問題where中多個條件

18、的優(yōu)先級說明當where中有多個邏輯條件時，通過and or not連接，從左到右優(yōu)先級依次降低，取雙目邏輯操作符號做集合運算（具體含義見1.2 where部分的說明）；幾點使用限制說明1. 聚合函數(shù)使用限制與統(tǒng)計函數(shù)SUM，AVG等同時出現(xiàn)在select子句中的字段名必須同時出現(xiàn)在GROUP BY中子句中；如：select name1, sum(name2) from tablename where name110 group by name1;/name1必須出現(xiàn)在group by子句中2. 時間檢索條件的限制MDSS-V0.3針對網(wǎng)絡(luò)流數(shù)據(jù)做了基于時間存儲的優(yōu)化處理，在檢索條件中使用TI

19、MESTAMP等字段類型的時間檢索條件會提高檢索效率，但是時間檢索條件只能使用一次。使用多個時間檢索條件優(yōu)化技術(shù)無效。3. AS關(guān)鍵字的限制MDSS-V0.3中AS支持聚合函數(shù)重命名并排序的操作；但是別名不能出現(xiàn)在where子句中：select domain,sum(count) as CNT domain from domaintable where type=A group by domain order by CNT;4. 目前MDSS不支持的功能SQL-LIKE不支持標準SQL中的如下功能：（1）SQL-LIKE不支持JOIN操作MDSS-v0.3 不支持多個表之間的JOIN操作；（2

20、）SQL-LIKE不支持嵌套查詢MDSS-v0.3 不支持多個SELECT語句嵌套查詢；MDSS-V0.3 SHELL操作手冊為了方便數(shù)據(jù)的管理，開發(fā)了的SHELL字符管理操作界面，基本功能如下：進入shell系統(tǒng)存儲系統(tǒng)部署在/home/mdss/目錄下：運行目錄下的shell/executeSQL進入shell管理界面；為了增加系統(tǒng)操作的方便性，0.3版本在查詢機上建立系統(tǒng)符號鏈接，直接運行以“mdss_”開頭的相關(guān)命令，運行相關(guān)程序，具體使用如下。在任意目錄下運行如下命令，進入SHELL系統(tǒng)，功能同上。rootYMX-SEV-0002 # mdss_shelllSHELL操作方法1. 命

21、令：mdsshelp功能：顯示使用手冊： 2. 命令：mdssquit功能：退出shell；3. 命令：mdsslist功能：顯示所有表空間的名字；4. 命令：mdss 功能：創(chuàng)建表空間命令；mdsscreate table ipinfo(id char, addr char, ip ipv4_addr , num int,time TIMESTAMP,content STORE);5. 命令：mdss show 功能：查看名為table的表的結(jié)構(gòu)mdssshow ipinfo6. 命令：mdss drop 功能：刪除名為table的表；mdssdrop ipinfo7. 命令：mdss 功能

22、：執(zhí)行一條插入語句:mdssinsert into ipinfo values (1,2,20,1297927567,more and more);注意：該語法中所有數(shù)據(jù)都不加雙引號。值中包含特殊字符時，要用中括號把該數(shù)據(jù)括起來；8. 命令：mdss 功能：執(zhí)行一條查詢語句；查詢某一天內(nèi)addr字段中以www.開頭的所有記錄，顯示每條記錄的id與addr字段內(nèi)容。9. 執(zhí)行sql-like腳本的文件功能：運行一個文件名為file的查詢腳本；腳本文件是根據(jù)sql-like語言寫的文本文件，可用于批量數(shù)據(jù)的導入操作。10. 分批檢索命令:mdss c功能：當結(jié)果集過大，會自動分批顯示查詢結(jié)果，每個

23、批次默認70萬條記錄；11. 設(shè)置每頁顯示記錄條數(shù):mdssp N功能：將每頁顯示記錄設(shè)為N條；12. 分頁檢索命令:mdss N功能：顯示分頁檢索中的下一頁；13. 分頁檢索命令:mdssj N功能：跳至第N頁顯示；14. 刪除數(shù)據(jù)命令:mdssdel 功能：刪除table表中在start_time和end_time時間段內(nèi)的數(shù)據(jù)；15. 快查命令功能：對于近期數(shù)據(jù)，時間區(qū)間為5分鐘，可以使用快速查找命令，查找命令以：開頭；mdss:select count(*) from quicktest;0.3版本新增功能對于常用的幾種操作方式，在系統(tǒng)目錄下建立符號鏈接，快速運行相關(guān)程序。幾個常用命令

24、的符號鏈接為了增加系統(tǒng)操作的方便性，0.3版本在查詢機上建立系統(tǒng)符號鏈接，直接執(zhí)行相關(guān)操作命令。MDSS系統(tǒng)的命令是以“mdss_”開頭的，具體功能如下：進入SHELL命令進入SHELL系統(tǒng)，功能同2.1 rootYMX-SEV-0002 # mdss_shelll檢索結(jié)果文件導出命令把一條檢索語句的檢索結(jié)果輸入到指定文件中。 rootYMX-SEV-0002 # mdss_search Usage:mdss_search SQL_CMD output_file.Example:mdss_search select * from dnsdomaindb; result根據(jù)文件構(gòu)建檢索條件并導出

25、檢索結(jié)果命令rootYMX-SEV-0002 # mdss_search_from_fileUsage: -n,-name: Assign the table name -f,-file: Assign the field and file -t,-time: Assign the time and interval -o,-output: Assign the output file一個具體的使用例子如下：rootYMX-SEV-0002 #含義：表示檢索表名為：dnsdomaindb；字段名為DOMAIN，字段值為domain.txt文件記錄的值，多個值之間使用n分隔（換行），邏輯上是或關(guān)

26、系；時間是區(qū)間內(nèi)；檢索結(jié)果導出到result.txt中；如果domain.txt保存如下內(nèi)容:d1d2相當于如下SQL-LIKE檢索語句：select * from dnsdomaindb where DOMAIN=d1 or DOMAIN=d2 and TIME=;域名分級檢索功能域名分級定義為了支持域名分級檢索，MDSS-v0.3引入域名分級檢索功能。字符串中的“.”表示域名分級標示。其中，從后面數(shù)第一個點后面的字符串是第一級域名；后面數(shù)第二個點后面的字符串是第二級域名；如，“”第一級域名是：com；第二級域名是：；第三級域名是：MP3. ；MDSS中域名分級函數(shù)的使用MDSS中使用專有函

27、數(shù)表示域名分級檢索，定義描述如下：函數(shù)名稱函數(shù)作用LEVEL1(字段名)取第一級域名，字符串區(qū)分大小寫LEVEL1_NO(字段名)取第一級域名，字符串不區(qū)分大小寫LEVEL2(字段名)取第二級域名，字符串區(qū)分大小寫LEVEL2_NO(字段名)取第二級域名，字符串不區(qū)分大小寫LEVEL3(字段名)取第三級域名，字符串區(qū)分大小寫LEVEL3_NO(字段名)取第三級域名，字符串不區(qū)分大小寫域名分級函數(shù)，可以出現(xiàn)在select子句中，也可以出現(xiàn)在group by子句中，具體示例如下：SELECT SUM(DCOUNT) AS CNT, DOMAIN FROM dnsdomaindb WHERE TYPE=A AND TIME= TO GROUP BY LEVEL1(DOMAIN) ORDER BY CNT DESC;含義：在dnsdomaindb表中檢索時間2011-07-07:10:00:00到2011-07-07:11:00:00內(nèi)，滿足TYPE=A的記錄，并根據(jù)第一級域名進行分組統(tǒng)計域名解析次數(shù)，域名字符區(qū)分大小寫，結(jié)果根據(jù)域名統(tǒng)計次數(shù)做降序排列。命令行操作方法為了支持批量數(shù)據(jù)查詢和查