Hadoop的HDFS云存儲(chǔ)系統(tǒng)測(cè)試報(bào)告.ppt

HDFS測(cè)試報(bào)告,Alidw-2011,目的,測(cè)試HDFS的IO性能，擴(kuò)展性，并發(fā)性測(cè)試fuse_dfs接口的IO性能，并發(fā)性衡量HDFS代替MFS的可行性,HDFS相關(guān)知識(shí),FUSE相關(guān)知識(shí),FUSE（用戶空間文件系統(tǒng)）允許非特權(quán)用戶創(chuàng)建功能完備的文件系統(tǒng)，而不需要重新編譯內(nèi)核。對(duì)于讀寫(xiě)虛擬文件系統(tǒng)來(lái)說(shuō)，F(xiàn)USE是個(gè)很好的選擇。,int(*access)(constchar*,int);int(*chmod)(constchar*,mode_t);int(*chown)(constchar*,uid_t,gid_t);int(*flush)(constchar*,structfuse_file_info*);int(*getattr)(constchar*,structstat*);int(*mkdir)(constchar*,mode_t);int(*mknod)(constchar*,mode_t,dev_t);int(*unlink)(constchar*);int(*truncate)(constchar*,off_t);int(*open)(constchar*,structfuse_file_info*);int(*read)(constchar*,char*,size_t,off_t,structfuse_file_info*);int(*write)(constchar*,constchar*,size_t,off_t,structfuse_file_info*);,HDFS配置,硬件配置DELLPowerEdgeR510CPU：Intel(R)Xeon(R)CPUE55062.13GHz(4CORE)x2MEM：12GBDISK：SATA2T7200 x12ETHERNET：BroadcomCorporationNetXtremeIIBCM5716GigabitEthernet軟件配置OS：RedHatEnterpriseLinux2.6.18-164.el5HADOOP：hadoop-0.20.2FUSE：fuse-2.8.4JDK：1.6.0_23,測(cè)試度量,datanode個(gè)數(shù)：1,2,3測(cè)試文件大小：1G,2G,4G,8G,16G,32G,64G讀并發(fā)數(shù):1,2,4,8,16,32,64寫(xiě)并發(fā)數(shù):1,2,4,8,16,32,64客戶端數(shù):1,2,3fuse_dfs掛載點(diǎn)數(shù):1,2,測(cè)試工具,hdfs_test(c)：測(cè)試命令的執(zhí)行和測(cè)試結(jié)果的采集,-jobtotalstatus-jobbegin=15:29:06end=15:30:21elapsed=75.00(S)-taskdetailstatus-pid=23690begin=15:29:06end=15:30:20elapsed=74.00(S)pid=23691begin=15:29:06end=15:30:20elapsed=74.00(S)pid=23694begin=15:29:06end=15:30:20elapsed=74.00(S)pid=23696begin=15:29:06end=15:30:20elapsed=74.00(S)pid=23698begin=15:29:06end=15:30:21elapsed=75.00(S)pid=23700begin=15:29:06end=15:30:20elapsed=74.00(S)pid=23702begin=15:29:06end=15:30:21elapsed=75.00(S)pid=23704begin=15:29:06end=15:30:20elapsed=74.00(S)-tasktotalstatus-pnum=8elapsed=594.00(S),測(cè)試命令,hdfsclient寫(xiě)ddif=/dev/zerobs=4096count=%d|hadoopfs-put-%s/%s-%d.dathdfsclient讀hadoopfs-get%s/f%03d.dat-/dev/nullfuse寫(xiě)ddif=/dev/zerobs=4096count=%dof=%s/%s-%d.datfuse讀ddif=%s/f%03d.datbs=4096of=/dev/null,文件大小對(duì)傳輸速率的影響,隨著文件尺寸的增加，執(zhí)行時(shí)間線形增長(zhǎng)，傳輸速度比較穩(wěn)定，一直保持在100M/S左右,文件大小對(duì)傳輸速率的影響,通過(guò)hdfsclient讀的速度居然比寫(xiě)的速度要慢一些。而且cache對(duì)速率影響也比較大，第二次讀取要比第一次快15%左右。隨著文件大小的增長(zhǎng)，傳輸速率有些波動(dòng)，不過(guò)還算是穩(wěn)定，大概在8990M/S之間。,并行度對(duì)傳輸速率的影響,在單臺(tái)hdfsclient上，隨著并行度的增加，總的傳輸效率比較穩(wěn)定，在4個(gè)并行的情況下基本達(dá)到單塊千兆網(wǎng)卡的極限流量，此時(shí)瓶頸在網(wǎng)卡上。對(duì)于并行中的每個(gè)進(jìn)程，執(zhí)行時(shí)間也隨著并行度的增加而線形增長(zhǎng)。,并行度對(duì)傳輸速率的影響,與前一個(gè)測(cè)試的結(jié)果類(lèi)似,Datanode個(gè)數(shù)對(duì)傳輸速率的影響,1個(gè)datanode時(shí)候的速率相對(duì)快一些，可能是由于結(jié)點(diǎn)增多后選擇datanode的算法要更消耗性能吧。,Datanode個(gè)數(shù)對(duì)傳輸速率的影響,讀的情況就沒(méi)那么明顯,rep個(gè)數(shù)對(duì)傳輸速率的影響,當(dāng)rep增加到2的時(shí)候，傳輸?shù)乃俾式档偷梅浅６啵驗(yàn)榇藭r(shí)要存儲(chǔ)2份數(shù)據(jù)。,rep個(gè)數(shù)對(duì)傳輸速率的影響,按理論說(shuō)rep個(gè)數(shù)多應(yīng)該多read有很大幫助，請(qǐng)大家思考為什么這張圖沒(méi)有體現(xiàn)？,fuse對(duì)傳輸速率的影響,hadoop的文檔介紹使用fuse寫(xiě)操作會(huì)有30%的效率損失，但是實(shí)際測(cè)試發(fā)現(xiàn)fuse的寫(xiě)速度僅僅有hdfsclient的一半。但是fuse的好處就是為hdfs提供一個(gè)極其方便的接口，使用戶感覺(jué)不到hdfs的存在。,fuse對(duì)傳輸速率的影響,使用fuse讀取的速率比使用hdfsclient要慢大概10%左右，因?yàn)閒use會(huì)有一定的消耗。不過(guò)這點(diǎn)性能損失和fuse帶來(lái)的便利性比較起來(lái)不算什么。,本地寫(xiě)對(duì)傳輸速率的影響,Dw-dhw-8既是hdfsclient，又是datanode，此時(shí)hdfs會(huì)直接將block寫(xiě)到本地磁盤(pán)，所以寫(xiě)入的速度會(huì)遠(yuǎn)遠(yuǎn)超過(guò)網(wǎng)卡的限制。,本地寫(xiě)對(duì)傳輸速率的影響,在將rep變成3份的時(shí)候，本地寫(xiě)的效率就沒(méi)那么明顯，因?yàn)榇藭r(shí)還需要將本地寫(xiě)的數(shù)據(jù)分布其他兩個(gè)節(jié)點(diǎn)上。,本地讀對(duì)傳輸速率的影響,Dw-dhw-8所需要的block全部能在本地找到，所以此時(shí)讀取不需要走網(wǎng)絡(luò)，完全可以在本地讀取。,本地讀對(duì)傳輸速率的影響,Dw-dhw-8所需要的block有一部分可以在本地找到，而其他只能從其他的datanode獲得，所以此時(shí)傳輸速度沒(méi)有上一個(gè)測(cè)試快，但也超過(guò)了110M/S,瓶頸1：datanode,此時(shí)每個(gè)hdfsclient的傳輸速度大概都在52M/S左右，那么對(duì)應(yīng)datanode上的傳輸速度基本在105M/S，基本達(dá)到了一個(gè)網(wǎng)卡傳輸能力，此時(shí)的瓶頸已經(jīng)在datanode的網(wǎng)卡上了?？梢?jiàn)在hdfs的集群中datanode的數(shù)量是系統(tǒng)能力很關(guān)鍵的因素。,瓶頸1：datanode,瓶頸2：client,在單臺(tái)hdfsclient上，隨著并行度的增加，總的傳輸效率比較穩(wěn)定，在2個(gè)并行的情況下基本達(dá)到單塊千兆網(wǎng)卡的極限流量，此時(shí)瓶頸在網(wǎng)卡上。對(duì)于并行中的每個(gè)進(jìn)程，執(zhí)行時(shí)間也隨著并行度的增加而線形增長(zhǎng)。,瓶頸2：client,瓶頸3：fuse,這張圖看起來(lái)很明顯，當(dāng)并行度增加到8的時(shí)候，寫(xiě)的速率急劇下降，僅僅是并行度4時(shí)候的60%左右。我想我們遇到了新的瓶頸，fuse處理能力的瓶頸。如果你把fuse的log打印出來(lái)，就知道此時(shí)fuse有多么的忙碌?？梢?jiàn)在架構(gòu)設(shè)計(jì)的過(guò)程中fu