linux下安裝配置mogilefs

一、MOGILEFS介紹MOGILEFS是一種分布式文件存儲系統(tǒng)?？芍С治募詣觽浞莸墓δ?，提供高可用性和高可擴展性。MOGILEFS不支持對一個文件內(nèi)部的隨機或順序讀寫，因此只適合做一部分應(yīng)用，如圖片服務(wù)，靜態(tài)HTML服務(wù)等，這些應(yīng)用在文件寫入后基本上不需要對文件進行修改，但是可以生成一個新的文件覆蓋原有文件。MOGILEFS分為如下幾部分1、數(shù)據(jù)庫部分數(shù)據(jù)庫保存了MOGILEFS的所有元數(shù)據(jù)，一般使用MYSQL，可以單獨拿數(shù)據(jù)庫服務(wù)器來做，也可以跟其他程序跑在一起。可以用MOGDBSETUP程序來初始化數(shù)據(jù)庫。數(shù)據(jù)庫部分非常重要，因為一個MOGILEFS系統(tǒng)的所有TRACKER都必須指向同一個數(shù)據(jù)庫，因此如果數(shù)據(jù)庫出現(xiàn)問題，那么整個MOGILEFS系統(tǒng)將處于不可用狀態(tài)，因此數(shù)據(jù)庫最好采用HA結(jié)構(gòu)，如MYSQL主從復(fù)制架構(gòu)，這樣可以降低數(shù)據(jù)庫出現(xiàn)問題對MOGILEFS系統(tǒng)的影響。2、跟蹤器（TRACKER）MOGILEFSD即TRACKERS程序，類似MOGILEFS的WIKI上介紹，TRACKERS做了很多工作，主要有以下幾個REPLICATION機器間復(fù)制文件DELETION從命名空間刪除是立即的，從文件系統(tǒng)刪除是異步的QUERYWORKER響應(yīng)客戶端的請求REAPER在磁盤失敗后將文件復(fù)制請求重新放到隊列中MONITOR監(jiān)測主機和設(shè)配的健康度和狀態(tài)TRACKER是訪問MOGILEFS的入口，所有系統(tǒng)管理相關(guān)的操作都要通過其中的某個TRACKERS完成，應(yīng)用系統(tǒng)的一些操作也要通過TRACKERS，因此一個高業(yè)務(wù)量的MOGILEFS系統(tǒng)最好同時運行多個TRACKERS來做負載均衡。3、存儲節(jié)點（STORAGE）MOGSTORED程序的啟動將使本機成為一個存儲節(jié)點。MOGSTORED啟動后，便可以通過MOGADM增加這臺機器到系統(tǒng)中。一臺機器可以只運行一個MOGSTORED作為存儲節(jié)點即可，也可以同時運行其他程序。存儲節(jié)點下面還需要定義設(shè)備（DEVICE），每個設(shè)備都有一個唯一的ID編號，設(shè)備也是用MOGADM添加到MOGILEFS系統(tǒng)中的。4、工具主要就是MOGADM，MOGTOOL這兩個工具了，用來在命令行下控制整個MOGILEFS系統(tǒng)以及查看狀態(tài)等等。5、客戶端（CLIENT）客戶端通過接口訪問MOGILEFS系統(tǒng)，對整個系統(tǒng)進行文件讀寫操作。（HTTP/WWWADMINDIGESTCOM/4/MOGILEFSE5AE89E8A385E4B88EE9858DE7BDAE/MOGILEFSE4BB8BE7BB8D）MOGILEFS特點應(yīng)用層不需要特殊的核心組件無單點失敗MOGILEFS安裝的三個組件（存儲節(jié)點、跟蹤器、跟蹤用的數(shù)據(jù)庫），均可運行在多個機器上，因此沒有單點失敗。（你也可以將跟蹤器和存儲節(jié)點運行在同一臺機器上，這樣你就沒有必要用4臺機器）推薦至少兩臺機器。（沒有單點失敗本人持保留意見）自動的文件復(fù)制基于不同的文件“分類”，文件可以被自動的復(fù)制到多個有足夠存儲空間的存儲節(jié)點上，這樣可以滿足這個“類別”的最少復(fù)制要求。比如你有一個圖片網(wǎng)站，你可以設(shè)置原始的JPEG圖片需要復(fù)制至少三份，但實際只有1OR2份拷貝，如果丟失了數(shù)據(jù)，那么MOGILE可以重新建立遺失的拷貝數(shù)。用這種辦法，MOGILEFS不做RAID可以節(jié)約磁盤，否則你將存儲同樣的拷貝多份，完全沒有必要?！氨萊AID好多了”在一個非存儲區(qū)域網(wǎng)絡(luò)的RAID（NONSANRAID）的建立中，磁盤是冗余的，但主機不是，如果你整個機器壞了，那么文件也將不能訪問。MOGILEFS在不同的機器之間進行文件復(fù)制，因此文件始終是可用的。傳輸中立，無特殊協(xié)議MOGILEFS客戶端可以通過NFS或HTTP來和MOGILEFS的存儲節(jié)點來通信，但首先需要告知跟蹤器一下。簡單的命名空間文件通過一個給定的KEY來確定，是一個全局的命名空間。你可以自己生成多個命名空間，只要你愿意，不過這樣可能在同一MOGILEFS中會造成KEY沖突。不用共享任何東西MOGILEFS不需要依靠昂貴的SAN來共享磁盤，每個機器只用維護好自己的磁盤。不需要RAID在MOGILEFS中的磁盤可以是做了RAID的也可以是沒有，如果是為了安全性著想的話RAID沒有必要買了，因為MOGILEFS已經(jīng)提供了。不會碰到文件系統(tǒng)本身的不可知情況在MOGILEFS中的存儲節(jié)點的磁盤可以被格式化成多種格式（EXT3,REISERFS等等）。MOGILESFS會做自己內(nèi)部目錄的哈希，所以它不會碰到文件系統(tǒng)本身的一些限制，比如一個目錄中的最大文件數(shù)。你可以放心的使用。MOGILEFS適合于靜態(tài)存儲，就是那種一次保存，多次讀取型的資源，比如以HTML方式靜態(tài)化處理的動態(tài)文件，圖片文件，其他只提供下載的文件等。（HTTP/BLOGCSDNNET/STARXU85/ARCHIVE/2008/12/04/3447301ASPX）二、MOGILEFS安裝第一首先要安裝MYSQL數(shù)據(jù)庫第二安裝依賴包執(zhí)行命令PERLMCPANESHELL進入PERL依賴包安裝模式INSTALLDANGASOCKETINSTALLDBIINSTALLNETNETMASKINSTALLGEARMANSERVERINSTALLGEARMANCLIENTASYNCINSTALLIOAIOINSTALLPERLBALINSTALLBUNDLEDBDMYSQLINSTALLMOGILEFSSERVERINSTALLMOGILEFSCLIENTINSTALLMOGILEFSUTILS上述依賴包全部安裝完畢后退出。找到DBD模塊所在的目錄，我的目錄為/ROOT/CPAN/BUILD/，這個目錄是上面安裝時下載的各種依賴包。CDDBDMYSQL30008PERLMAKEFILEPLLIBS“L/USR/LIB64/MYSQLLMYSQLCLIENTL/USR/LIB64LZ“CFLAGSI/USR/INCLUDE/MYSQLMYSQL_CONFIG/USR/BIN/MYSQL_CONFIGTESTHOST127001TESTDBTESTTESTUSERROOTTESTPASSWORD111111MAKEMAKETESTMAKEINSTALL第三建立數(shù)據(jù)庫和創(chuàng)建表進入MYSQL的控制臺MYSQLUROOTP111111，執(zhí)行下面的命令MYSQLMYSQLCREATEDATABASEMOGILEFSMYSQLGRANTALLONMOGILEFSTOMOGILEMYSQLSETPASSWORDFORMOGILEOLD_PASSWORD111111MYSQLFLUSHPRIVILEGESMYSQLQUIT然后再執(zhí)行下面的命令創(chuàng)建表MOGDBSETUPDBHOSTLOCALHOSTDBNAMEMOGILEFSDBUSERMOGILEDBPASSWORD111111DBROOTUSERROOTDBROOTPASS111111YESVERBOSE第四配置TRACKER的配置文件用ROOT用戶執(zhí)行ADDUSERMOGILEMKDIR/ETC/MOGILEFSVI/ETC/MOGILEFS/MOGILEFSCONFTRACKERS1270017001DB_DSNDBIMYSQLMOGILEFSHOST127001DB_USERMOGILEDB_PASS111111LISTEN1270017001CONF_PORT7001QUERY_JOBS10DELETE_JOBS1REPLICATE_JOBS5REAPER_JOBS1執(zhí)行如下命令來啟動SUMOGILEMOGILEREDHAT1MOGILEFSDMOGILEFSDC/ETC/MOGILEFS/MOGILEFSDCONFDAEMONMOGILEREDHAT1MOGILEFSDPSAUX|GREPMOGILEFSD查看是否啟動MOGILEFSD成功然后在各個TRACKER上進行如下的配置，以便把MOGILEFSD加入服務(wù)并在系統(tǒng)啟動時自動啟動編寫管理腳本在/ETC/RCD/INITD/下新建文件MOGILEFSD,內(nèi)容如下/BIN/BASHMOGILEFSDSTARTUPSCRIPTFORTHEMOGILEFSTRACKERCHKCONFIG23458515/此行必寫DESCRIPTIONMOGILEFSTRACKER/此行必寫，描述服務(wù)的內(nèi)容PROCESSNAMEMOGILEFSDCONFIG/ETC/MOGILEFS/MOGILEFSDCONFPIDFILE/VAR/RUN/MOGILEFSDPIDSOURCEFUNCTIONLIBRARY/ETC/RCD/INITD/FUNCTIONSPATHTOTHEAPACHECTLSCRIPT,SERVERBINARY,ANDSHORTFORMFORMESSAGESLOCKFILELOCKFILE/VAR/LOCK/MOGILEFSDRETVAL0STARTECHON“STARTINGMOGILEFSD“SUMOGILEC“/USR/BIN/MOGILEFSDC/ETC/MOGILEFS/MOGILEFSDCONFDAEMON“RETVALECHORETVAL0STOPSTOPSTATUSSTATUSMOGILEFSDRETVALRESTARTSTOPSLEEP1STARTRELOADRELOADECHO“USAGEMOGILEFSDSTART|STOP|RESTART|RELOAD|STATUS“EXIT1ESACEXITRETVAL然后依次執(zhí)行如下命令CD/ETC/RCD/INITDCHMOD755MOGILEFSDCHKCONFIGADDMOGILEFSD這樣，當LINUX啟動時MOGILEFSD就會自動啟動。也可以通過手動執(zhí)行以下命令來進行MOGILEFSD的啟動和停止SERVICEMOGILEFSDSTART|STOP|RESTART第五配置STORAGESERVER的配置文件ADDUSERMOGILEMKDIR/VAR/MOGDATAMKDIR/VAR/MOGDATA/DEV1第二臺目錄為/VAR/MOGDATA/DEV2CHOWNMOGILEMOGILE/VAR/MOGDATA/DEV1MKDIR/ETC/MOGILEFSVI/ETC/MOGILEFS/MOGSTOREDCONFMAXCONNS10000HTTPLISTEN00007500MGMTLISTEN00007501DOCROOT/VAR/MOGDATA然后啟動STORAGESERVERROOTLOCALHOSTMOGILEFSSERVER251MOGSTOREDDAEMONROOTLOCALHOSTMOGILEFSSERVER251PSAUX|GREPMOGSTORED1在每個STORAGE的機器上，對STORAGE進行相關(guān)的配置,以便把MOGSTORED加入服務(wù)并在系統(tǒng)啟動時自動啟動編寫管理腳本在/ETC/RCD/INITD/下新建文件MOGSTORED,內(nèi)容如下/BIN/SHMOGSTOREDSTARTUPSCRIPTFORTHEMOGLEFSSTORAGENODECHKCONFIG2358515DESCRIPTIONMOGILEFSSTORAGENODEPROCESSNAMEMOGSTOREDCONFIG/ETC/MOGILEFS/MOGSTOREDCONFPIDFILE/VAR/RUN/MOGSTOREDPIDSOURCEFUNCTIONLIBRARY/ETC/RCD/INITD/FUNCTIONSPATHTOTHEAPACHECTLSCRIPT,SERVERBINARY,ANDSHORTFORMFORMESSAGESLOCKFILELOCKFILE/VAR/LOCK/MOGSTOREDRETVAL0STARTECHON“STARTINGMOGSTORED“/USR/BIN/MOGSTOREDC/ETC/MOGILEFS/MOGSTOREDCONFDAEMONRETVALECHORETVAL0STOPSTOPSTATUSSTATUSMOGSTOREDRETVALRESTARTSTOPSLEEP1STARTRELOADRELOADECHO“USAGEMOGSTOREDSTART|STOP|RESTART|RELOAD|STATUS|“EXIT1ESACEXITRETVAL然后依次執(zhí)行如下命令CD/ETC/RCD/INITDCHMOD755MOGSTOREDCHKCONFIGADDMOGSTORED2MKDIR/DATA/MOGDATA建立數(shù)據(jù)目錄，在每個STORAGE按照所設(shè)置的配置文件建立數(shù)據(jù)目錄3根據(jù)你機器所能用的硬盤，在數(shù)據(jù)目錄下建立對應(yīng)的目錄并進行掛載ACD/DATA/MOGDATAFILEFILENWEFILE“/PATH/TO/FILE“OUTPUTSTREAMOUTMFSNEWFILE“FILEKEY“,“MYCLASS“,FILELENGTHFILEINPUTSTREAMINNEWFILEINPUTSTREAMFILEBYTEBUF