如何用PHP實現(xiàn)分布算法之一致性哈希算法

第如何用PHP實現(xiàn)分布算法之一致性哈希算法目錄傳統(tǒng)算法缺陷算法思想算法實現(xiàn)總結(jié)

傳統(tǒng)算法缺陷

對于服務(wù)器分布，我們要考慮的東西有如下三點：數(shù)據(jù)平均分布，查找定位準確，降低宕機影響。

傳統(tǒng)算法一般是將數(shù)據(jù)的鍵用算法映射出數(shù)字，對其用服務(wù)器數(shù)量取模，并根據(jù)結(jié)果選擇要存儲的服務(wù)器。其能達到數(shù)據(jù)平均分布和查找定位準確的要求，并且優(yōu)點是算法簡單，存取時的計算量都比較?。ㄔ跀?shù)據(jù)非常大時才會明顯）。

但其有一個致命缺點，即一個服務(wù)器宕機后的影響很大，我們可以推算一下一臺服務(wù)器宕機后的影響：

原有數(shù)據(jù)大部分丟失：服務(wù)器數(shù)量減少一臺，取模數(shù)減1導(dǎo)致取模值錯亂，如果以前有N臺服務(wù)器，那么宕機后數(shù)據(jù)只有1/(n*(n-1))的數(shù)據(jù)能夠被準確查找到。

負載無法均衡導(dǎo)致集體宕機：如果沒有及時處理宕機的服務(wù)器，那么他的存儲任務(wù)將會被順序積累給它的下一個服務(wù)器，那么下一個服務(wù)器也會很快被壓致宕機，如此一來，服務(wù)器組很快會集體宕機。

算法思想

一致性哈希算法是使用一定的哈希算法，將大量的數(shù)據(jù)平均映射到不同的存儲目標上，在保證其查找準確性的同時，還要考慮其中一個存儲目標失效時，其他存儲目標對其責(zé)任存儲內(nèi)容的負載均衡。

一致性哈希算法的實現(xiàn)思想不難理解，如圖：

1.用一定的哈希算法（哈希函數(shù)等）將一組服務(wù)器的多個（數(shù)目自己設(shè)定）節(jié)點隨機映射分散到0-232之間，由于其隨機分布，保證了其數(shù)據(jù)平均分布的特點；

2.用同一算法計算要存儲數(shù)據(jù)的鍵，根據(jù)服務(wù)器節(jié)點確定其存儲的服務(wù)器結(jié)點，由于每次用同一算法計算，所以得出的結(jié)果是相同的，使其查找定位準確；

3.查找數(shù)據(jù)時，再次用同一算法計算鍵，并查找服務(wù)器的數(shù)據(jù)結(jié)點；

4.如果有一個服務(wù)器宕機，消除其服務(wù)器結(jié)點，并將數(shù)據(jù)放在下一個結(jié)點上，由于隨機節(jié)點位置的隨機性，所以數(shù)據(jù)被其他服務(wù)器平均負載，也就降低了宕機影響。

需要注意的是，這個環(huán)形空間只是一個虛擬空間，只是表示了服務(wù)器存儲的范圍和數(shù)據(jù)的落點，在進行存儲時，我們還要通過查找到的落點，將數(shù)據(jù)放入對應(yīng)的服務(wù)器進行查改。

算法實現(xiàn)

編程語言我們使用PHP來實現(xiàn)一致性哈希算法：

我們主要用到以下函數(shù)：

intcrc32(string$str)

生成str的32位循環(huán)冗余校驗碼多項式。這通常用于檢查傳輸?shù)臄?shù)據(jù)是否完整。

stringsprintf(string$format[,mixed$args[,mixed$...]])

通過傳入的格式產(chǎn)生字符串的特定格式形態(tài)。

實現(xiàn)如下：

classConsistance

protected$num=24;//設(shè)定每一個服務(wù)器的節(jié)點數(shù)，數(shù)量越多，宕機時服務(wù)器負載就會分布得越平均，但也增大數(shù)據(jù)查找消耗。

protected$nodes=array();//當前服務(wù)器組的結(jié)點列表。

//計算一個數(shù)據(jù)的哈希值，用以確定位置

publicfunctionmake_hash($data)

returnsprintf('%u',crc32($data));

//遍歷當前服務(wù)器組的節(jié)點列表，確定需要存儲/查找的服務(wù)器

publicfunctionset_loc($data)

$loc=self::make_hash($data);

foreach($this-nodesas$key=$val)

if($loc=$key)

return$val;

//添加一個服務(wù)器，將其結(jié)點添加到服務(wù)器組的節(jié)點列表內(nèi)。

publicfunctionadd_host($host)

for($i=0;$i$this-$i++)

$key=sprintf('%u',crc32($host.'_'.$i));

$this-nodes[$key]=$host;

ksort($this-nodes);//對結(jié)點排序，這樣便于查找。

//刪除一個服務(wù)器，并將其對應(yīng)節(jié)點從服務(wù)器組的節(jié)點列表內(nèi)移除。

publicfunctionremove_host($host)

for($i=0;$i$this-$i++)

$key=sprintf('%u',crc32($host.'_'.$i));

unset($this-nodes[$key]);

}

我們用以下代碼進行測試：

結(jié)果如下：

總結(jié)

算法的實現(xiàn)到此，我們還可以對算法進行優(yōu)化，如在服務(wù)器數(shù)量和每個服務(wù)器節(jié)點數(shù)都很多的情況下，對查找結(jié)點的過程進行優(yōu)化，因為排序好的，可以用二分法進行查找，加快查詢效率，這些，仁智各見吧。

另外，雖然nginx服務(wù)器有一致性算法的插件，memcache和redis也都有相應(yīng)的插件，MySQL的中間件有相應(yīng)的集成，但是了解一