并行機緊耦合松耦合系統(tǒng)原理構(gòu)成以及存儲體系結(jié)構(gòu)

1、并行機緊耦合松耦合系統(tǒng)原理構(gòu)成以及存儲體系結(jié)構(gòu)姓名：_班級：_學(xué)號：_并行機緊耦合松耦合系統(tǒng)原理構(gòu)成以及存儲體系結(jié)構(gòu)摘要計算機發(fā)展的趨勢是越來越先進，越來越高級。從數(shù)據(jù)處理、信息處理到知識處理，最終到智能處理，每前進一步，都要求增強計算機系統(tǒng)的處理能力。計算機發(fā)展的歷史表明：為了達到高性能，除了必須提高元器件的速度外，系統(tǒng)結(jié)構(gòu)的改進是另一種重要途徑，特別是當元器件的速度達到極限時，改進系統(tǒng)結(jié)構(gòu)就成為問題的焦點。對此，了解緊耦合松耦合系統(tǒng)原理構(gòu)成以及存儲體系結(jié)構(gòu)十分重要。AbstractTrends in computer development is more advanced, more a

2、nd more advanced. From the data processing, information processing to knowledge processing, eventually to the intelligent processing. Every step, require enhanced processing capabilities of the computer system .The history of computer development shows that in order to achieve high performance, in a

3、ddition to the need to improve the speed of external components. Improved system architecture is another important way. In particular, when the speed limit is reached components. Improved system architecture has become the crux of the problem. Therefore，learn tightly coupled and loosely coupled syst

4、ems theory constitutes storage architecture is very important.關(guān)鍵字：緊耦合；松耦合；存儲體系；Cache一致性一多處理機系統(tǒng)多處理機系統(tǒng)是由多臺處理器組成的計算機系統(tǒng)。多處理機系統(tǒng)可分為兩大類：基于共享存儲的多處理機系統(tǒng)和基于分布式存儲的多處理機系統(tǒng)。前者稱為緊耦合多處理機系統(tǒng)，而后者稱為松耦合多處理機系統(tǒng)。多處理機系統(tǒng)也成為并行計算機系統(tǒng)。并行機上使用的操作系統(tǒng)稱為并行操作系統(tǒng)。并行機性能的發(fā)揮在一定程度上依賴于操作系統(tǒng)的支持，目前并行計算機的操作系統(tǒng)大都是以為單處理機系統(tǒng)設(shè)計的UNIX操作系統(tǒng)為基礎(chǔ)的。對于并行機來說，這并不是

5、真正的并行操作系統(tǒng)。并行操作系統(tǒng)與傳統(tǒng)的單機操作系統(tǒng)的主要區(qū)別在于前者在資源調(diào)度與管理，進程同步與通信等方面比后者具有更強的功能，因而實現(xiàn)起來也就更為復(fù)雜。多處理機系統(tǒng)是由單處理機系統(tǒng)演變而來的。雖然不能排除重新設(shè)計、開發(fā)并行操作系統(tǒng)的可能性，但是人們繼承已有軟件的愿望是不能忽視的。因此，在單機系統(tǒng)下運行的軟件應(yīng)該能自然地、很少修改地在多機系統(tǒng)下運行。這是衡量一個多機系統(tǒng)是否成功的重要標志。二緊耦合系統(tǒng)2.1緊耦合（Tightly Coupled）各處理機之間通過快速總線或開關(guān)陣列相連，共享內(nèi)存，整體系統(tǒng)由一個統(tǒng)一的OS管理。 通過高速總線或高速交叉開關(guān)，實現(xiàn)多個處理器之間的互連。系統(tǒng)中的所有

6、資源和進程，都由操作系統(tǒng)實施統(tǒng)一的控制和管理該類型的系統(tǒng)有兩種方式：（1） 多處理器共享主存儲器系統(tǒng)和I/O設(shè)備；（2） 將多處理器與多個存儲器分別相連，或?qū)⒅鞔鎯ζ鲃澐譃槿舾蓚€能獨立訪問存儲器模塊，每個處理器對應(yīng)一個存儲器或存儲器模塊，而且每個處理器只能訪問其所對應(yīng)的存儲器或存儲器模塊，以便多個處理機能同時對主存進行訪問。2.2原理構(gòu)成一般所說的多處理機主要還是指的緊耦合多處理機，它是通過共享主存來實現(xiàn)處理機之間的通信的。系統(tǒng)中的各臺處理機，既可以共同執(zhí)行一個任務(wù)，也可以同時執(zhí)行多個任務(wù)。所有的處理機或者通過同一通道，或者通過不同的通道，共享一批處理輸入輸出設(shè)備。整個系統(tǒng)由一個統(tǒng)一的操作系統(tǒng)

7、來管理，各個處理機之間在作業(yè)、程序、任務(wù)、文件盒和數(shù)據(jù)連接，處理機間的數(shù)據(jù)通信速率將受限于主存的頻寬，而處理機的個數(shù)將受限于處理機-主存互聯(lián)網(wǎng)絡(luò)帶寬以及多臺處理機同時訪問主存所引起的沖突概率。為了減少發(fā)生訪問主存沖突，多處理機的主存都采用摸m多體交叉存取。模數(shù)m越大，發(fā)生沖突的概率越低，但必須注意解決好數(shù)據(jù)在各存儲器模塊中的定位和分配?？梢宰尭魈幚頇C自帶一個小容量的局部存儲器，存放該處理機運行進程的核心代碼和經(jīng)常使用的操作系統(tǒng)表格，來進一步減少訪問主存的沖突。也可以讓處理機自帶高速緩沖存儲器Cache，減少訪問主存的次數(shù)。上面這些辦法通常被綜合使用，以提高系統(tǒng)的性能。2.3緊耦合系統(tǒng)的結(jié)構(gòu)圖2

8、.1（a）和（b）是兩種緊耦合多處理機系統(tǒng)的基本結(jié)構(gòu)形式。兩種形式的主要區(qū)別是處理機是否自帶專用Cache。（a）（b）圖 2.1緊耦合多處理機系統(tǒng)的結(jié)構(gòu) 由圖2.1可以看出，該系統(tǒng)由p臺處理機、m個存儲模塊和d個I/O通道組成。通過處理機-存儲器互連網(wǎng)絡(luò)、I/O-處理機互連網(wǎng)絡(luò)和中斷信號互連網(wǎng)絡(luò)進行互連。處理機-存儲器互連網(wǎng)絡(luò)實現(xiàn)各處理機與各存儲模塊的連接，使之經(jīng)仲裁后，每個存儲模塊在一個存儲周期只能相應(yīng)一臺處理機的訪存請求。為了減少多臺處理機同時訪問同一存儲模塊的沖突，存儲器模塊數(shù)m應(yīng)等于或略大于處理機數(shù)p。每臺處理機自帶一個局部存儲器的方案，不僅可以減少訪問主存的信息量，降低訪問主存沖突

9、的概率，也可以減少處理機-存儲器互連網(wǎng)絡(luò)的使用沖突。如果同時自帶專用Cache，就可以進一步減少這類沖突。存儲器映像模塊用于控制將處理機訪問地址映像到局部存儲器、專用Cache或主存模塊。至于存儲器的每個模塊，又可以是由按流水方式工作的多個子模塊構(gòu)成。2.4對稱多處理機系統(tǒng)和非對稱多處理機系統(tǒng)處理機和連接外設(shè)的I/O通道通過I/O-處理機互連網(wǎng)絡(luò)進行通信。能實現(xiàn)各處理機與各I/O通道之間完全連接的對稱型的互連網(wǎng)絡(luò)，盡管有很大的連接靈活性，但成本高。所以多數(shù)處理機還是采用非對稱型的互連，即連到一臺處理機的設(shè)備是不能被其他處理機直接訪問的。圖2.2就是非對稱型I/O子系統(tǒng)的多處理機的結(jié)構(gòu)。在非對稱

10、的I/O子系統(tǒng)中，一旦某一處理機失效，它所連接的外設(shè)就無法被其他處理機所使用。這是對稱I/O子系統(tǒng)所不會發(fā)生的。然而，很多多處理機系統(tǒng)都是通過采用適當?shù)娜哂噙B接，在一定程度上克服了這一缺點。圖2.3就是一個采用冗余連接的非對稱子系統(tǒng)的例子。在此例中，處理機1發(fā)生故障時，處理機p仍可訪問IOP1。當然這是以增加一個多通路仲裁邏輯為代價的。 圖2.2 具有非對稱I/O子系統(tǒng)的多處理機 圖2.3采用冗余連接的非對稱I/O子系統(tǒng)三松耦合系統(tǒng)3.1松耦合（Loosely Coupled）各處理機帶有各自的存儲器、I/O設(shè)備和操作系統(tǒng)，通過通道或通信線路相連。每個處理機上獨立隱形OS。通過通道或通信線路，

11、來實現(xiàn)多臺計算機之間的互連。每臺計算機都有自己的存儲器和I/O設(shè)備，并配置了OS來管理本地資源和在本地運行的進程。每一臺計算機都能獨立地工作，必要時可通過通信線路與其它計算機交換信息，以及協(xié)調(diào)它們之間的工作。3.2原理構(gòu)成在構(gòu)成松耦合的多處理機系統(tǒng)中，每臺處理機都有一個容量較大的局部存儲器，用于存儲經(jīng)常要用到的指令和數(shù)據(jù)，以減少緊耦合系統(tǒng)中存在的訪問主存沖突。不同處理機間或者通過通道互連來實現(xiàn)通信，以共享某些外部設(shè)備；或者通過消息傳送系統(tǒng)MTS（Message Transfer System）連接，來交換信息，這是各臺處理機可帶有自己的外部設(shè)備。消息傳送系統(tǒng)通常采用簡單的分時總線或環(huán)形、星形或

12、樹形拓撲結(jié)構(gòu)。松耦合多處理機系統(tǒng)比較適合于作粗粒度的并行計算，處理的作業(yè)被分割成若干相對獨立的任務(wù)，在各個處理機上并行執(zhí)行，而各任務(wù)間的信息流量較小。如果各處理機任務(wù)間交互作用很小，這種耦合很松的系統(tǒng)是很有效的，常?？梢园阉闯墒且粋€分布式系統(tǒng)。3.3松耦合系統(tǒng)的結(jié)構(gòu)3.3.1非層次型圖3.1是一個典型的、通過消息傳送系統(tǒng)進行互連的松耦合非層次型多處理機系統(tǒng)。該系統(tǒng)有n個計算機模塊（或稱節(jié)點）。每個計算機模塊中有處理器CPU、局部存儲器LM（Local Memory）和一組I/O設(shè)備。此外，還有一個與消息傳送系統(tǒng)MTS的接口部件，即通道和仲裁開關(guān)CAS（Channel and Arbiter

13、Switch），用于對兩個或多個計算機模塊同時請求訪問MTS的某個物理段時進行仲裁。按照一定的算法，選擇其中的一個請求并延遲其他的請求，直至被選擇的請求服務(wù)完成。CAS的通道中，有一個高速通信存儲器來緩沖傳送的請求塊，該通信存儲器經(jīng)MTS可被所有的處理機所訪問。MTS可以是一個單總線，讓各通信存儲器連到此時使用的單總線上。由于總線上數(shù)據(jù)傳送的速度要求不是很高，其互連網(wǎng)絡(luò)成本又比緊耦合的低，因而可以構(gòu)成由數(shù)百臺到數(shù)千臺微處理機相連的多處理機系統(tǒng)。MTS也可以是一個共享的存儲器系統(tǒng)，此時可由一組存儲模塊和一個處理機-存儲器互連網(wǎng)絡(luò)來實現(xiàn)或由一個多端口存儲器來實現(xiàn)。采用多端口存儲器形式互連，開關(guān)的仲

14、裁和選擇邏輯被分布于存儲器的模塊之中。在這種松耦合多處理機系統(tǒng)中，處理機數(shù)目一般很小，在松耦合的處理機系統(tǒng)中，不同處理機上的任務(wù)之間的通訊都是通過通信存儲器進行的，而同一處理機內(nèi)的各任務(wù)之間的通訊則只需經(jīng)過局部存儲器即可完成。圖3.1通過消息傳送系統(tǒng)連接的松耦合多處理機結(jié)構(gòu)3.3.2層次型常采用多級總線實現(xiàn)層次連接。像卡內(nèi)基-梅隆大學(xué)設(shè)計的松耦合多處理機C*m，則是一個層次型總線形式的多處理機系統(tǒng)，其結(jié)構(gòu)如圖3.2所示。所有計算機模塊通過兩級總線按層次連接。Map總線可連多達14個計算機模塊C，構(gòu)成一個計算機模塊組，以加強組內(nèi)各處理機間的協(xié)作，用低的通信開銷來實現(xiàn)數(shù)據(jù)共享。連到Map總線的Km

15、ap，是系統(tǒng)內(nèi)各計算機模塊組間的連接器。多個模塊組間為提高可靠性，通過兩條intercluster組間總線，連接成一個完全的C*m系統(tǒng)，采用包交換作為通信手段。圖3.2松耦合多處理機C*m的系統(tǒng)結(jié)構(gòu)四存儲體系結(jié)構(gòu)4.1存儲器的組織由m個存儲器模塊構(gòu)成的并行存儲器，存儲單元的地址是按交叉方式編址的。這種地址交叉編址方式，主要有低位交叉和高位交叉兩種。m個模塊的低位交叉編址方式如圖4.1所示，由主存物理地址的低log2m位代碼選擇模塊，高log2n位代碼選擇模塊內(nèi)的單元，整個存儲器存儲單元按物理地址順序輪流地分布在各個存儲器模塊中，模塊內(nèi)部順序單元的物理地址不連續(xù)，其步距為m。圖4.1m個模塊的低

16、位交叉編址m個模塊的高位交叉編址方式如圖4.2所示，由主存物理地址的高log2m位代碼選擇模塊，低log2n位代碼選擇模塊內(nèi)的單元，整個存儲器存儲單元按物理地址順序從模塊0到模塊m-1依次連續(xù)分布，且模塊內(nèi)部順序單元的物理地址也是順序的。圖4.2m個模塊的高位交叉編址集中式共享存儲器此存儲器的三個特點：（1）處理器數(shù)量不大從而所有處理器可共享一個集中式存儲器，處理器和存儲器通過總線互連。（2）采用大容量Cache可使采用單一總線和單一存儲器滿足數(shù)目不多處理器對存儲器的要求。（3）每一處理器訪問存儲器的時間是相等的。4.2.2分布式共享存儲器此存儲器特點：（1）存儲器分布于各節(jié)點中，所有節(jié)點通過

17、網(wǎng)絡(luò)互連。（2）訪問可以是本地的，也可以是遠程的；可以不支持Cache一致性協(xié)議，規(guī)定共享數(shù)據(jù)不進入Cache，僅私有數(shù)據(jù)才保存在cache中。4.3Cache的一致性問題產(chǎn)生Cache不一致性問題的原因Cache是容量較小、速度較快的存儲器，Cache中存放經(jīng)常使用的信息，在多處理機系統(tǒng)中，每個處理機都有自己專用的Cache，處理機每次訪問存儲器是，首先查看Cache中是否有要訪問的信息。程序在剛開始時，Cache中是沒有任何信息的，當處理機從主存中取來指令或數(shù)據(jù)的同時，把指令或數(shù)據(jù)附近的內(nèi)容以塊為單位取來，放到Cache中，這樣以后的訪問就有可能從Cache中直接取到所需的信息。產(chǎn)生多處理

18、機Cache不一致性問題的原因在多處理機系統(tǒng)中，當一個處理機訪問存儲器時，首先檢查要訪問的數(shù)據(jù)在cache中是否已經(jīng)存在，如果存在，則不需要訪問共享存儲器，若一個處理機向存儲器寫數(shù)據(jù)時采用“寫回”策略，存儲器中仍保留過時的內(nèi)容，這時另外一個處理機從存儲器相應(yīng)單元讀到的將是不正確的內(nèi)容，即使是采用“寫透”策略，仍會出現(xiàn)問題。這就是多處理機系統(tǒng)最有名的Cache一致性問題。歸納起來，多處理機系統(tǒng)產(chǎn)生Cache不一致問題的原因有三個方面：共享可寫數(shù)據(jù)引起的不一致、進程遷移引起的Cache不一致和I/O傳輸引起的不一致，對于進程遷移引起的Cache不一致，可以通過禁止進程遷移的方法來解決，也可以在進程

19、掛機時，靠硬件的方法將Cache中該進程改寫過的信息塊強制寫回主存相應(yīng)位置來解決，對于I/O操作引起的不一致，一種直接的方法是將I/O處理機與各個專用Cache直接相連，形成主處理機與I/O處理機共享Cache的結(jié)構(gòu)，于是只要解決了各Cache之間，以及Cache與主存器之間的數(shù)據(jù)一致性，就可保證I/O操作的一致性。4.4解決多處理機Cache不一致性問題的策略解決多處理機Cache不一致性問題主要有兩種辦法：監(jiān)聽Cache協(xié)議和基于Cache目錄的協(xié)議。監(jiān)聽Cache協(xié)議監(jiān)聽Cache協(xié)議，即各處理機的每次寫操作都是公開發(fā)布，為所有的處理機知道，那么各處理機就根據(jù)監(jiān)聽的信息對自身的數(shù)據(jù)采取保

20、持一致的措施，采用監(jiān)聽Cache協(xié)議，當某個Cache中的內(nèi)容被改寫后，可以有兩個方法避免出現(xiàn)遠程Cache內(nèi)容不一致，第一種方法是使所有遠程Cache中相同數(shù)據(jù)塊“作廢”，是全部Cache中該數(shù)據(jù)塊只有一個有效，簡稱寫作廢策略，另一種方法是改寫時，凡存有該數(shù)據(jù)塊的遠程Cache也進行同樣的改寫，使它們的內(nèi)容同時“更新”，結(jié)果在全部Cache中可能有多個有效的數(shù)據(jù)塊，簡稱寫更新策略。如果采用寫更新方式，每當某個Cache中的內(nèi)容被改寫后，就必須將改寫的內(nèi)容送到所有的遠程Cache中，在總線方式組織的系統(tǒng)中，將會大大地增加總線的負擔，所以一般的應(yīng)用系統(tǒng)很少使用寫更新策略。在采用寫作廢策略的系統(tǒng)中

21、，為了表示Cache中每個數(shù)據(jù)塊當前的狀態(tài)，必須安排一些標志位說明該數(shù)據(jù)是有效或無效，有時可能需要兩個標志位，除說明本地的數(shù)據(jù)塊狀態(tài)外，還需要表明與系統(tǒng)中對應(yīng)數(shù)據(jù)塊之間的某種關(guān)系。基于Cache目錄的協(xié)議基于Cache目錄的協(xié)議，就是當某個處理機的寫操作無法為其他的處理機知道時，通過修改目錄間接地向其他處理機報告，以便其他處理機采取措施，目錄協(xié)議的思想是非常簡單的，即將所有使用某一數(shù)據(jù)塊的處理機登記在冊，每次變動前都要查目錄，變動后則修改目錄，根據(jù)目錄存儲方法的不同可以將基于Cache目錄的協(xié)議分為集中式目錄協(xié)議和分布式目錄協(xié)議。4.集中式目錄協(xié)議集中式目錄協(xié)議是指在主存儲器中只用一個目錄來標

22、志數(shù)據(jù)塊在各個處理機Cache中存儲的情況。集中式目錄協(xié)議有幾種方案，其中全映射方案就是采用一個集中式存儲的目錄，每個數(shù)據(jù)塊都在目錄中建立一個項，目錄項中設(shè)有與系統(tǒng)處理機個數(shù)相同的“存在位”，每個處理機一位，如果該數(shù)據(jù)塊存在于某處理機的Cache中，相應(yīng)位就置1，反之就置0，此外，在每一項中還設(shè)置了一個重寫位，如果該位為1，表示該數(shù)據(jù)塊的內(nèi)容已經(jīng)被改寫過，此時存在位中只能有一位為1，即改寫此數(shù)據(jù)塊的那個處理機擁有該塊與目錄表相對應(yīng)，每個Cache中也為每個數(shù)據(jù)塊安排兩個控制信息位，一個是有效位（V），表示該數(shù)據(jù)的有效或無效，只有當V=1時，該數(shù)據(jù)塊才可用的，另外一位稱為專用位（P），如P=1，

23、處理機可以直接向該數(shù)據(jù)塊執(zhí)行寫操作，實際上這時的Cache是數(shù)據(jù)塊唯一正確的Cache拷貝，反之，當P=0時，不允許直接寫入。如圖4.4.1所示，全映射目錄協(xié)議中各標志位的情況。圖全映射目錄協(xié)議分布式目錄協(xié)議分布式目錄協(xié)議又稱為鏈表式目錄協(xié)議，該協(xié)議將目錄分散配置到各Cache中，用鏈表將有關(guān)的Cache連接在一起，每個數(shù)據(jù)塊建立一個數(shù)據(jù)鏈表，每個鏈表中只包含擁有該數(shù)據(jù)塊的Cache。于是，存儲器中的每個數(shù)據(jù)塊都只有一個指針，指向使用這個數(shù)據(jù)塊的頭節(jié)點，頭結(jié)點再指向下一個擁有此數(shù)據(jù)塊的Cache，直到最后一個結(jié)點，鏈表可以是單向也可以是雙向，單向鏈表只是一個指針，雙向鏈表則需要前項指針和后項指

24、針。如圖所示是分布式目錄協(xié)議所用雙向鏈表示意圖。圖分布式目錄協(xié)議所用雙向鏈表五總結(jié)多處理機系統(tǒng)按其耦合方式分為緊耦合和松耦合兩種不同的系統(tǒng)結(jié)構(gòu)。耦合系統(tǒng)是指通過電信號連接在一起的系統(tǒng)，或者說是一個共享硬件資源的系統(tǒng)。緊耦合多處理機系統(tǒng)是通過一個共享的高速主存來實現(xiàn)處理機之間的聯(lián)系的，松耦合多處理機系統(tǒng)是通過機間通信來實現(xiàn)處理機間聯(lián)系的。松耦合多處理機也稱為分布式存儲器多處理機系統(tǒng)。緊耦合多處理機系統(tǒng)，各處理機與主存之間通過互連網(wǎng)絡(luò)連接，處理機間的數(shù)據(jù)通信速率受限于主存的頻寬，而處理機的個數(shù)受限于處理機-主存互連網(wǎng)絡(luò)帶寬以及多個處理機同時訪問主存所引起沖突的概率。為減少訪問存沖突，多處理機的主存

25、宜采用多體交叉存取。松耦合多處理機系統(tǒng)，沒有共享的高速主存，處理機數(shù)可以很多，但是要求任務(wù)之間的交互作用小，在這種情況先，可以把松耦合多處理機系統(tǒng)看成是一個分布式計算機系統(tǒng)。設(shè)置Cache的目的就是為了提高存儲系統(tǒng)的速度，使之盡可能小地影響CPU的運行速度。在多處理機系統(tǒng)中，保持Cache內(nèi)容與主存內(nèi)容一致性，使多個處理機并行協(xié)調(diào)完成一個復(fù)雜問題的計算，使并行處理機系統(tǒng)展現(xiàn)出在性能價格比、可靠性、可擴展型的優(yōu)勢。參考文獻1徐甲同. 高級操作系統(tǒng)M. 西安：西安電子科技大學(xué)出版社，19982趙慶敏，李偉平. 多處理機系統(tǒng)分析J. 微計算機應(yīng)用 2005，26(01)：115-117.3Abraham Silberschatz /Peter Baer Galvin /Greg Gagne著，鄭扣根 譯 操作系統(tǒng)概念M. 高等教育出版社，2010.14李亞民. 計算機組成與系統(tǒng)結(jié)構(gòu)M. 清華大學(xué)出版社， 20005徐甲同，李學(xué)干. 并行處理技術(shù)M. 西安電子科技大學(xué)出版社，19996趙敬 操作系統(tǒng)M. 中國鐵道出版社，20097傅麒麟，徐勇. 現(xiàn)代計算機體系結(jié)構(gòu)M. 北京希望電子工業(yè)出版社，20028陳國良. 并行計算機體系結(jié)構(gòu)M. 高等教育出版社，20029鄭緯民. 計算機系統(tǒng)結(jié)構(gòu)M. 清華大學(xué)出版社，199810AnderwS.Tanenbaum,陳向群，馬洪兵