搭建PC機群不等于高性能計算機研究

搭建PC機群不等于高性能計算機研究丁一平

當前，中國學術界、企業(yè)界搭建PC機群成為流行，對用戶不失為是好事，但對高性能計算機的研究帶來一些錯誤理解，不利于作為國家戰(zhàn)略制高點的高性能計算機的長期發(fā)展。1．Beowulf機群不是真正的超級計算機十年前，會做386PC是件了不起的事，現(xiàn)在IBM、HP、Compaq、Dell、聯(lián)想等傳統(tǒng)PC廠商早都在驚呼“后PC時代”的來臨，要進行轉型，導致這種變化的“商品化”和“標準化”趨勢這把雙刃劍，也深刻地影響著高性能計算機。商品化趨勢是指組成計算機系統(tǒng)的部件（如CPU、內存、網絡、存儲、電源、管理軟件）越來越商品化，這些大量生產的，大量使用的部件的性能越來越接近高性能計算機系統(tǒng)的專用部件，且價格低廉，這就打破了以IBM為代表的封閉系統(tǒng)的模式。標準化趨勢是指計算機系統(tǒng)的部件有了許多工業(yè)標準，在開放系統(tǒng)架構下大家可以互相聯(lián)合，組成高性能的系統(tǒng)。這兩個趨勢使得研制高性能系統(tǒng)的門檻降低，這也是中國出的系統(tǒng)能接近西方水平的基礎來源。Beowulf系統(tǒng)是這兩種趨勢的一種極端表現(xiàn)。Beowulf的定義是：將一堆商品化的硬件和下載的開放源碼的軟件組裝成“個人超級計算機”。說是PersonalSupercompter是因為它多由少數(shù)用戶使用，由用戶象PC那樣管理。有時也會加入一些開發(fā)的邊緣性的軟件，大多數(shù)系統(tǒng)是由系統(tǒng)使用者、或企業(yè)以PC機群的形式搭建。所以我們不必奇怪人們會在短時間內做出TFLOPS級系統(tǒng)，也不必詫異某個物理或化學專業(yè)的研究生也能在一個月內做出很好地滿足他的需求的超級計算機。這些事件在五年前還是天方夜談。在國際上的大學、學術機構里，已經形成潮流，有一些書、網站教你如何搭建BeowulfPC機群，一些企業(yè)也開始涉足期間，ADS（一家石油軟件公司）、Dell就是例子。PC機群形式的Beowulf系統(tǒng)可以說是高性能計算機的一種，在它面前，人們也很容易將高性能計算機等同于運算峰值，但“TFLOPS決不等于HPC”。2．一個典型Beowulf機群下面是教科書上的搭建BeowulfPC機群的典型例子，一些企業(yè)的產品也同樣采用。l

結點：IA架構的1U或2U機架式PC服務器l

網絡：MyricomMyrinet/DolphinSCI/Ethernetl

操作系統(tǒng)：RedhatLinuxl

編譯器：GNUGCC/G77l

數(shù)學庫：FreeScalapackl

通信軟件：FreeMyricomGMl

并行開發(fā)環(huán)境：FreeMPICH-GM，PVM-GMl

作業(yè)管理：GNUOpenPBSl

系統(tǒng)管理：GNUSCMSl

監(jiān)控管理：GNUOSCARl

文件系統(tǒng)：NFSl

可選的商品化軟件：編譯器PGI、并行開發(fā)環(huán)境WulfkitScaliMPI，MPI性能分析工具Vampir、性能分析工具Vtune等3．誰需要Beowulf機群BeowulfPC機群對推廣并行計算，拓寬并行計算應用領域，提升基礎研究的科研平臺，教育用戶等方面有好處，Beowulft同時也壓縮了純計算密集應用的系統(tǒng)的增值空間，所以可以類似地說現(xiàn)在是“后Cluster時代”。Beowulf的最大特點是廉價和flops密集，所以最需要BeowulfPC機群是大學、科研機構中追求flops運算能力（也可稱Linpack）的用戶，他們的需求大多是純計算密集型，他們的應用對Cache、內存、I/O、可管理性、穩(wěn)定性沒有要求，應用都是自己開發(fā)的，希望把每一分錢投到CPU上、投到每秒多少億次上（Gflops）。許多科研人員自己就是搭建和管理Beowulf的高手。這里解釋一下Linpack，它是計算機運行線性方程組求解應用時的性能，它的來源是早期計算機的性能非常低，達到每秒一億次運算都十分困難，運算能力是追求的目標，所以人們以此作為標志，計算機的Top500排名也延用了Linpack?，F(xiàn)在，Linpack的意義已不大，一是獲得萬億次Linpack對大多數(shù)用戶和企業(yè)都相當容易、便宜（成本RMB1000-1200萬），二是它只能反映系統(tǒng)CPU的浮點指令密集型應用的運算能力，這樣的應用在科學計算領域內也很少；另外，日本的向量機的Linpack效率可到80%（與峰值相比），SUN/SGI的共享存儲系統(tǒng)可達70%，IBM機群可達60%，PC機群可達50%，但應用的效率多在5-10%之間，向量機能高一些。所以，片面追求Linpack會讓高性能計算機研究和企業(yè)走向誤區(qū)。BeowulfPC機群對用戶和高性能計算機領域是好事，對企業(yè)也是一種可取的市場行為，滿足部分用戶的需求。但我們應有正確的認識，不要得出高性能計算機很容易做、許多企業(yè)都會做的結論。以現(xiàn)在的技術，搭建10Tflops（5TflopsLinpack）的BeowulfPC機群都不是什么難事，美國政府最近在ASCI等計劃中加大對高性能計算機的投入，說明高性能計算機仍然是高技術的制高點之一。4．Beowulf機群的缺點BeowulfPC機群在一體化軟件、性能、穩(wěn)定性、管理性等諸多方面先天不足，不可能替代真正的超級計算機，更不適合做數(shù)據密集型、企業(yè)級計算應用。這里以IBMSP為例，說明Beowulf機群與超級計算機的差距。l

Free軟件：Beowulf系統(tǒng)大量采用的自由軟件的升機、維護沒有保障，用戶有新要求時，也很難滿足；所以企業(yè)界很少使用Beowulf機群。大量看到的還是IBMCluster1300這樣的PC機群（注意，PC機群不等同于Beowulf系統(tǒng)）。l

重疊：這些軟件之間功能重疊、混亂，許多用戶需要的功能卻沒有，如果我們比較IBMSP的軟件系統(tǒng)與Beowulf機群的軟件，就會發(fā)現(xiàn)差距是多么巨大。l

RAS特性：Beowulf機群幾乎不具有或很差RAS特性，即可靠性、可用性、可服務性，比較一下IBMSP的平均無故障時間、系統(tǒng)管理員工作時間就可得知，而RAS對服務器、高性能計算機是十分重要的。可以說Beowulf機群的性能價格比好，因為花同樣的錢，Beowulf可以買到多得多的flops，而總擁有性能價格比很差，即用戶在它的使用周期內能拿到的應用飽和性能很差。l

知識產權：Beowulf機群幾乎不擁有知識產權，一些工程、外觀類小軟件、小專利無足輕重，如果企業(yè)以此作為產品競爭，唯一的出路就是拼價格，事實證明用戶也不會認可這類系統(tǒng)的高技術、高增值，用戶一種形象的說法可以是“按堆買PC”。l

應用飽和性能：Beowulf機群一般使用Intel架構的PC服務器作為結點，IA架構的最大特點是主頻高，如P4可以到2.4GHz，而IBMPower4才1.3GHz，對于主要依賴主頻的應用效果很好。但應用需要數(shù)據，而數(shù)據要從內存?zhèn)鬏數(shù)紺ache，從Cache在傳輸?shù)郊拇嫫?，而?shù)據的運算還依賴多個運算部件的協(xié)同（稱為superscalar），依賴指令的處理過程（稱為super-pineline），依賴指令字長，這些都是IA架構CPU的弱點。此外，內存的容量和性能、編譯器的性能、庫函數(shù)的性能等兩者也有巨大差距。所以，按Linpack計算，IntelP4Xeon2.0GHz的性能比IBMSPPower3375MHz快2.5倍，但以FFT應用為例，兩者的應用飽和性能相當。l

應用面：Beowulf機群的應用多是用戶自己編寫的科學計算應用，在應用的范圍，尤其是商業(yè)應用（由應用軟件廠商開發(fā)）上，要差很多。5．應用對高性能計算機新的需求機群是九十年代發(fā)展起來的高性能計算機體系結構，在未來有長遠的生命力，基于Intel架構的PC機群也越來越得到用戶的青睞，一方面是廉價，另一方面在Internet應用、Web應用、視頻應用等新領域也有它的優(yōu)勢，作為系統(tǒng)的領先者IBM也大力推出LinuxPC機群系統(tǒng)Cluster1300，將S390、SP的技術下移，甚至華爾街的用戶也接受了這種系統(tǒng)，但它們與Beowulf機群完全不同，除了用IA架構結點和Linux外，全是SP的超級計算機的技術。高性能計算機的應用變得更加多樣，對高性能計算機提出了新的需求。傳統(tǒng)的科學研究計算密集型應用依然存在，象石油勘探這樣的計算類數(shù)據密集型應用，要求更快的數(shù)據通道和設備共享能力；石油、氣象等應用提出定制和優(yōu)化的專用系統(tǒng)的要求；Internet應用為代表的網絡處理密集型應用，要求有強大的IP包處理能力；數(shù)據庫、事務處理為代表的數(shù)據處理密集型應用，要求數(shù)據管理能力和可擴展數(shù)據庫；ERP、CRM、電子商務等企業(yè)IT系統(tǒng)應用，要求系統(tǒng)和應用有應用布署、資源定位、自治管理能力；生物信息處理、信號處理等應用還要求高性能專用系統(tǒng)，如密集型刀片機群系統(tǒng)，等等。以信息安全，國防安全，資源安全為代表的國家安全上的應用，還要求有新的技術，如“數(shù)據密集”共性技術，包括存儲數(shù)據密集技術，I/O吞吐量密集技術，Internet數(shù)據接入密集技術，系統(tǒng)間數(shù)據互傳密集技術，數(shù)據處理密集技術等等。網格計算是高性能計算機和下一代Internet應用的發(fā)展方向，幾乎所有的高性能計算機研究團隊和企業(yè)都涉獵其中。網格強調資源共享與協(xié)同工作，強調新的應用服務模式，所以能有效支持網格的高性能計算機與傳統(tǒng)的系統(tǒng)在體系結構、網絡通信、系統(tǒng)軟件等方面有很大區(qū)別。需要研究的新的問題很多，如面向網格的高性能計算機的體系結構，基于網格服務的機群操作系統(tǒng)，網格通信協(xié)議，網格文件訪問協(xié)議，網格應用瀏覽器，網格應用服務器，網格應用服務協(xié)議，網格計算機模型，網格應用訪問控制模型，網格監(jiān)控模型等等。網格的需求對高性能計算機研究提出新的挑戰(zhàn)。6．中國面臨的挑戰(zhàn)從五十年代的109機、八十年代銀河一號、到九十年代的神威一號，中國經過多少代人，多少年的奮斗，在高性能計算機科研和市場上取得了接近西方和國際大企業(yè)的成就。以美國為首的西方再也不能限制出口中國的計算機的運算能力，國際大企業(yè)再也不能壟斷市場，在中國賺取超額利潤了，現(xiàn)在國際大企業(yè)數(shù)萬億次的主流超級計算機也以相當?shù)土膬r格在中國出售。但西方對中國在技術和市場上的擠壓依然十分厲害，IBM可以用94