




版權(quán)說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請(qǐng)進(jìn)行舉報(bào)或認(rèn)領(lǐng)
文檔簡(jiǎn)介
1、IMPLEMENTATION METHODOLOGYVMware and Customer ConfidentialVMware版本歷史DateRev.AuthorDescriptionReviewers201407091.0201407291.0? 2014 VMware, Inc. All rights reserved. This product is protected by U.S. and international copyright and intellectual property laws. This product is covered by one or more pa
2、tents listed at .VMware, the VMware “ boxes“ logo and design, Virtual SMP and vMotion are registered trademarks or trademarks of VMware, Inc. in the United States and/or other jurisdictions. All other marks and names mentioned herein may be trademarks of their respective companies.VMware, Inc 3401 H
3、illview Ave Palo Alto, CA 94304 目錄版本歷史 2目錄 31. 管理 VMware Virtaul SAN 41.1 Virtaul SAN 簡(jiǎn)介41.1.1 Virtaul SAN 概念41.1.2 Virtual SAN 術(shù)語(yǔ)和定義 51.2 Virtual SAN 和傳統(tǒng)存儲(chǔ) 101.3 構(gòu)建 Virtual SAN 群集101.4 配置前的基本準(zhǔn)備工作 111.4.1 手動(dòng)將磁盤標(biāo)記為 SSD磁盤111.4.2 為 vCenter, vSphere, VSAN添加許可證 121.4.3 刪除磁盤原有的分區(qū) 141.5 創(chuàng)建vSphere標(biāo)準(zhǔn)交換機(jī)或分布式交
4、換機(jī) 171.5.1 使用 vSphere 標(biāo)準(zhǔn)交換機(jī) 171.5.2 添加新的 ESXi主機(jī)到VSAN群集 221.6 創(chuàng)建虛擬機(jī)存儲(chǔ)策略 301.7 虛擬機(jī)創(chuàng)建332. 故障處理 362.1 Virtual SAN 組件的故障狀態(tài) 362.2 檢查組件的故障狀態(tài) 372.3 HA配置失敗382.4 無(wú)永久存儲(chǔ)403. 參考文獻(xiàn) 411. 管理 VMware Virtaul SAN1.1 Virtaul SAN 簡(jiǎn)介Virtual SAN是作為ESXi管理程序的一部分本機(jī)運(yùn)行的分布式軟件層。Virtual SAN可匯總主機(jī)群集的本地或直接連接容量設(shè)備,并創(chuàng)建在 Virtual SAN群集的所
5、有主機(jī)之間共享的單個(gè)存儲(chǔ)池。雖然Virtual SAN支持HA、vMotion和DRS等需要共享存儲(chǔ)的 VMware功能,但它無(wú)需外部共享存儲(chǔ),并 且簡(jiǎn)化了存儲(chǔ)配置和虛擬機(jī)置備活動(dòng)1.1.1 Virtaul SAN 概念本主題概括了適用于 Virtual SAN及其群集和數(shù)據(jù)存儲(chǔ)的特性。Virtual SAN可以給您的環(huán)境帶來很多好處。描:共享存儲(chǔ)支持Virtual SAN 支持需要共享存儲(chǔ)的 VMware功能,如 HA、vMotion和 DRS o例如,如果某個(gè)主機(jī)過載, DRS可將虛擬機(jī)遷移到群集中的其他 主機(jī)上。完全磁盤簇(JBOD)Virtual SAN支持在刀片服務(wù)器環(huán)境中使用JBO
6、D。如果您的群集包含刀片服務(wù)器,您可以用連接到刀片服務(wù)器的JBOD存儲(chǔ)來擴(kuò)展數(shù)據(jù)存儲(chǔ)容|量。新的磁盤格式Virtual SAN 6.0基于Virsto技術(shù)支持一種新的磁盤虛擬文件格式2.0。這是一種基于日志的文件系統(tǒng),按Virtual SAN群集提供高度可擴(kuò)展的快照和克隆管理支持。有關(guān)每個(gè) Virtual SAN群集支持的虛擬機(jī)快照和克隆數(shù) 量的信息,請(qǐng)參見 最高配置文檔全閃存和混合配置可以為全閃存或混合群集配置Virtual SAN 。故障域Virtual SAN支持配置故障域,當(dāng) Virtual SAN群集跨越數(shù)據(jù)中心的多個(gè)機(jī) 架或刀片服務(wù)器機(jī)箱時(shí),可以防止主機(jī)出現(xiàn)機(jī)架或機(jī)箱故障與vSph
7、ere存儲(chǔ)功能集成Virtual SAN 與通常用于 VMFS和NFS存儲(chǔ)的vSphere數(shù)據(jù)管理功能相 集成。這些功能包括快照、鏈接克隆、vSphere Replication 和vSphereAPIs for Data Protection 。虛擬機(jī)存儲(chǔ)策略Virtual SAN可以與虛擬機(jī)存儲(chǔ)策略一起使用,以便支持以虛擬機(jī)為中心的存儲(chǔ)方式。置備虛擬機(jī)時(shí),如果沒有為虛擬機(jī)明確分配一個(gè)存儲(chǔ)策略, 則由系統(tǒng)定義的名為“Virtual SAN默認(rèn)存儲(chǔ)策略”的一般存儲(chǔ)策略會(huì)自動(dòng)應(yīng)用到該虛擬機(jī)??焖僦脗湓趧?chuàng)建和部署虛擬機(jī)期間, 存儲(chǔ)。Virtual SAN 可在 vCenter Server 中快速
8、置備1.1.2 Virtual SAN 術(shù)語(yǔ)和定義Virtual SAN 引入了特定的術(shù)語(yǔ)和定義來指代不同的功能。開始使用Virtual SAN 之前,請(qǐng)查看以下Virtual SAN 的主要術(shù)語(yǔ)和定義1.1.2.1 磁盤組磁盤組是為Virtual SAN 群集提供性能和容量的主機(jī)和物理設(shè)備組上的物理存儲(chǔ)容量單元。在為Virtual SAN群集提供本地設(shè)備的每個(gè)ESXi 主機(jī)上,設(shè)備按磁盤組形式進(jìn)行組織。每個(gè)磁盤組必須具有一個(gè)閃存緩存設(shè)備和一個(gè)或多個(gè)容量設(shè)備。用于緩存的設(shè)備不能在磁盤組之間共享,也不能用于其他目的。單個(gè)緩存設(shè)備必須專用于單個(gè)磁盤組。在混合群集中,磁盤用于存儲(chǔ)容量層,閃存設(shè)備用于
9、緩存層。在全閃存群集中,閃存設(shè)備用于緩存和容量。有關(guān)創(chuàng)建和管理磁盤組的信息,請(qǐng)參見Virtual SAN 群集中的設(shè)備管理。1.1.2.2 所用容量一個(gè)或多個(gè)虛擬機(jī)隨時(shí)使用的物理容量。所用容量由多種因素決定,包括已使用的VMDK 大小、保護(hù)副本等。計(jì)算緩存大小時(shí),不考慮用于保護(hù)副本的容量。1.1.2.3 基于對(duì)象的存儲(chǔ)Virtual SAN 以靈活的數(shù)據(jù)管理器(稱為對(duì)象)形式存儲(chǔ)并管理數(shù)據(jù)。對(duì)象是指其數(shù)據(jù)和元數(shù)據(jù)分布于群集中的邏輯卷。例如,每個(gè)VMDK 是一個(gè)對(duì)象,每個(gè)快照也是一個(gè)對(duì)象。在Virtual SAN 數(shù)據(jù)存儲(chǔ)上置備虛擬機(jī)時(shí), Virtual SAN 為每個(gè)虛擬磁盤創(chuàng)建一組由多個(gè)組件
10、組成的對(duì)象。還創(chuàng)建了虛擬機(jī)主頁(yè)命名空間,用作存儲(chǔ)所有虛擬機(jī)元數(shù)據(jù)文件的容器對(duì)象。基于已分配的虛擬機(jī)存儲(chǔ)策略,Virtual SAN 單獨(dú)置備和管理每個(gè)對(duì)象,可能還涉及為每個(gè)對(duì)象創(chuàng)建一個(gè)RAID 配置。在為虛擬磁盤創(chuàng)建對(duì)象并確定如何在群集中分布對(duì)象時(shí),Virtual SAN 將考慮以下參數(shù):確認(rèn)已根據(jù)指定虛擬機(jī)存儲(chǔ)策略設(shè)置應(yīng)用虛擬磁盤要求確認(rèn)使用正確的群集資源進(jìn)行置備。例如,Virtual SAN 基于保護(hù)策略確定要?jiǎng)?chuàng)建的副本數(shù)量。性能策略確定為每個(gè)副本分配的閃存讀取緩存量和創(chuàng)建的帶數(shù),以及每個(gè)副本在群集中的放置位置。Virtual SAN 持續(xù)監(jiān)控和報(bào)告虛擬磁盤的策略合規(guī)性狀態(tài)。如果發(fā)現(xiàn)任何不
11、合規(guī)的策略狀態(tài),您必須進(jìn)行故障排除并解決根本問題。注:必要時(shí),可以編輯虛擬機(jī)存儲(chǔ)策略設(shè)置。更改存儲(chǔ)策略設(shè)置不會(huì)影響虛擬機(jī)訪問。Virtual SAN 會(huì)主動(dòng)限制用于重新配置的存儲(chǔ)和網(wǎng)絡(luò)吞吐量,以最大限度降低對(duì)象重新配置對(duì)正常工作負(fù)載執(zhí)行的影響。更改虛擬機(jī)存儲(chǔ)策略設(shè)置時(shí),Virtual SAN 可能啟動(dòng)對(duì)象重新創(chuàng)建過程,隨后會(huì)重新同步對(duì)象。請(qǐng)參見關(guān)于Virtual SAN群集中的重新同步操作。確認(rèn)所需保護(hù)組件位于不同的主機(jī)或故障域上,例如鏡像和證明。例如,要在出現(xiàn)故障時(shí)重新構(gòu)建組件,Virtual SAN 將查找符合放置規(guī)則的ESXi 主機(jī),即虛擬機(jī)對(duì)象的保護(hù)組件必須放置在兩個(gè)不同的主機(jī)上,而不
12、是同一主機(jī)上,或分布在不同的故障域中(如果已指定)1.1.2.4 Virtual SAN 數(shù)據(jù)存儲(chǔ)在群集上啟用Virtual SAN 后,將創(chuàng)建一個(gè)單獨(dú)的Virtual SAN 數(shù)據(jù)存儲(chǔ)。其在可能存在的數(shù)據(jù)存儲(chǔ)列表上將以其他數(shù)據(jù)存儲(chǔ)類型顯示,包括Virtual Volume 、 VMFS 和 NFS 。單個(gè) Virtual SAN 數(shù)據(jù)存儲(chǔ)可以為每個(gè)虛擬機(jī)或每個(gè)虛擬磁盤提供不同的服務(wù)級(jí)別。在vCenter Server 中, Virtual SAN 數(shù)據(jù)存儲(chǔ)的存儲(chǔ)特性顯示為一組功能。為虛擬機(jī)定義存儲(chǔ)策略時(shí),可以引用這些功能。以后部署虛擬機(jī)時(shí),Virtual SAN 使用該策略并根據(jù)虛擬機(jī)要求以
13、最優(yōu)方式放置虛擬機(jī)。有關(guān)使用存儲(chǔ)策略的一般信息,請(qǐng)參見 vSphere 存儲(chǔ) 文檔。以下是 Virtual SAN 數(shù)據(jù)存儲(chǔ)的特性:Virtual SAN 創(chuàng)建群集中所有主機(jī)(無(wú)論主機(jī)是否有設(shè)備)均可訪問的單個(gè)Virtual SAN 數(shù)據(jù)存儲(chǔ)。所有主機(jī)均可掛載任何其他數(shù)據(jù)存儲(chǔ),包括Virtual Volume 、 VMFS 或 NFS 。可以使用Storage vMotion 在 Virtual SAN 數(shù)據(jù)存儲(chǔ)、NFS 和 VMFS 數(shù)據(jù)存儲(chǔ)之間移動(dòng)虛擬機(jī)。僅用于容量的磁盤和閃存設(shè)備可以提供數(shù)據(jù)存儲(chǔ)容量。用于閃存緩存的設(shè)備不計(jì)入數(shù)據(jù)存儲(chǔ)的一部分。在自動(dòng)模式下,當(dāng)您向Virtual SAN 群
14、集添加具有容量的主機(jī),或者向任意群集成員添加容量設(shè)備時(shí),Virtual SAN 數(shù)據(jù)存儲(chǔ)大小會(huì)動(dòng)態(tài)增長(zhǎng)。1.1.2.5 對(duì)象和組件每個(gè)對(duì)象由一組組件組成,由虛擬機(jī)存儲(chǔ)策略中正在使用的功能決定。例如,允許的故障數(shù)”策略配置為1 時(shí),本即是一個(gè)對(duì)象組件。此外,在相同策略中,如果每個(gè)對(duì)象的磁盤帶數(shù)配置為 以跨多個(gè)容量設(shè)備條帶化對(duì)象,每個(gè)條帶視為指定對(duì)象的一個(gè)組件。必要時(shí), 多個(gè)組件。Virtual SAN 確保將保護(hù)組件(如對(duì)象的副本和證明)放置在Virtual SAN 群集中不同的主機(jī)上,其中每個(gè)副2 個(gè)或更多,Virtual SAN 還可Virtual SAN 可以將大對(duì)象分成Virtual S
15、AN 數(shù)據(jù)存儲(chǔ)包含以下對(duì)象類型:? 2014 VMware, Inc. All rights reserved.Page 44 of 41虛擬機(jī)主頁(yè)命名空間所有虛擬機(jī)配置文件均存儲(chǔ)在虛擬機(jī)主目錄中,例如量描述文件等。.vmx 、日志文件、vmdk 、快照增VMDK所有虛擬機(jī)配置文件均存儲(chǔ)在虛擬機(jī)主目錄中,例如 量描述文件等。.vmx 、日志文件、vmdk 、快照增虛擬機(jī)交換對(duì)象打開虛擬機(jī)電源時(shí)創(chuàng)建。快照增量VMDK生成虛擬機(jī)快照時(shí)創(chuàng)建。創(chuàng)建或掛起虛擬機(jī)時(shí),選擇快照內(nèi)存選項(xiàng)時(shí)創(chuàng)建。內(nèi)存對(duì)象虛擬機(jī)合規(guī)性狀態(tài):合規(guī)和不合規(guī)合規(guī)和不合規(guī)虛擬機(jī)中一個(gè)或多個(gè)對(duì)象未滿足分配的存儲(chǔ)策略要求時(shí),虛擬機(jī)被視為不合
16、規(guī)。例如,其中一個(gè)鏡像副本無(wú)法訪問時(shí),狀態(tài)可能會(huì)變得不合規(guī)。如果虛擬機(jī)與存儲(chǔ)策略中定義的要求相符,虛擬機(jī)的狀態(tài)則為合規(guī)。在虛擬磁盤頁(yè)面的物理磁盤放置位置選項(xiàng)卡中,可確定虛擬機(jī)對(duì)象的合規(guī)性狀態(tài)。有關(guān)Virtual SAN 群集的故障排除信息,請(qǐng)參見處理故障和Virtual SAN 故障排除。組件狀態(tài):“已降級(jí) ” 和 “不存在 ” 狀態(tài)Virtual SAN 確認(rèn)以下組件的故障狀態(tài):已降級(jí)。如果Virtual SAN 檢測(cè)到永久組件故障并假定該故障組件不會(huì)恢復(fù)到原始工作狀態(tài),則該組件將處于“已降級(jí)”狀態(tài)。因此,Virtual SAN 將立即開始重新構(gòu)建已降級(jí)組件。組件位于發(fā)生故障的設(shè)備上時(shí),可能
17、會(huì)出現(xiàn)該狀態(tài)。不存在。Virtual SAN 檢測(cè)到臨時(shí)組件故障,其中組件及其所有數(shù)據(jù)可以恢復(fù)且Virtual SAN 能夠恢復(fù)其原始狀態(tài),則該組件處于“不存在”狀態(tài),重新啟動(dòng)主機(jī)或從Virtual SAN 主機(jī)上拔出設(shè)備時(shí),可能會(huì)出現(xiàn)該狀態(tài)。等待60 分鐘后,Virtual SAN 將從不存在狀態(tài)開始重新構(gòu)建組件。等待60 分鐘后,組件狀態(tài)自動(dòng)更改為“已降級(jí)”。對(duì)象狀態(tài):正常和不正常根據(jù)群集中出現(xiàn)的故障類型和數(shù)量,對(duì)象可能處于以下狀態(tài)之一:正常。全鏡像和超過50% 的對(duì)象組件(或投票)仍然可用時(shí),對(duì)象的操作狀態(tài)視為正常。不正常。如果鏡像副本不可用,或少于50% 的對(duì)象組件(或投票)可用,可能
18、由群集中多個(gè)故障所導(dǎo)致,對(duì)象的操作狀態(tài)視為不正常并且會(huì)影響虛擬機(jī)的可用性。對(duì)于群集中仍然可以訪問的對(duì)象,對(duì)象組件的無(wú)錯(cuò)誤完整副本必須始終可用。證明證明是一個(gè)僅包含元數(shù)據(jù)的組件,不包含任何實(shí)際應(yīng)用程序數(shù)據(jù)。發(fā)生潛在故障后,需要針對(duì)可用數(shù)據(jù)存儲(chǔ)組件的可用性作出決定時(shí),將其用作Tie Breaker 。使用磁盤格式2.0 時(shí),證明在Virtual SAN 數(shù)據(jù)存儲(chǔ)中使用約 2 MB 的元數(shù)據(jù)空間,使用磁盤格式2.0 時(shí),則為4 MB。版本 6.0 中, Virtual SAN 支持基于仲裁的系統(tǒng),即每個(gè)組件可能具有多個(gè)投票可決定虛擬機(jī)的可用性。更確切地說,50% 的投票決定的虛擬機(jī)存儲(chǔ)對(duì)象必須始終可
19、以訪問。所有主機(jī)可訪問不足50% 的投票時(shí),VirtualSAN 數(shù)據(jù)存儲(chǔ)無(wú)法再使用對(duì)象。這將影響虛擬機(jī)的可用性。對(duì)于群集中仍然可以訪問的對(duì)象,對(duì)象組件的無(wú)錯(cuò)誤完整副本必須始終可用基于存儲(chǔ)策略的管理(SPBM)使用 Virtual SAN 時(shí),可以采用策略的形式定義虛擬機(jī)的存儲(chǔ)要求,例如性能和可用性。Virtual SAN 可確保為已部署到Virtual SAN 數(shù)據(jù)存儲(chǔ)的虛擬機(jī)至少分配一個(gè)虛擬機(jī)存儲(chǔ)策略。當(dāng)您了解虛擬機(jī)的存儲(chǔ)要求時(shí),可以創(chuàng)建用戶定義的存儲(chǔ)策略并將其分配給虛擬機(jī)。如果部署虛擬機(jī)時(shí)不應(yīng)用存儲(chǔ)策略,Virtual SAN 將自動(dòng)分配帶有精簡(jiǎn)置備虛擬磁盤的默認(rèn)Virtual SAN
20、策略,其中“允許的故障數(shù)”配置為1 ,每個(gè)對(duì)象一個(gè)磁盤帶。為達(dá)到最佳效果,應(yīng)該創(chuàng)建和使用您自己的虛擬機(jī)存儲(chǔ)策略,即使策略要求和默認(rèn)存儲(chǔ)策略中定義的相同。有關(guān)使用 Virtual SAN 存儲(chǔ)策略的信息,請(qǐng)參見Virtual SAN 和基于存儲(chǔ)策略的管理。Ruby vSphere 控制臺(tái) (RVC)Ruby vSphere控制臺(tái)(RVC)是用于管理和故障排除 Virtual SAN群集的命令行界面工具。該工具可提供群集 范圍的視圖,而不是 esxcli提供的以主機(jī)為中心的視圖。由于 RVC與vCenter Server Appliance和適用于Windows的vCenter Server捆綁在
21、一起,無(wú)需進(jìn)行單獨(dú)安裝。有關(guān) RVC命令的信息,請(qǐng)參見RVC命令參 考指南。Virtual SAN ObserverVMware Virtual SAN Observer 是在RVC上運(yùn)行的基于 Web的工具,可用于進(jìn)行深入的性能分析和VirtualSAN群集監(jiān)控。使用 Virtual SAN Observer 可了解以下信息:容量層的性能統(tǒng)計(jì)信息、物理磁盤組的詳細(xì)統(tǒng) 計(jì)信息、當(dāng)前 CPU使用情況、Virtual SAN內(nèi)存池使用,Virtual SAN群集中物理和內(nèi)存對(duì)象的分布。有關(guān)設(shè)置、啟動(dòng)、和使用 RVC工具和Virtual SAN Observer 的信息,請(qǐng)參見Virtual SAN
22、 故障排除參考手 冊(cè)。如圖選擇自動(dòng)配置<1Ai l 1W 苴用 甘修|噌工有故-:*#M苗*«K>:將記E睥日酗u百鈿正由苛實(shí)明* 至口0.F 口.”-朝;卻YVwrv DHS,由首聞型網(wǎng)1虞鵬3 魄 AtlHF*RA SM 虛敷的洋間 WJudr EVC 到也站 CM* ftiM生機(jī)瘟荷鐘廿R市PiilU日咕詞 主機(jī)。個(gè)生機(jī)的/u亞ii其。十.翼中k|曾播Hq"E'£taS!井q小I立白.白捶丁*<,龍樣杷總R0000,出1列l(wèi)Ef"任何'五aai'B旗世t/ IS一 里慍 wajiaS1Q 10J73,H3J
23、2中工制mwflt百 10,172,371,詢王"打焦 療丹田汕.我耿將骨*變/4用 一 EfiMimZt _O_Ail 檢度妾控管理相而推二號(hào)史在寶父標(biāo)記打總3T密任外|i, 后 cpiwfHins vSuImuHA目Wl 京投k 長(zhǎng)片創(chuàng)生|匚1 b- c?I d j安白二isaitiEffl* vr心gg己洋媵u 夠?qū)糜枚閛n加。2加baw心:moi二加17tlM39/河。打劈眄加二n口:3 出尿初 ODWOQ52 15678Wat.dt01(i5dbci*(53>1»J02QlC):皿。22打通QfQ己江柳三點(diǎn)盤期加.口皿| UbJ 45b. iMh:de(i
24、1td- K,bbaclLiLftc.jJUjuX) aMAJ'J - ULM1UU JU6J3 *8日?日 90abt dfiOI£2 bbatvi 7 74t 的491口規(guī)305,i(j.175.?53 ngg己在格13 謚H tn口匚口nd口: 而北56;1匚(atrHpnic5crriintp、口日廣"”口?口?卬 s 函 幫審 ffi?1 口Mnn nfi?. 4 fifi; a f-d(ih - rifi-ni cfiir-ii 11 n f nri? i r'l n-"川?口?我 .:;=I' I .M9個(gè)項(xiàng)目Q'如圖
25、,磁盤組已經(jīng)自動(dòng)創(chuàng)建好1.2 Virtual SAN 和傳統(tǒng)存儲(chǔ)盡管 Virtual SAN 與傳統(tǒng)存儲(chǔ)陣列具有很多相同特性,它的整體行為和功能仍然有所不同。例如, Virtual SAN 可以管理ESXi 主機(jī),且只能與ESXi 主機(jī)配合使用。一個(gè)Virtual SAN 實(shí)例僅支持一個(gè)群集。Virtual SAN 和傳統(tǒng)存儲(chǔ)還存在下列主要區(qū)別:Virtual SAN 不需要外部網(wǎng)絡(luò)存儲(chǔ)來遠(yuǎn)程存儲(chǔ)虛擬機(jī)文件,例如光纖通道(FC) 或存儲(chǔ)區(qū)域網(wǎng)絡(luò)(SAN) 。使用傳統(tǒng)存儲(chǔ),存儲(chǔ)管理員可以在不同的存儲(chǔ)系統(tǒng)上預(yù)先分配存儲(chǔ)空間。Virtual SAN 會(huì)自動(dòng)將 ESXi 主機(jī)的本地物理存儲(chǔ)資源轉(zhuǎn)化為單
26、個(gè)存儲(chǔ)池。這些池可以根據(jù)服務(wù)質(zhì)量要求劃分并分配到虛擬機(jī)和應(yīng)用程序。Virtual SAN 沒有基于LUN 或 NFS 共享的傳統(tǒng)存儲(chǔ)卷概念。iSCSI 和 FCP 等標(biāo)準(zhǔn)存儲(chǔ)協(xié)議不適用于Virtual SAN 。Virtual SAN 與 vSphere 高度集成。相比于傳統(tǒng)存儲(chǔ),Virtual SAN 不需要專用的插件或存儲(chǔ)控制臺(tái)。您可以使用vSphere Web Client 部署、管理和監(jiān)控Virtual SAN不需要專門的存儲(chǔ)管理員來管理Virtual SAN 。 vSphere 管理員即可管理Virtual SAN 環(huán)境。使用 Virtual SAN ,在部署新虛擬機(jī)時(shí)將自動(dòng)分配虛擬
27、機(jī)存儲(chǔ)策略。可以根據(jù)需要?jiǎng)討B(tài)更改存儲(chǔ)策略。1.3 構(gòu)建 Virtual SAN 群集如果您正在考慮使用Virtual SAN ,您可以從部署Virtual SAN 群集的多種配置解決方案中進(jìn)行選擇。根據(jù)您的要求,您可以通過以下方式之一部署Virtual SAN 。Virtual SAN Ready NodeVirtual SAN Ready Node 是針對(duì) VMware 合作伙伴(例如Cisco 、 Dell 、 Fujitsu 、 IBM 和Supermicro )的 Virtual SAN 軟件預(yù)配置解決方案。該解決方案包括使用針對(duì)Virtual SAN 部署的經(jīng)測(cè)試和認(rèn)證的硬件尺寸規(guī)格
28、(由服務(wù)器OEM 和 VMware 共同推薦)的已驗(yàn)證服務(wù)器配置。有關(guān)針對(duì)特定合作伙伴的Virtual SAN Ready Node 解決方案的信息,請(qǐng)?jiān)L問VMware 合作伙伴網(wǎng)站: SAN Ready Nodes.pdf。用戶定義的Virtual SAN 群集可以通過選擇單個(gè)軟件和硬件組件來構(gòu)建Virtual SAN 群集,例如Virtual SAN 兼容性指南(VCG) 中所列的驅(qū)動(dòng)程序、固件和存儲(chǔ)I/O 控制器,網(wǎng)站為 。您可以選擇VCG 網(wǎng)站上認(rèn)證和列出的任何服務(wù)器、存儲(chǔ)I/O 控制器、容量和閃存緩存設(shè)備、內(nèi)存以及每個(gè)CPU 必須具有的內(nèi)核數(shù),等等。在選擇Virtual SAN 支持
29、的軟件和硬件組件、驅(qū)動(dòng)程序、固件和存儲(chǔ)I/O 控制器之前,請(qǐng)先查看 VCG 網(wǎng)站上的兼容性信息。設(shè)計(jì)Virtual SAN 群集時(shí),僅使用VCG 網(wǎng)站上列出的設(shè)備、固件和驅(qū)動(dòng)程序。使用未在VCG 中列出的軟件和硬件版本可能導(dǎo)致群集故障或數(shù)據(jù)意外丟失。有關(guān)設(shè)計(jì) Virtual SAN 群集的信息,請(qǐng)參見Virtual SAN 群集設(shè)計(jì)和大小調(diào)整。VMware EVO:RAILVMware EVO:RAIL 軟件是一款整體解決方案,它將計(jì)算、網(wǎng)絡(luò)和存儲(chǔ)資源組合成一個(gè)超聚合基礎(chǔ)架構(gòu)設(shè)備,從而提供VMware 合作伙伴提供的所有產(chǎn)品和技術(shù)的綜合解決方案。EVO:RAIL 軟件包括 Virtual SA
30、N ,已內(nèi)置到VMware 合作伙伴的硬件設(shè)備中。EVO:RAIL 通過 EVO:RAIL 群集中每個(gè) ESXi 主機(jī)上的所有本地容量設(shè)備創(chuàng)建單個(gè)Virtual SAN 數(shù)據(jù)存儲(chǔ)。有關(guān)EVO:RAIL 軟件的信息,請(qǐng)?jiān)L問產(chǎn)品 網(wǎng)站: introduction.pdf。1.4 配置前的基本準(zhǔn)備工作1.4.1 手動(dòng)將磁盤標(biāo)記為SSD磁盤在某些情況下,當(dāng)在RAID配置中將一個(gè)SSD配置為RAID-0模式后, vSphere只將這個(gè)磁盤當(dāng)作一個(gè)普通的 HDD盤,而不能將它正確地識(shí)別為 SSD盤。出現(xiàn)這種情況的時(shí)候,就需要通過命令行方式手動(dòng)將這個(gè)磁盤標(biāo) 記為“SSD”盤。首先,登錄到vSphere的控制
31、臺(tái),在菜單中選擇TroubleShooting然后,敲回車鍵,分別啟用“ Shell”和“SSHOptions ':nhlc FSXi 111HWI Stell i、DKnbJffllFn.h> 3Restart noiaaycnciFit AgentsChange curfcnt s.tote al' The E闔 I yiell<E3c> Ex i tWlLflrfi rsiil a (WKerncl 由Iwe Build J623397)這個(gè)時(shí)候,就可以通過SSH連接到這臺(tái)ESXi主機(jī)。# ssh root10.110.x.x 成功登錄以后,運(yùn)行以下命令
32、。# esxcli storage core device list以上這個(gè)命令將會(huì)列出這臺(tái)ESXi主機(jī)上的所有磁盤列表,將 SSD盤找出來,并且將這個(gè)SSD盤的ID復(fù)制下來,后面會(huì)用到。(一般來說,SSD盤的容量比普通硬盤小很多,所以可以根據(jù)容量輕易地將SSD盤找出來。)然后,運(yùn)行以下命令,將命令中的ID (紅色部分)替換成剛剛復(fù)制下來的ID。# esxcli storage nmp satp rule add -s VMW_SATP_LOCAL -dnaa.6b8ca3a0e81e03001a4e539c08862b30-o-enable_ssd# esxcli storage core
33、claiming reclaim -dnaa.6b8ca3a0e81e03001a4e539c08862b30下面這個(gè)命令可以驗(yàn)證SSD盤是否已經(jīng)被成功地標(biāo)記成“SSD”了:# esxcli storage core device list -dnaa.6b8ca3a0e81e03001a4e539c08862b301.4.2 為 vCenter, vSphere, VSAN 添加許可證在vCenter網(wǎng)頁(yè)客戶端里,依次點(diǎn)擊主頁(yè)-主機(jī)和群集,然后選擇vCenter 目錄,再選管理,設(shè)置,許可,點(diǎn)“分配許可證密鑰”:在新窗口里,選擇“分配新的許可證密鑰",輸入新密鑰后,依次點(diǎn)擊解 碼,
34、確定。下面給每一臺(tái)ESXi主機(jī)添加許可證。如下圖所示,選擇每一個(gè)需要添加許 可證的主機(jī),在右邊窗口里依次選擇管理 ,設(shè)置,許可,點(diǎn)”分配許可證下面添加VSAN許可證,VSAN許可證是針對(duì)于某一個(gè)群集添加的。選中 需要添加許可證的VSAN群集,依次點(diǎn)擊管理,設(shè)置,虛擬SAN許可,分 配許可證密鑰:vSphwe Web Cliervt /日DI | 4EH -學(xué)*ta網(wǎng) CH*Ax*-口司正言明rfi.l日i窄EH歲UEITSEEtfl朗網(wǎng)帆他M ±«LM ttl.ffl1.4.3 刪除磁盤原有的分區(qū)如果一臺(tái)ESXi主機(jī)的某個(gè)磁盤,在升級(jí) vSphere之前用作為一個(gè)存 儲(chǔ)器(
35、datastore),那么,如果這個(gè)磁盤沒有被格式化過,它上面就仍然 保持著原來的分區(qū)。而VSAN要求每個(gè)被添加到VSAN磁盤組里的磁盤都必須是一塊 “干凈”的磁盤,也就是說,磁盤上面不能有任何分區(qū)表。所以,在這種 情況下,就需要將磁盤上原來的分區(qū)表刪除。為了刪除分區(qū)表,利用的是Linux系統(tǒng)下常用的"GPT parted ”工具, 在許多Linux發(fā)行版里,這個(gè)工具的名字叫做"parted "。在ESXi主機(jī)命令 行,這個(gè)工具叫做“ partedUtil ” .首先,在vCenter頁(yè)面客戶端里,選中VSAN群集,選擇“添加磁 盤組”,確認(rèn)有哪些磁盤已經(jīng)被識(shí)別出
36、來:從截圖中可以看到,當(dāng)前只有一個(gè) SSD盤和一個(gè)HDD硬盤被識(shí)別出來,記錄下圖中紅框部分的這兩個(gè)磁盤名然后,通過SSH連接到這臺(tái)ESXi主機(jī)。(連接方法與1.1節(jié)相同) 在命令行界面,運(yùn)行以下命令,這個(gè)命令會(huì)列出所有磁盤的詳細(xì)信息: # esxcli storage core device list查看所有磁盤的磁盤名,把它們摘錄出來,例如,總共有 4塊盤,如下所示:naa.6b8ca3a0e81e29001ac40ec147ca070e naa.6b8ca3a0e81e29001ac40e3b3fd36bb2naa.6b8ca3a0e81e29001ac40e834416a708 naa.
37、6b8ca3a0e81e29001ac40d7f349ab358比較前面的截圖和這個(gè)列表,可以發(fā)現(xiàn)有兩個(gè)磁盤沒有被VSAN識(shí)別出來它們是naa.6b8ca3a0e81e29001ac40ec147ca070enaa.6b8ca3a0e81e29001ac40d7f349ab358這兩個(gè)磁盤沒有被VSAN識(shí)別出來,可能有兩個(gè)原因。一是這個(gè)盤上安裝 了 ESXi操作系統(tǒng),所以它不能再被 VSAN使用了。另一個(gè)原因是這塊盤 雖然現(xiàn)在沒有被使用,但是它以前曾經(jīng)被作為datastore ,所以還有遺留的分區(qū)表。所以,現(xiàn)在需要找出哪個(gè)磁盤是用來安裝ESXi操作系統(tǒng)的。切換到存儲(chǔ)器界面,找到這臺(tái)主機(jī)的默認(rèn)存
38、儲(chǔ)器,查看其信息:可以看出,磁盤 n'aa.6b8ca3a0e81e29001ac40d7f349ab358'是這臺(tái) ESXi主機(jī)的啟動(dòng)盤,所以這個(gè)磁盤不能被 VSAN使用。綜合以上的所有分析,結(jié)論就是:n'aa.6b8ca3a0e81e29001ac40ec147ca070e 這個(gè)磁盤當(dāng)前未被使用,但是上面有遺留的分區(qū),所以也不能被 VSAN識(shí)別出來。下面的操作就是來 刪除這個(gè)分區(qū)。運(yùn)行以下命令,獲取這塊磁盤的詳細(xì)信息:# partedUtil get/vmfs/devices/disks/naa.6b8ca3a0e81e29001ac40ec147ca070e這個(gè)命
39、令會(huì)輸出一個(gè)信息表,示例如下:243133 255 63 39059456001 2048 3905945566 0 0第二行的第1個(gè)數(shù)字(紅色數(shù)字)代表有幾個(gè)分區(qū),在這個(gè)例子中是只有一個(gè)分區(qū)。然后 運(yùn)行以下命令直接刪除這個(gè)分區(qū):# partedUtil delete/vmfs/devices/disks/naa.6b8ca3a0e81e29001ac40ec147ca070e1刪除完成后,現(xiàn)在返回vCenter網(wǎng)頁(yè)客戶端,再嘗試添加 VSAN磁盤組,現(xiàn)在發(fā)現(xiàn)這個(gè)磁盤盤被刪除分區(qū)后已經(jīng)能夠被VSAN利用了:1.5 創(chuàng)建vSphere標(biāo)準(zhǔn)交換機(jī)或分布式交換機(jī)VSAN網(wǎng)絡(luò)可以使用 vSphere標(biāo)
40、準(zhǔn)交換機(jī)(vSphere Standard Switch ,簡(jiǎn)稱vSS )或者 分布式交換機(jī)(vSphere Distributed Switch ,簡(jiǎn)稱vDS )。如果需要?jiǎng)?chuàng)建標(biāo)準(zhǔn)交換機(jī),可 查看2.1節(jié)。如果需要?jiǎng)?chuàng)建分布式交換機(jī),可查看 2.2節(jié)。這兩節(jié)是并列的關(guān)系,根據(jù)需 要查看其中一節(jié)即可。1.5.1 使用vSphere標(biāo)準(zhǔn)交換機(jī)在vCenter主頁(yè)面,點(diǎn)擊“主機(jī)和群集”。->網(wǎng)絡(luò)-> 虛擬交換機(jī)。然后點(diǎn)擊右邊的帶“+”的按鈕,創(chuàng)建 VSAN網(wǎng)絡(luò):在下個(gè)頁(yè)面,選擇VMkernel網(wǎng)絡(luò)適配器”:選擇需要?jiǎng)?chuàng)建標(biāo)準(zhǔn)交換機(jī)的某一臺(tái)主機(jī),點(diǎn)擊管理?這H目標(biāo)沿匍_:由跑登n rMiir
41、ri門泥e討itvJL 不-JB航D觸,'r' -1- aa< - .1 . ri. rn, Faunt,gi g-ja用:把迪可彳第0F園坤*品硼!.:,中it怛但群詼歸加工地和£。巾仁機(jī)扇碎可;周舟卜I中斗交"I0帶陽(yáng).寧軍Ff然后,選擇一個(gè)現(xiàn)有交換機(jī)(當(dāng)然,這個(gè)時(shí)候也可以選擇新建一個(gè)標(biāo)準(zhǔn)交換機(jī),但是,創(chuàng) 建新標(biāo)準(zhǔn)交換機(jī)時(shí),必須保證有一個(gè)未被使用的網(wǎng)卡做的這個(gè)新交換機(jī)的上連鏈路):31詵抵連隹交叼演J目午京玲 "Ki金星聲沃口4點(diǎn)5,3理事通意!.照土人注,老文怛機(jī)3a”UJI電姬*nrn競(jìng)出整建也直京建機(jī)二十b用消輸入一個(gè)自定義的名稱,
42、然后必須勾選“虛擬 SAN流量”tKuffifl< .M-sfrurcQ-.-Z芾口金fit3b >PM饋若i爾林賓雄網(wǎng)壇標(biāo)及I MMHEMtirfc3 ID:無(wú) +IPS.|Z|* TCP IP j|K| 田四-| C司用生與r苴即耳里 rijiir :酊M日日工記錄AH旗史困版2 71層里上一牛 下一>鵬消輸入一個(gè)可用的IP地址和子網(wǎng)掩碼,5 1 -柘吉存世四*總芝fejb 四 *rr? - «E-3*。噌1_胃世3« rvi-s£4前耳線區(qū)二=iJtpK! 丁 G.Z,誄由用本-1- 在工尸”百加州,<5:郎聯(lián)上T 4一步甲.心點(diǎn)擊下
43、一步,再點(diǎn)擊完成。注意:標(biāo)準(zhǔn)交換機(jī)需要在每一個(gè)ESXi主機(jī)都分別添加,添加過程相同,只需要在每一臺(tái)ESXi主機(jī)上重復(fù)以上過程即可 2.1.使用vSphere分布式交換機(jī)在vCenter主頁(yè),選中網(wǎng)絡(luò),再點(diǎn)擊"操作"-> "新建Distributed Switch ”,如圖所示:然后,在彈出的頁(yè)面中,輸入一個(gè)分布式交換機(jī)名稱:保持交換機(jī)的版本為默認(rèn)的5.5.0 :下一步,需要選擇“上行鏈路數(shù)”。一般來說,每個(gè) ESXi主機(jī)需要使用一塊網(wǎng)卡作為上行鏈路,所以,VSAN群集中有多少個(gè) ESXi主機(jī),這臺(tái)的上行鏈路數(shù)就應(yīng)該設(shè)定為多少。這個(gè)數(shù)值與VSAN群集包含的主機(jī)
44、數(shù)量完全相關(guān)。然后,也可勾選“創(chuàng)建默認(rèn)端口組”,輸入一個(gè)自定義的名稱。士 aiRUiMTMIM Swrlttht ,v 1滯L和應(yīng)百Q(mào)在捋走上行玄罪閘口射援選分胤煙后嘀里52鷹播蚯罩* E踽胃仁. HehrtfH 10 CO KOI 三期,毀U日亡史下也些覽白£=1理W匚理名稱海京嬴鼻廠上一生 T-t劃.由一這樣,分布式交換機(jī)就創(chuàng)建好了。1. 5.2 打開 VSAN如何在vCenter中創(chuàng)建群集不再贅述,這與傳統(tǒng)創(chuàng)建群集的方式完全相同。假設(shè)一個(gè)群集已經(jīng)創(chuàng)建成功,并且已經(jīng)有主機(jī)添加進(jìn)來,現(xiàn)在需要做的就是在這個(gè)群集上打開VSAN功能。如圖所示,選中群集名稱,點(diǎn)擊管理-虛擬SAN-常規(guī),在
45、右上角點(diǎn)編輯,再在彈出的對(duì)話框中點(diǎn)“打開虛擬 SAN ”即可,向存儲(chǔ)中添加磁盤的模式可以設(shè)置為“手動(dòng)”。ID4q0£iGAM5; I1.5.2添加新的ESXi主機(jī)到VSAN群集注意:以下的步驟展示如何在一臺(tái)新添加的主機(jī)上啟用分布式交換機(jī)。如果需要使用標(biāo)準(zhǔn) 交換機(jī),請(qǐng)參考 2.1節(jié),并且以下關(guān)于添加分布式交換機(jī)的相關(guān)步驟可以省略。在vCenter網(wǎng)頁(yè)客戶端主頁(yè),選擇網(wǎng)絡(luò):MWvart? vSpliere VMeb Client 青 田正聲-事財(cái) 口主叫科IS* IKLIWINI0 iCElef Ses LjH中 L 。1U Q ”匿電0,通 * 等* CMMQim Start eh a
46、 nm f 的酒04Wmm .RS.市H碼拜n雷匕理型開1H府咽亡續(xù)F巾,"為將"三t/ff甘仁 rCMIiff式電Etr *52Fi0能事中小:月生總?cè)デ?卅10. 4不也二M當(dāng)上鼻H* *他 H*4 =11點(diǎn)-世工珅咕品 dU ,四*喘蠅*比力力llLM3Ji th力I TO®W.-Si|KRfl.Hilll'/MJ有呂,七一小5可 淮中R集看R.才颯乍.士.»與Grrfv Xei 中4r、主凱 TtiWHlfr i.S wC*i4«r M-, vSphm中的降工 ¥$phtf*中的存陋 件必是里就粗陋 商用時(shí)才仔花看然后
47、選擇上面步驟中創(chuàng)建攵?的分布式交換機(jī)“VSAN vDS ”,在右邊菜單中,選擇“入門”-“添加和管理主機(jī)”:A*值由n19O 位由rE邙 父曲用安, W+omlF 肛 臣WEE Uli” I-.jM1*4*EO 也IRili 田訕什 _是 LkUtfiMMd &MS ?口如用明州S*工口引 g晴R*K±1l£r-事又PMV ?aFCfl在&王忙三后£Hi上 Mj&EWlt,乜34*1分*4iKN或,用。下骷EMp現(xiàn) 一餐市打主在界斤匕工小H地曜ERE #Hfi UJ8H既 d!i"niJ*fl =沖王乩田牙電式=!£蒸二
48、子七生生與主II修.LLM衽總件語(yǔ)三機(jī)"KFH修羽M口加出1V !*蝦米,*lh片用,0畫工缸支郵iffHOE*或WgMin :m即仲射 T片劉匚1姐U偵wWPK5E3SS53T,切新事二煙了通物tnT H MlrlhwMi lwtwh1 的型作 ft7 * F閏使司 EMHX" SwiMA 設(shè)E - '.UL選擇“添加主機(jī)”:點(diǎn)擊“ +新主機(jī)”按鈕:在新對(duì)話框選擇新加入的主機(jī)(這個(gè)主機(jī)已經(jīng)被添加到群集中,只是還沒有配置VSAN網(wǎng)絡(luò)而已)Select new hostsAincompatble HostsI Q FiiteOK | Cancel勾選下面兩個(gè)對(duì)話框:$
49、Wcl! nBtwwt; isrtaplsr I由石3Se qdth® r3gl?Mr< adapiflr |asiL& 1i: pgriomirirct nmi* l»k ,j Karge ptiy?m nclwciikJ(n#l IWtiWI kr0士彳解.女£ Jliinlv7電 irmpriridlE LI謖1虱(Q 口hfsul MME再*jd J ph P aldjl n Mwcrl- h :迎通咕短 M 讓 slrlt-jle J 空白址h 日9 Mgn任 ti to uplinks or r* rnc etiMing ents1/ U
50、h itftje WkeiHtl 山岬如ryAd-a or 巧w 3M/ emwat機(jī)。中 r $ dwioul*2* u jaign 由 *tmc diaoWu4d口口井:m»jpa cc. iHl; jre . 1.1卜 t-tie aejplf- w rHir.: re 皿-e« - tin事 or rs匚 Uranttvirwai miCJhmt wCwrtfina'A xate W -i 耽*口肚 sdaDte-E t m” 與w tn尋n 忖 n s-tr 三 1 port MWH 5 泗 the 0羽口 Mil日寸 九vikh r.laiiD B an
51、 danced h&st 5eunci&Sslithg numtNH nfF-orls;:忡 舊翼3口 口皿 switch時(shí)頷H WMup. nktn sroL.pt UpimKPS*01nl 匚Wj-lSg#1- £!,=1:311加cdfamcila diEribu ted irwiftch甘斜: N&d F-iifih Cancel選擇一個(gè)網(wǎng)卡來作為上行鏈路,點(diǎn)擊" Assign uplink ”:在下一步,點(diǎn)擊+新建適配器選擇一個(gè)分布式交換機(jī)端口組,就是剛剛創(chuàng)建的"VSAN Network勾選虛擬SAN流量輸入可用的IP地址和相應(yīng)的
52、子網(wǎng)掩碼:IfM導(dǎo):修匚里;.如:時(shí)門日 凡.523 FfirtprCpeffl?j.U Wlsm IFM Ertll 75 3 Jb: 1S7 calb2U ii-M setongg3 Ready 岫 ccmpfie*sW IF,-J 5 affine 5IM M0T4ES的UGn當(dāng)忙。加& q151sg爐前 IBMDNSEmo:He*t23 :l確認(rèn)狀態(tài):U 10.il Q Md k mgI Cofim電耳中 1 SriHnctttngiHdlMCtRMdy 加nplG 電爐Partprflperlie-2b Him毗口西DIS7l3l"0<!por J| 口甫tnnrd w亞曲h宇汨 孕匕心S«z|3 3*1, tti Wph 整. TiCF.'IF 三忸二kD&lcJltauction trsflc:mu n T cJerance log jlnq waftao-tig -,irh.3l SaH -IPv4 swings匚£3二:后二 tiaaulec Cisalt : fcing: 9dIP4 addre&jgSijbnt nnaB"
溫馨提示
- 1. 本站所有資源如無(wú)特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請(qǐng)下載最新的WinRAR軟件解壓。
- 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請(qǐng)聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
- 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁(yè)內(nèi)容里面會(huì)有圖紙預(yù)覽,若沒有圖紙預(yù)覽就沒有圖紙。
- 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
- 5. 人人文庫(kù)網(wǎng)僅提供信息存儲(chǔ)空間,僅對(duì)用戶上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對(duì)用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對(duì)任何下載內(nèi)容負(fù)責(zé)。
- 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請(qǐng)與我們聯(lián)系,我們立即糾正。
- 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時(shí)也不承擔(dān)用戶因使用這些下載資源對(duì)自己和他人造成任何形式的傷害或損失。
最新文檔
- 環(huán)保衛(wèi)生體系構(gòu)建與實(shí)踐
- 2025玉溪農(nóng)業(yè)職業(yè)技術(shù)學(xué)院輔導(dǎo)員考試試題及答案
- 2025貴陽(yáng)康養(yǎng)職業(yè)大學(xué)輔導(dǎo)員考試試題及答案
- 2025甘肅財(cái)貿(mào)職業(yè)學(xué)院輔導(dǎo)員考試試題及答案
- 新生兒黃疸診療與護(hù)理規(guī)范
- 初中數(shù)學(xué)節(jié)趣味活動(dòng)
- 安全人機(jī)照明設(shè)計(jì)
- 顱腦疾病的診治
- 2025年音樂教育專業(yè)教師資格考試試題及答案
- 2025年網(wǎng)絡(luò)工程師考試題及答案
- GB/T 24915-2010合同能源管理技術(shù)通則
- JGJT 223-2010 預(yù)拌砂漿應(yīng)用技術(shù)規(guī)程
- 電力電纜基礎(chǔ)知識(shí)專題培訓(xùn)課件
- 《國(guó)際貿(mào)易地理》課件
- 沖壓車間品質(zhì)提升改善方案
- 三級(jí)動(dòng)火作業(yè)許可證
- 施工組織設(shè)計(jì)實(shí)訓(xùn)任務(wù)書
- 貪污賄賂犯罪PPT(培訓(xùn))(PPT168頁(yè))課件
- 制動(dòng)器的英文版及翻譯
- 人教版七年級(jí)下冊(cè)數(shù)學(xué) 第五章達(dá)標(biāo)檢測(cè)卷
- 【醫(yī)學(xué)課件】生物大分子(蛋白質(zhì)、核酸和酶)的結(jié)構(gòu)與功能
評(píng)論
0/150
提交評(píng)論