隨著(zhù)互聯(lián)網(wǎng)技術(shù)的發(fā)展,越來(lái)越多的應用面向云計算。云計算是網(wǎng)絡(luò )計算、分布式計算、并行計算、效用計算、網(wǎng)絡(luò )存儲、虛擬化、負載均衡等傳統計算機和網(wǎng)絡(luò )技術(shù)發(fā)展融合的產(chǎn)物。云計算的核心思想,是將大量用網(wǎng)絡(luò )連接的計算資源統一管理和調度,構成一個(gè)計算資源池為用戶(hù)按需服務(wù)。云計算是IT服務(wù)提供方式的一種改變,它在對數據中心呈幾何倍數增長(cháng)的情況下,有望顯著(zhù)提高效率和靈活性。許多云計算部署依賴(lài)于計算機集群,包括計算、網(wǎng)絡(luò )互聯(lián)、存儲等,如圖1-3。圖1-4為具體一個(gè)云計算應用的拓撲部署。
圖 1-3
圖 1-4
上述圖1-4,描述了一個(gè)云計算應用,其主要業(yè)務(wù)應用在經(jīng)分系統中支持Oracle Rac,和分布式話(huà)單分析等,其中配置的集群服務(wù)器節點(diǎn)共有32臺刀片服務(wù)器,每個(gè)結點(diǎn)內置40Gb InfiniBand QDR HCA 卡網(wǎng)卡,連接到MIS5030 IB交換機中。多臺業(yè)務(wù)應用服務(wù)器連接到核心GE萬(wàn)兆交換機中。以太網(wǎng)與IB網(wǎng)的連接通過(guò)MBX 5020 完成。MBX 5020有4個(gè)IB口,每個(gè)IB 可連接3個(gè)GE口,從而實(shí)現了計算結點(diǎn)與以太網(wǎng)服務(wù)器的通訊。
VSA 服務(wù)器:VSA為存儲加速軟件,配置了2個(gè)服務(wù)器,每個(gè)服務(wù)器內置一塊HCA(IB)卡和兩塊HBA(FC)卡,以及一塊512GB SSD固態(tài)盤(pán)。VSA服務(wù)器作為網(wǎng)關(guān)設備,實(shí)現了IB到FC的轉換。
HCA卡:40Gb InfiniBand QDR HCA 網(wǎng)卡。
HBA卡:8Gb FC卡。
SSD固態(tài)盤(pán):采用CFD-SATAE電子盤(pán)產(chǎn)品,持續讀寫(xiě)能力達200MB/s,用于加載VSA軟件做緩存用。
VSA連接著(zhù)FC交換機與后端的FC存儲。
上述拓撲圖中,實(shí)現了IB、Ethernet、FC網(wǎng)絡(luò )的整合互通,應用在不同的云計算需求網(wǎng)絡(luò )部署中。
在當今企業(yè)中80%的數據都是非結構化數據,這些數據每年都按指數增長(cháng)60%。大數據將挑戰企業(yè)的存儲架構、數據中心的基礎設施等,也會(huì )引發(fā)數據倉庫、數據挖掘、商業(yè)智能、云計算等應用的連鎖反應。未來(lái)企業(yè)會(huì )將更多的TB級數據集用于商務(wù)智能和商務(wù)分析。到2020年,全球數據使用量預計將暴增44倍,達到35.2ZB(1ZB=10億TB)。
如何去分析這些數據,挖掘其內在價(jià)值,就需要分布式計算來(lái)支撐海量數據的分析工作。
早先那種多線(xiàn)程,多任務(wù)分解的日志分析設計,是分布式計算的一個(gè)單機版縮略,如何將這種單機的工作進(jìn)行分拆,變成協(xié)同工作的集群,就是分布式計算框架設計所涉及的。
分布式計算運用在多場(chǎng)景,大數據量的分布式處理,是云計算服務(wù)中其業(yè)務(wù)內容必須用到的。
InfiniBand是針對對帶寬延遲要求比較高的領(lǐng)域設計的一種網(wǎng)絡(luò ),現階段主流帶寬是40Gb/s,網(wǎng)絡(luò )中端到端延遲可以控制在us級別,InfiniBand 網(wǎng)絡(luò )采用集中管理,支持網(wǎng)絡(luò )劃分,QOS等功能,擴展方便,可達數千個(gè)節點(diǎn),經(jīng)驗證,適用于MPI, ORACLE RAC,HADOOP等的應用。
云計算核心是計算能力的集中和規模性突破,云計算中心對外提供的計算類(lèi)型決定了云計算中心的硬件基礎架構。從云端客戶(hù)需求看,云計算中心通常需要規?;奶峁┮韵聨追N類(lèi)型的計算能力:
? 大型服務(wù)器
一是高性能的、穩定可靠的高端計算,主要處理緊耦合計算任務(wù),這類(lèi)計算不僅包括對外的數據庫、商務(wù)智能數據挖掘等關(guān)鍵服務(wù),也包括自身賬戶(hù)、計費等核心系統,通常由8路以上的大服務(wù)器提供。上述圖1-4,描述了這種情況的一個(gè)云計算應用的拓撲;
? 高密度服務(wù)器
二是面向眾多普通應用的通用型計算,用于提供低成本計算解決方案,這種計算對硬件要求較低,一般采用高密度、低成本的超密度集成服務(wù)器,以有效降低數據中心運營(yíng)商的運營(yíng)成本和終端用戶(hù)的使用成本;
? 高性能計算HPC
三是面向科學(xué)計算、生物工程等業(yè)務(wù),提供百萬(wàn)億、千萬(wàn)億次計算能力的高性能計算,其硬件基礎是高性能集群。
網(wǎng)絡(luò )互聯(lián)技術(shù)是云計算中的關(guān)鍵因素,需要滿(mǎn)足5個(gè)關(guān)鍵因素對網(wǎng)絡(luò )的需求:
2 高帶寬/低延遲
2 整合型以太網(wǎng)
2 支持多種類(lèi)作業(yè)任務(wù)
2 擴展性和可管理性
2 綠色/低能耗
對于支持云計算的網(wǎng)絡(luò )架構,解決方案應該是開(kāi)放的,支持各廠(chǎng)商產(chǎn)品;采用“逐步擴展”式的布置,避免一次性淘汰更換。
采用的網(wǎng)絡(luò )互聯(lián)設備有:
2 40G IB網(wǎng)絡(luò )設備:用來(lái)支撐高性能的服務(wù)器架構,包括IB交換機和IB網(wǎng)卡
2 網(wǎng)關(guān)設備:支持多種協(xié)議的網(wǎng)絡(luò )連接與融合
2 10G以太網(wǎng)設備:支持以太網(wǎng)高速互聯(lián)的交換機和萬(wàn)兆網(wǎng)卡
2 光纖設備:支持光通道傳輸的光模塊與光纖交換機
2 通用的百兆千兆網(wǎng)傳輸設備:包括線(xiàn)纜與網(wǎng)卡、模塊
不論是商業(yè)計算、普通應用,或是科學(xué)計算,在硬件架構層,影響云計算能力的除了計算能力以外,最重要的一個(gè)環(huán)節就是存儲。云計算采用數據統一集中存儲的模式,存儲的數據規模通??梢赃_到TB乃至PB級別,計算平臺處理的海量并發(fā)必然會(huì )帶來(lái)海量的并發(fā)讀寫(xiě)。由于數據量非常大,讀寫(xiě)并發(fā)高,普通存儲設備不可能滿(mǎn)足數據處理中對性能、穩定性和可用性方面的要求。并且傳統的存儲和文件系統在設計時(shí)并沒(méi)有考慮到大規模需求以及全球內容分發(fā)。存儲多達數十億的文件會(huì )占用千兆字節的空間,要確保這些文件能夠在多個(gè)數據中心之間快速、高效的共享,傳統解決方案的部署復雜、很難管理、不易擴展,且費用高昂。
DataDirect Networks 采用 Web Object Scaler (WOS),有效改善了上述問(wèn)題。WOS是最尖端的基于云的文件存儲技術(shù),從根本上簡(jiǎn)化并改進(jìn)了從多個(gè)分布于不同地域的網(wǎng)站存儲、分發(fā)和訪(fǎng)問(wèn)文件的方式。只需通過(guò)一個(gè)易于使用的管理界面,便能創(chuàng )建輕松、無(wú)限擴展的全球存儲云。WOS存儲技術(shù)具備管理方便、低延遲、可自動(dòng)創(chuàng )建備份和執行災難恢復程序,安全性、可靠性高,易于擴展等特點(diǎn)。
云存儲應用案例:
? 高速的交易結算系統– CDR (呼叫數據記錄) 和互聯(lián)網(wǎng)帶寬使用記錄均為小文件,每秒可到達數百萬(wàn)個(gè),而現有的存儲技術(shù)若未能實(shí)現基礎結構的擴展,就無(wú)法滿(mǎn)足如此快速的交易需求。即使使用現有的存儲技術(shù),高峰時(shí)期也容易造成數據的丟失。WOS 每秒可輕松處理海量交易。
? 視頻監控– 智能型 IP 攝像頭直接與NVR (網(wǎng)絡(luò )視頻) 對話(huà),反過(guò)來(lái),NVR可將錄像轉移到 iSCSI 陣列等存儲設備上。使用 WOS,從此就無(wú)需再使用 NVR,因此攝像頭錄制的視頻便可直接轉移到WOS 存儲云上。這樣不僅能夠降低成本和復雜性,并且由于 WOS固有的多功能性,用戶(hù)可同時(shí)從多個(gè)監控中心訪(fǎng)問(wèn)錄像檔案。WOS 還自帶故障轉移和災難恢復功能,而這一點(diǎn)對敏感數據很重要。
? Internet/Web2.0 – 管理用戶(hù)生成內容的網(wǎng)站必須能夠應付持久性數據不斷擴大的存儲需求,以及管理數以百萬(wàn)計文件的挑戰。多功能的 WOS 能夠存儲數以十億計的文件,且不會(huì )對用戶(hù)端造成任何影響,是能夠滿(mǎn)足高速擴展需求的理想的解決方案。
? 銀行 – 支票影像應用平臺能夠創(chuàng )建數以百萬(wàn)計的小文件,而這些小文件會(huì )對傳統的基于 NFS 的文件造成嚴重損壞。一個(gè)WOS 云便能在同一個(gè)命名空間內輕松存儲數十億支票影像,并自動(dòng)將這些影像分發(fā)至多個(gè)數據中心,保護數據的同時(shí)還能提高訪(fǎng)問(wèn)速度。
? 文檔及文件存檔– WOS 云是理想的存儲庫,適用于超過(guò)80% 的非結構性數據,這些數據需要保持在線(xiàn)狀態(tài)但只是偶爾對其進(jìn)行訪(fǎng)問(wèn)。將不常使用的數據遷移到 WOS,能夠釋放 1 層空間,延長(cháng)使用壽命并降低持有成本。即使存檔數據不斷擴大,您也可隨時(shí)根據需要快速、順暢地添加 WOS 節點(diǎn)。
? 政府– WOS 云可為用戶(hù)提供海量規模和優(yōu)異性能,適用于大型視頻、成像和存檔項目,同時(shí)還可實(shí)現政府機構和關(guān)聯(lián)機構之間自動(dòng)、快速的信息共享,用于應急響應系統、快速聯(lián)動(dòng)系統。
搭建云計算平臺,需要軟件技術(shù)的支持,這些軟件包括:
? 應用軟件:
提供云計算平臺服務(wù)的應用軟件,如網(wǎng)絡(luò )加速、任務(wù)調度、高性能計算軟件、安全、存儲、系統優(yōu)化等軟件。
? 虛擬化軟件
虛擬化技術(shù)主要分為以下幾個(gè)大類(lèi) :
2 平臺虛擬化(Platform Virtualization),針對計算機和操作系統的虛擬化。
2 資源虛擬化(Resource Virtualization),針對特定的系統資源的虛擬化,比如內存、存儲、網(wǎng)絡(luò )資源等。
2 應用程序虛擬化(Application Virtualization),包括仿真、模擬、解釋技術(shù)等。
? 網(wǎng)絡(luò )、集群管理軟件
網(wǎng)絡(luò )、集群管理軟件可幫助搭建和管理“云系統”。集群計算系統是云計算系統的核心。集群管理軟件通過(guò)提供監控、告警、報表、控制、統籌管理機制等功能,提高了集群運作性能,保證了集群整體安全,方便了用戶(hù)使用和管理。
? 分布式計算軟件
分布式軟件充分利用分布式資源,通過(guò)將計算過(guò)程分解,由多臺服務(wù)器并行處理,計算結果綜合起來(lái)得到最終結果的方式,使計算量巨大的處理可以再在更短時(shí)間內完成。分布式軟件通過(guò)綜合調度、并行處理的方式,使分布式系統資源充分利用,各節點(diǎn)協(xié)同工作,以低成本達到類(lèi)似一臺大型機的運算效果。