?
青云QingCloud推出Hadoop集群服務(wù)
Hadoop是一個(gè)針對(duì)海量大數(shù)據(jù)進(jìn)行存儲(chǔ)和處理的分布式開(kāi)源平臺(tái)，在大數(shù)據(jù)領(lǐng)域的應(yīng)用極為廣泛。它使用簡(jiǎn)潔的MapReduce編程模型分布式處理跨集群的大型數(shù)據(jù)集，集群規(guī)模可以擴(kuò)展到幾千甚至上萬(wàn)。QingCloud Hadoop集群服務(wù)采用Master/Slave架構(gòu)，由三種節(jié)點(diǎn)類(lèi)型構(gòu)成，即主節(jié)點(diǎn)（YARN Resource Manager和HDFS Name Node）、從節(jié)點(diǎn)（YARN Node Manager和HDFS Data Node），以及客戶端節(jié)點(diǎn)（Hadoop Client Node）。用戶在客戶端節(jié)點(diǎn)發(fā)起MapReduce任務(wù)，通過(guò)與HDFS和YARN集群中各節(jié)點(diǎn)的交互存取文件、執(zhí)行MapReduce任務(wù)，最終獲取結(jié)果。
青云QingCloud Hadoop集群架構(gòu)圖
早在2015年8月，青云QingCloud就已推出基于Spark的大數(shù)據(jù)集群服務(wù)，此次Hadoop集群服務(wù)的上線是對(duì)QingCloud大數(shù)據(jù)基礎(chǔ)平臺(tái)的有力補(bǔ)充。Hadoop和Spark各有千秋，Hadoop適用于更大規(guī)模的離線數(shù)據(jù)處理，且對(duì)系統(tǒng)故障具備天然的抵抗力；Spark更適合做快速的實(shí)時(shí)數(shù)據(jù)分析。因此，用戶可以根據(jù)應(yīng)用場(chǎng)景的不同，選擇靈活的大數(shù)據(jù)解決方案。 具體而言，青云QingCloud Hadoop集群服務(wù)具有以下特性：- ?一鍵部署：用戶只需要簡(jiǎn)單的幾步操作就能夠在2-3分鐘內(nèi)創(chuàng)建出一個(gè)Hadoop集群，幫助用戶降低Hadoop的技術(shù)門(mén)檻和開(kāi)發(fā)成本，快速地利用Hadoop展開(kāi)數(shù)據(jù)分析工作。
- 簡(jiǎn)化運(yùn)維：大數(shù)據(jù)平臺(tái)尤其是Hadoop的運(yùn)維非常繁瑣，QingCloud為用戶提供了便捷的運(yùn)維工具和圖形化操作，極大地簡(jiǎn)化了Hadoop集群的運(yùn)維和管理工作。
- 在線伸縮：Hadoop集群服務(wù)支持橫向和縱向在線伸縮，以滿足用戶對(duì)計(jì)算能力和容量的需求。用戶可以選擇新增或者刪除節(jié)點(diǎn)進(jìn)行橫向伸縮，也可以根據(jù)節(jié)點(diǎn)的監(jiān)測(cè)數(shù)據(jù)隨時(shí)調(diào)整各個(gè)節(jié)點(diǎn)的配置。
- 監(jiān)控告警：QingCloud針對(duì)HDFS、YARN和MapReduce提供了豐富的監(jiān)控信息，還為每個(gè)節(jié)點(diǎn)資源提供了監(jiān)控告警服務(wù)，包括CPU使用率、內(nèi)存使用率、硬盤(pán)使用率等，以幫助用戶更好地管理和維護(hù)Hadoop集群。
- 安全性：Hadoop集群運(yùn)行于100%二層隔離的私有網(wǎng)絡(luò)內(nèi)，結(jié)合QingCloud提供的高性能硬盤(pán)，在保障高性能的同時(shí)兼顧用戶的數(shù)據(jù)安全。
分享