

2011年,1.8ZB(也就是1.8萬億GB)的大數(shù)據(jù)創(chuàng)建產(chǎn)生,這相當于每位美國人每分鐘寫3條Tweet,而且還是不停地寫2.6976萬年。據(jù)IDC報告預測,未來十年全球大數(shù)據(jù)將增加50倍,管理數(shù)據(jù)倉庫的服務(wù)器的數(shù)量也將相應增加10倍以滿足需求。
毫無疑問,大數(shù)據(jù)將挑戰(zhàn)企業(yè)的存儲架構(gòu)及數(shù)據(jù)中心基礎(chǔ)設(shè)施等,也會引發(fā)云計算、數(shù)據(jù)倉庫、數(shù)據(jù)挖掘、商業(yè)智能等應用的連鎖反應。
我們知道,互聯(lián)網(wǎng)領(lǐng)域應用系統(tǒng)的構(gòu)建存在諸多問題,如:客戶群體是不確定的、系統(tǒng)規(guī)模不確定、系統(tǒng)投資不固定、業(yè)務(wù)應用有很清晰的并行分割特征、數(shù)據(jù)倉庫系統(tǒng)的構(gòu)建、數(shù)據(jù)倉庫規(guī)模可估算、數(shù)據(jù)倉庫的系統(tǒng)投資與業(yè)務(wù)分析的價值和回報相關(guān)、商業(yè)智能應用屬于整體應用、Saas模式構(gòu)建數(shù)據(jù)倉庫系統(tǒng)。
在大數(shù)據(jù)技術(shù)上用云計算構(gòu)建下一代數(shù)據(jù)倉庫成為可能。從系統(tǒng)需求來看,大數(shù)據(jù)的架構(gòu)對系統(tǒng)提出了新的挑戰(zhàn),而這也可視為云計算的“天賜良機”:
一、集成度更高:這意味著一個標準機箱最大限度完成特定任務(wù),華碩不久推出的一款高密度機架式服務(wù)器RS720,2U高度最大能采用支持4個雙路計算節(jié)點,實現(xiàn)單機8個英特爾5600系列處理器和高達總計768G內(nèi)存資源。
二、配置更合理、速度更快:存儲、控制器、I/O通道、內(nèi)存、CPU、網(wǎng)絡(luò)均衡設(shè)計,針對數(shù)據(jù)倉庫訪問最優(yōu)設(shè)計,比傳統(tǒng)類似平臺高出一個數(shù)量級以上,這方面的經(jīng)典案例是數(shù)據(jù)倉庫頭號廠商Teradata,其采用雙路Xeon六核處理器的企業(yè)級數(shù)據(jù)倉庫5650可輕松為數(shù)千名用戶處理更復雜、更大量的工作負載、持續(xù)負載以及批負載、操作性查詢、簡單報表和復雜的分析,所有功能均在同一個平臺上運行。與上一代產(chǎn)品相比,動態(tài)企業(yè)級數(shù)據(jù)倉庫5650的性能提高了43%,占地面積保持不變,減少了能源消耗和空間需求。
三、整體能耗更低:同等計算任務(wù),能耗最低。
四、系統(tǒng)更加穩(wěn)定可靠:能夠消除各種單點故障環(huán)節(jié),統(tǒng)一一個部件、器件的品質(zhì)和標準。
五、管理維護費用低:數(shù)據(jù)藏的常規(guī)管理全部集成。
六、可規(guī)劃和預見的系統(tǒng)擴容、升級路線圖。