隨著大數(shù)據(jù)應(yīng)用的爆發(fā)性增長，大數(shù)據(jù)已經(jīng)衍生出了自己獨特的架構(gòu)，而且也直接推動了存儲、網(wǎng)絡(luò)以及計算技術(shù)的發(fā)展。畢竟處理大數(shù)據(jù)這種特殊的需求是一個新的挑戰(zhàn)。硬件的發(fā)展最終還是由軟件需求推動的。大數(shù)據(jù)本身意味著非常多需要使用標(biāo)準存儲技術(shù)來處理的數(shù)據(jù)。大數(shù)據(jù)可能由TB級(或者甚至PB級)信息組成，既包括結(jié)構(gòu)化數(shù)據(jù)(數(shù)據(jù)庫、日志、SQL等)以及非結(jié)構(gòu)化數(shù)據(jù)(社交媒體帖子、傳感器、多媒體數(shù)據(jù))。此外，大部分這些數(shù)據(jù)缺乏索引或者其他組織結(jié)構(gòu)，可能由很多不同文件類型組成。從目前技術(shù)發(fā)展的情況來看，大數(shù)據(jù)存儲技術(shù)的發(fā)展正面臨著以下幾個難題：

1、容量問題

這里所說的“大容量”通常可達到PB級的數(shù)據(jù)規(guī)模，因此，海量數(shù)據(jù)存儲系統(tǒng)也一定要有相應(yīng)等級的擴展能力。與此同時，存儲系統(tǒng)的擴展一定要簡便，可以通過增加模塊或磁盤柜來增加容量，甚至不需要停機。

“大數(shù)據(jù)”應(yīng)用除了數(shù)據(jù)規(guī)模巨大之外，還意味著擁有龐大的文件數(shù)量。因此如何管理文件系統(tǒng)層累積的元數(shù)據(jù)是一個難題，處理不當(dāng)?shù)脑挄绊懙较到y(tǒng)的擴展能力和性能，而傳統(tǒng)的NAS系統(tǒng)就存在這一瓶頸。所幸的是，基于對象的存儲架構(gòu)就不存在這個問題，它可以在一個系統(tǒng)中管理十億級別的文件數(shù)量，而且還不會像傳統(tǒng)存儲一樣遭遇元數(shù)據(jù)管理的困擾。基于對象的存儲系統(tǒng)還具有廣域擴展能力，可以在多個不同的地點部署并組成一個跨區(qū)域的大型存儲基礎(chǔ)架構(gòu)。

2、延遲問題

“大數(shù)據(jù)”應(yīng)用還存在實時性的問題。有很多“大數(shù)據(jù)”應(yīng)用環(huán)境需要較高的IOPS性能，比如HPC高性能計算。此外，服務(wù)器虛擬化的普及也導(dǎo)致了對高IOPS的需求，正如它改變了傳統(tǒng)IT環(huán)境一樣。為了迎接這些挑戰(zhàn)，各種模式的固態(tài)存儲設(shè)備應(yīng)運而生，小到簡單的在服務(wù)器內(nèi)部做高速緩存，大到全固態(tài)介質(zhì)的可擴展存儲系統(tǒng)等等都在蓬勃發(fā)展。

3、并發(fā)訪問

一旦企業(yè)認識到大數(shù)據(jù)分析應(yīng)用的潛在價值，他們就會將更多的數(shù)據(jù)集納入系統(tǒng)進行比較，同時讓更多的人分享并使用這些數(shù)據(jù)。為了創(chuàng)造更多的商業(yè)價值，企業(yè)往往會綜合分析那些來自不同平臺下的多種數(shù)據(jù)對象。包括全局文件系統(tǒng)在內(nèi)的存儲基礎(chǔ)設(shè)施就能夠幫助用戶解決數(shù)據(jù)訪問的問題，全局文件系統(tǒng)允許多個主機上的多個用戶并發(fā)訪問文件數(shù)據(jù)，而這些數(shù)據(jù)則可能存儲在多個地點的多種不同類型的存儲設(shè)備上。

4、安全問題

某些特殊行業(yè)的應(yīng)用，比如金融數(shù)據(jù)、醫(yī)療信息以及政府情報等都有自己的安全標(biāo)準和保密性需求。雖然對于IT管理者來說這些并沒有什么不同，而且都是必須遵從的，但是，大數(shù)據(jù)分析往往需要多類數(shù)據(jù)相互參考，而在過去并不會有這種數(shù)據(jù)混合訪問的情況，因此大數(shù)據(jù)應(yīng)用也催生出一些新的、需要考慮的安全性問題。

5、成本問題

成本問題“大”，也可能意味著代價不菲。而對于那些正在使用大數(shù)據(jù)環(huán)境的企業(yè)來說，成本控制是關(guān)鍵的問題。想控制成本，就意味著我們要讓每一臺設(shè)備都實現(xiàn)更高的“效率”，同時還要減少那些昂貴的部件。

對成本控制影響最大的因素是那些商業(yè)化的硬件設(shè)備。因此，很多初次進入這一領(lǐng)域的用戶以及那些應(yīng)用規(guī)模最大的用戶都會定制他們自己的“硬件平臺”而不是用現(xiàn)成的商業(yè)產(chǎn)品，這一舉措可以用來平衡他們在業(yè)務(wù)擴展過程中的成本控制戰(zhàn)略。為了適應(yīng)這一需求，現(xiàn)在越來越多的存儲產(chǎn)品都提供純軟件的形式，可以直接安裝在用戶已有的、通用的或者現(xiàn)成的硬件設(shè)備上。此外，很多存儲軟件公司還在銷售以軟件產(chǎn)品為核心的軟硬一體化裝置，或者與硬件廠商結(jié)盟，推出合作型產(chǎn)品。

6、數(shù)據(jù)的積累

許多大數(shù)據(jù)應(yīng)用都會涉及到法規(guī)遵從問題，這些法規(guī)通常要求數(shù)據(jù)要保存幾年或者幾十年。比如醫(yī)療信息通常是為了保證患者的生命安全，而財務(wù)信息通常要保存7年。而有些使用大數(shù)據(jù)存儲的用戶卻希望數(shù)據(jù)能夠保存更長的時間，因為任何數(shù)據(jù)都是歷史記錄的一部分，而且數(shù)據(jù)的分析大都是基于時間段進行的。要實現(xiàn)長期的數(shù)據(jù)保存，就要求存儲廠商開發(fā)出能夠持續(xù)進行數(shù)據(jù)一致性檢測的功能以及其他保證長期高可用的特性。同時還要實現(xiàn)數(shù)據(jù)直接在原位更新的功能需求。

7、數(shù)據(jù)的靈活性

大數(shù)據(jù)存儲系統(tǒng)的基礎(chǔ)設(shè)施規(guī)模通常都很大，因此必須經(jīng)過仔細設(shè)計，才能保證存儲系統(tǒng)的靈活性，使其能夠隨著應(yīng)用分析軟件一起擴容及擴展。在大數(shù)據(jù)存儲環(huán)境中，已經(jīng)沒有必要再做數(shù)據(jù)遷移了，因為數(shù)據(jù)會同時保存在多個部署站點。一個大型的數(shù)據(jù)存儲基礎(chǔ)設(shè)施一旦開始投入使用，就很難再調(diào)整了，因此它必須能夠適應(yīng)各種不同的應(yīng)用類型和數(shù)據(jù)場景。

存儲介質(zhì)正在改變，云計算倍受青睞

存儲之于安防的地位，其已經(jīng)不僅是一個設(shè)備而已，而是已經(jīng)升華到了一個解決方案平臺的地步。作為圖像數(shù)據(jù)和報警事件記錄的載體，存儲的重要性是不言而喻的。

安防監(jiān)控應(yīng)用對存儲的需求是什么？首先，海量存儲的需求。其次，性能的要求。第三，價格的敏感度。第四，集中管理的要求。第五，網(wǎng)絡(luò)化要求。安防監(jiān)控技術(shù)發(fā)展到今天經(jīng)歷了三個階段，即：模擬化、數(shù)字化、網(wǎng)絡(luò)化。與之相適應(yīng)，監(jiān)控數(shù)據(jù)存儲也經(jīng)歷了多個階段，即：VCR模擬數(shù)據(jù)存儲、DVR數(shù)字數(shù)據(jù)存儲，到現(xiàn)在的集中網(wǎng)絡(luò)存儲，以及發(fā)展到云存儲階段，正是在一步步迎合這種市場需求。在未來，安防監(jiān)控隨著高清化，網(wǎng)絡(luò)化，智能化的不斷發(fā)展，將對現(xiàn)有存儲方案帶來不斷挑戰(zhàn)，包括容量、帶寬的擴展問題和管理問題。那么，基于大數(shù)據(jù)戰(zhàn)略的海量存儲系統(tǒng)--云存儲就倍受青睞了。

來源：http://www.21csp.com.cn/zhanti/DSJAF2013/article/article_10970.html 中國安防行業(yè)網(wǎng)