大數(shù)據(jù)存儲(chǔ)與管理技術(shù)是用存儲(chǔ)器把采集到的數(shù)據(jù)存儲(chǔ)起來(lái)，建立相應(yīng)的數(shù)據(jù)庫(kù)，并進(jìn)行管理和調(diào)用。主要解決大數(shù)據(jù)可存儲(chǔ)。可處理及有效傳輸?shù)汝P(guān)鍵問題。
大數(shù)據(jù)包括結(jié)構(gòu)化和非結(jié)構(gòu)化兩種類型，德緣泰科技安防大數(shù)據(jù)以視頻圖像為主，數(shù)量巨大而且是非結(jié)構(gòu)化的。IDC將大數(shù)據(jù)技術(shù)定義為：大數(shù)據(jù)技術(shù)描述了新一代的技術(shù)和架構(gòu)體系，通過(guò)高速采集、發(fā)現(xiàn)和分析，提取各種各樣的大量數(shù)據(jù)的經(jīng)濟(jì)價(jià)值。
"大數(shù)據(jù)"通常指的是那些數(shù)量巨大、難于收集、處理、分析的數(shù)據(jù)集，也指那些在傳統(tǒng)基礎(chǔ)設(shè)施中長(zhǎng)期保存的數(shù)據(jù)。這里的"大"有幾層含義，它可以形容組織的大小，而更重要的是，它界定了企業(yè)中IT基礎(chǔ)設(shè)施的規(guī)模。業(yè)內(nèi)對(duì)大數(shù)據(jù)應(yīng)用寄予了無(wú)限的期望，需要通過(guò)數(shù)據(jù)存儲(chǔ)與管理，進(jìn)一步把其價(jià)值挖掘出來(lái)。數(shù)據(jù)永遠(yuǎn)都在增長(zhǎng)之中，只是存儲(chǔ)海量數(shù)據(jù)的能力是不夠的，因?yàn)檫@并不能保證我們能夠成功地從中搜尋出商業(yè)價(jià)值，還需要對(duì)數(shù)據(jù)進(jìn)行管理。
隨著大數(shù)據(jù)應(yīng)用的爆發(fā)性增長(zhǎng)，它已經(jīng)衍生出了自己獨(dú)特的架構(gòu)，而且也直接推動(dòng)了存儲(chǔ)、網(wǎng)絡(luò)以及計(jì)算技術(shù)的發(fā)展。畢竟處理大數(shù)據(jù)這種特殊的需求是一個(gè)新的挑戰(zhàn)。硬件的發(fā)展最終還是由軟件需求推動(dòng)的，大數(shù)據(jù)分析應(yīng)用需求正在影響著數(shù)據(jù)存儲(chǔ)基礎(chǔ)設(shè)施的發(fā)展，這一變化對(duì)存儲(chǔ)廠商和其他IT基礎(chǔ)設(shè)施廠商是一個(gè)機(jī)會(huì)。
隨著結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)量的持續(xù)增長(zhǎng)，以及分析數(shù)據(jù)來(lái)源的多樣化，此前存儲(chǔ)系統(tǒng)的設(shè)計(jì)已經(jīng)無(wú)法滿足大數(shù)據(jù)應(yīng)用的需要。存儲(chǔ)廠商已經(jīng)意識(shí)到這一點(diǎn)，開始修改基于塊和文件的存儲(chǔ)系統(tǒng)的架構(gòu)設(shè)計(jì)以適應(yīng)這些新的要求。以下幾個(gè)與大數(shù)據(jù)存儲(chǔ)基礎(chǔ)設(shè)施相關(guān)的屬性，是迎接大數(shù)據(jù)的挑戰(zhàn)重點(diǎn)所在。
一、數(shù)據(jù)存儲(chǔ)管理技術(shù)難點(diǎn)
（一）容量問題
"大容量"通常可達(dá)到PB級(jí)的數(shù)據(jù)規(guī)模，因此，海量數(shù)據(jù)存儲(chǔ)系統(tǒng)也一定要有相應(yīng)等級(jí)的擴(kuò)展能力。與此同時(shí)，存儲(chǔ)系統(tǒng)的擴(kuò)展一定要簡(jiǎn)便，可以通過(guò)增加模塊或磁盤柜來(lái)增加容量，甚至不需要停機(jī)。基于這樣的需求，客戶現(xiàn)在越來(lái)越青睞Scale-out架構(gòu)的存儲(chǔ)。Scale-out集群結(jié)構(gòu)的特點(diǎn)是每個(gè)節(jié)點(diǎn)除了具有一定的存儲(chǔ)容量之外，內(nèi)部還具備數(shù)據(jù)處理能力以及互聯(lián)設(shè)備，與傳統(tǒng)存儲(chǔ)系統(tǒng)的煙囪式架構(gòu)完全不同，Scale-out架構(gòu)可以實(shí)現(xiàn)無(wú)縫平滑的擴(kuò)展，避免存儲(chǔ)孤島。
"大數(shù)據(jù)"應(yīng)用除了數(shù)據(jù)規(guī)模巨大之外，還意味著擁有龐大的文件數(shù)量。因此如何管理文件系統(tǒng)層累積的元數(shù)據(jù)是一個(gè)難題，處理不當(dāng)?shù)脑挄?huì)影響到系統(tǒng)的擴(kuò)展能力和性能，而傳統(tǒng)的NAS系統(tǒng)就存在這一瓶頸。所幸的是，基于對(duì)象的存儲(chǔ)架構(gòu)就不存在這個(gè)問題，它可以在一個(gè)系統(tǒng)中管理十億級(jí)別的文件數(shù)量，而且還不會(huì)像傳統(tǒng)存儲(chǔ)一樣遭遇元數(shù)據(jù)管理的困擾。基于對(duì)象的存儲(chǔ)系統(tǒng)還具有廣域擴(kuò)展能力，可以在多個(gè)不同的地點(diǎn)部署并組成一個(gè)跨區(qū)域的大型存儲(chǔ)基礎(chǔ)架構(gòu)。
（二）延遲問題
有很多"大數(shù)據(jù)"應(yīng)用環(huán)境需要較高的IOPS性能，比如HPC高性能計(jì)算。此外，服務(wù)器虛擬化的普及也導(dǎo)致了對(duì)高IOPS的需求，正如它改變了傳統(tǒng)IT環(huán)境一樣。為了迎接這些挑戰(zhàn)，各種模式的固態(tài)存儲(chǔ)設(shè)備應(yīng)運(yùn)而生，小到簡(jiǎn)單的在服務(wù)器內(nèi)部做高速緩存，大到全固態(tài)介質(zhì)的可擴(kuò)展存儲(chǔ)系統(tǒng)等等都在蓬勃發(fā)展。
（三）安全問題
某些特殊行業(yè)的應(yīng)用，比如公共安全、金融數(shù)據(jù)、醫(yī)療信息以及政府情報(bào)等都有自己的安全標(biāo)準(zhǔn)和保密性需求。雖然對(duì)于IT管理者來(lái)說(shuō)這些并沒有什么不同，而且都是必須遵從的，但是，大數(shù)據(jù)分析往往需要多類數(shù)據(jù)相互參考，而在過(guò)去并不會(huì)有這種數(shù)據(jù)混合訪問的情況，因此大數(shù)據(jù)應(yīng)用也催生出一些新的、需要考慮的安全性問題。
（四）成本問題
"大"，也可能意味著代價(jià)不菲。而對(duì)于那些正在使用大數(shù)據(jù)環(huán)境的企業(yè)來(lái)說(shuō)，成本控制是關(guān)鍵的問題。想控制成本，就意味著要讓每一臺(tái)設(shè)備都實(shí)現(xiàn)更高的"效率"，同時(shí)還要減少那些昂貴的部件。目前，像重復(fù)數(shù)據(jù)刪除等技術(shù)已經(jīng)進(jìn)入到主存儲(chǔ)市場(chǎng)，而且現(xiàn)在還可以處理更多的數(shù)據(jù)類型，這都可以為大數(shù)據(jù)存儲(chǔ)應(yīng)用帶來(lái)更多的價(jià)值，提升存儲(chǔ)效率。在數(shù)據(jù)量不斷增長(zhǎng)的環(huán)境中，通過(guò)減少后端存儲(chǔ)的消耗，哪怕只是降低幾個(gè)百分點(diǎn)，都能夠獲得明顯的投資回報(bào)。此外，自動(dòng)精簡(jiǎn)配置、快照和克隆技術(shù)的使用也可以提升存儲(chǔ)的效率。
很多大數(shù)據(jù)存儲(chǔ)系統(tǒng)都包括歸檔組件，尤其對(duì)那些需要分析歷史數(shù)據(jù)或需要長(zhǎng)期保存數(shù)據(jù)的機(jī)構(gòu)來(lái)說(shuō)，歸檔設(shè)備必不可少。從單位容量存儲(chǔ)成本的角度看，磁帶仍然是最經(jīng)濟(jì)的存儲(chǔ)介質(zhì)，事實(shí)上，在許多企業(yè)中，使用支持TB級(jí)大容量磁帶的歸檔系統(tǒng)仍然是事實(shí)上的標(biāo)準(zhǔn)和慣例。
對(duì)成本控制影響最大的因素是那些商業(yè)化的硬件設(shè)備。因此，很多初次進(jìn)入這一領(lǐng)域的用戶以及那些應(yīng)用規(guī)模最大的用戶都會(huì)定制他們自己的"硬件平臺(tái)"而不是用現(xiàn)成的商業(yè)產(chǎn)品，這一舉措可以用來(lái)平衡他們?cè)跇I(yè)務(wù)擴(kuò)展過(guò)程中的成本控制戰(zhàn)略。為了適應(yīng)這一需求，現(xiàn)在越來(lái)越多的存儲(chǔ)產(chǎn)品都提供純軟件的形式，可以直接安裝在用戶已有的、通用的或者現(xiàn)成的硬件設(shè)備上。此外，很多存儲(chǔ)軟件公司還在銷售以軟件產(chǎn)品為核心的軟硬一體化裝置，或者與硬件廠商結(jié)盟，推出合作型產(chǎn)品。
二、數(shù)據(jù)存儲(chǔ)管理發(fā)展趨勢(shì)
（一）存儲(chǔ)行業(yè)的重組和整合
存儲(chǔ)客戶需要時(shí)間來(lái)消化新的存儲(chǔ)技術(shù)，包括軟件定義存儲(chǔ)、私有云和公有云的優(yōu)勢(shì)，及功能和限制等問題，并逐漸將這些技術(shù)應(yīng)用到存儲(chǔ)業(yè)務(wù)上。這種趨勢(shì)在傳統(tǒng)陣列收入的降低和全閃存存儲(chǔ)銷售的快速增長(zhǎng)中體現(xiàn)出來(lái)。這種趨勢(shì)也將影響到2016年存儲(chǔ)廠商們?cè)诖鎯?chǔ)新世界中的地位。
（二）從備份到恢復(fù)業(yè)務(wù)的存儲(chǔ)定價(jià)都發(fā)生了改變
存儲(chǔ)數(shù)據(jù)的成本傳統(tǒng)上是根據(jù)每GB或每TB位單位進(jìn)行收費(fèi)。然而隨著存儲(chǔ)數(shù)據(jù)容量的成本變化，根據(jù)是否預(yù)置在云中、下降到接近零存儲(chǔ)、不能訪問的數(shù)據(jù)的成本激增，都會(huì)導(dǎo)致成本的變化。幾個(gè)供應(yīng)商,包括像Google和Asigra,已經(jīng)著重在基于存儲(chǔ)恢復(fù)或還原上砸錢而不是一味用于存儲(chǔ)。這是一種顛覆性的模型,該模型將需要存儲(chǔ)提供商扔掉現(xiàn)有價(jià)格列表,但它更好地反映提供存儲(chǔ)容量的成本。
（三）超融合基礎(chǔ)架構(gòu)打破計(jì)算機(jī)存儲(chǔ)之間的聯(lián)系
超融合基礎(chǔ)設(shè)施解決方案的最大賣點(diǎn)就是將計(jì)算，存儲(chǔ)，網(wǎng)絡(luò)和虛擬化資源緊密連接到單一設(shè)備，令其易于部署和管理。雖然在大型項(xiàng)目中它們也會(huì)變得相當(dāng)昂貴。然而，密切聯(lián)系也是阻礙進(jìn)一步采用該技術(shù)的障礙。需要更多計(jì)算，買一個(gè)有更多計(jì)算和存儲(chǔ)的節(jié)點(diǎn)。當(dāng)2016年眾多的超合基礎(chǔ)設(shè)施架構(gòu)供應(yīng)商們不負(fù)諾言，為內(nèi)部部署和私有云提供了簡(jiǎn)單的易于部署的平臺(tái)時(shí)，這種聯(lián)系也將會(huì)被打破。除非他們?yōu)榭蛻籼峁┝藶槊總€(gè)組件分別實(shí)現(xiàn)擴(kuò)展的功能。
（四）超融合云存儲(chǔ)將要稱霸
公共云存儲(chǔ)的試驗(yàn)階段已完成。客戶知道了公有云可以做些什么。更重要的是他們知道公共云不能保證數(shù)據(jù)的安全性，同時(shí)實(shí)現(xiàn)成本的逐漸下降。在2016年，存儲(chǔ)行業(yè)的發(fā)展將會(huì)促進(jìn)公有云歸屬于最正確的地方，適用于存儲(chǔ)生命周期即將結(jié)束的工作負(fù)載需求，同時(shí)性能對(duì)于他們來(lái)說(shuō)不是主要問題，包括災(zāi)難恢復(fù)、長(zhǎng)期存檔、臨時(shí)的容量爆發(fā)和數(shù)據(jù)共享。遠(yuǎn)程監(jiān)控。
到今年年底，沒有云組件的存儲(chǔ)啟動(dòng)安裝設(shè)備將會(huì)變得很少見。大多數(shù)新的存儲(chǔ)安裝啟用設(shè)備內(nèi)部將會(huì)部署私有云，以處理高性能或者高安全性的工作負(fù)載，并綁定一到兩個(gè)公有云以獲得最好的工作負(fù)載管理。
（五）軟件定義存儲(chǔ)占據(jù)近主流位置
在過(guò)去幾年中已經(jīng)出現(xiàn)了軟件定義存儲(chǔ)，是用于分隔底層硬件存儲(chǔ)陣列的功能，使其能在商用硬件中配置存儲(chǔ)設(shè)備，2016年將看到軟件定義存儲(chǔ)解決方案被越來(lái)越多客戶接受，尤其在企業(yè)中，因?yàn)槠渌男麓鎯?chǔ)模式，例如云計(jì)算已經(jīng)被接受了。軟件定義存儲(chǔ)解決方案的優(yōu)勢(shì)也將變得越來(lái)越明顯，因?yàn)橐恍╊I(lǐng)先的解決方案供應(yīng)商們正在想方設(shè)法銷售他們的大型產(chǎn)品，尤其是在存儲(chǔ)周期開始不斷被刷新時(shí)。
（六）服務(wù)器成為新存儲(chǔ)平臺(tái)
從傳統(tǒng)的存儲(chǔ)陣列中走出，轉(zhuǎn)移到新的基礎(chǔ)設(shè)施架構(gòu)，例如軟件定義存儲(chǔ)和云計(jì)算等舉動(dòng)，意味著服務(wù)器將會(huì)統(tǒng)治新的存儲(chǔ)平臺(tái)。這種趨勢(shì)已悄然在行業(yè)內(nèi)發(fā)生，可以看到業(yè)內(nèi)有大量的服務(wù)器出貨，同時(shí)服務(wù)器收入也獲得了增長(zhǎng)，在2016年將會(huì)加速發(fā)展。
今年，將會(huì)看到增加了內(nèi)存和存儲(chǔ)容量不斷豐富的服務(wù)器配置功能。這樣的配置允許在使用軟件定義存儲(chǔ)架構(gòu)時(shí)可以增加容量，同時(shí)提供更好的性能，可以為需要移動(dòng)到云中的工作負(fù)載所使用。
這也將會(huì)導(dǎo)致傳統(tǒng)存儲(chǔ)陣列銷售下降，進(jìn)而推動(dòng)更豐富的服務(wù)器配置發(fā)展，這可能會(huì)成為一個(gè)永無(wú)止境的循環(huán)變化。
Industry dynamics 創(chuàng)意安防
數(shù)據(jù)存儲(chǔ)與管理
