大數據與云計算、物聯網三者的區別和關聯
發布日期:2019-06-06        




  
為解決互聯網應用對大規模計算能力、數據存儲能力的迫切需求,云計算的概念被提出。云計算是一種分布式計算平臺,通過虛擬技術將海量的硬件資源和虛擬資源虛擬成虛擬資源池,并根據需求任務的大小,向虛擬資源池獲取相應的計算和存儲資源。


  
在大數據處理的需求下,出現了許多優秀的云計算平臺,例如Apache開源的Hadoop、 Google的MapReduce、微軟的Dryad等。

  
在處理格式多樣的大數據時,云計算能協調組織眾節點,提供廉價的資源和服務,具有較可靠的可擴展性和容錯性。然而,對于大規模復雜的應用系統來說,云計算還有諸多的技術問題有待深入研究。

  
為應對數據密集型服務,云計算提供分布式并行編程技術、分布式并行數據庫技術,可通過開源的編程接口和工具來調用服務,其優勢是能高效處理結構簡單的大數據,但對關系復雜的大數據的處理,在效率和準確率方面還不能令人滿意。

  
大數據技術的目標是解決應用中多源、異構、海量數據的管理和使用問題,但其本身不具備處理大規模數據的存儲資源和計算資源的能力,因此必須在已有成熟的技術基礎上,引入新的與之相對應的大數據存儲和計算平臺。

  
云計算以數據為中心,對大數據集進行處理,并向用戶返回高效服務,具有并行化、虛擬化、按需服務等特點。從數據管理角度來說,大數據技術是對數據組織結構的描述,研究重點是數據的查詢、更新、索引等操作技術;而云計算則是一種分而治之,按需索取的大數據分布式服務模式。

  
這兩個概念提出的背景都是為滿足海量異構數據的組織和管理要求。從相互之間的影響來看,前者為后者提供了廣闊的應用背景,后者為前者數據管理提供了存儲和計算資源,兩者相互促進,相互依存。

  
大數據與物聯網

  
隨著智能交通、智能家居、智能物流、智慧景區等應用的興起,物聯網已成為未來經濟的新增長點。美國、德國、英國、意大利和丹麥等國家爭先推出物聯網相關發展策略,使物聯網規模不斷擴大。互聯網到物聯網的跨越,極大地推動了大數據的發展。

  
物聯網是指把所有物品通過信息傳感設備與互聯網連接起來,實現智能化識別和管理。它從結構上分為四層,即實體層、感知層、網絡層和應用層。其每層都與數據的產生或者處理息息相關。大數據與物聯網的結合是機遇與挑戰并存。

  
首先,產生數據的平臺多樣化。從原來的個人電腦擴展為傳感器、智能手機、各種業務系統、平板電腦、監控錄像等,這使得感知層需要感知的數據呈現多樣化。目前主流的感知技術有視頻文字采集技術、紅外線技術、傳感器技術和藍牙技術等,但隨著感知的數據數量級的不斷增加,相應的感知技術也要不斷地改進和完善。

  
其次,物聯網技術的局限性。事物的發展需要一個過程,處于發展初始階段的物聯網還受到一些技術的約束。在大數據的傳輸和處理方面,物聯網技術還存在通信距離短、外部環境適應力不強、異構網絡兼容性差等問題。傳感器鏈接的距離范圍是100米到1000米,不適合長距離的通信;當外部的環境發生變化,傳感器的穩定性能大幅度下降,對具有高性能計算存儲系統的安全帶來風險;物聯網的標準是建立在廣電網、通信網和互聯網等異構網的基礎之上,還沒有統一完善的標準體系。

  
大數據與數據空間

  
大數據來自不同組織,它的跨域、分布、異構性以及海量的特點給傳統的數據庫管理系統帶來巨大挑戰,目前,管理著世界上最大數據的谷歌、雅虎和微軟等公司,都不使用傳統的數據管理系統,而是另辟蹊徑去尋找可以滿足大數據管理需要的技術。

  
M.Franklin等人提出了數據空間的概念。數據空間是M.Franklin等人為應對信息量不斷增長以及數據信息管理需求而引入的一種信息管理新概念。

  
目前關于數據空間技術的研究主要集中在個人數據空間方面,并取得了一定成果。國外的研究工作主要以iMeMex和SEMEx兩個個人數據管理系統為代表。iMeMex由瑞士聯邦理工學院開發,它推動了信息抽取和查詢技術的進步,但缺點是不支持語義查詢;SEMEx由華盛頓大學開發,成功把語義關聯應用到實例中來高效提取信息。

  
同時,麻省理工學院計算機科學系的David R.Karger等人研發了個人數據管理系統Haystaek,該系統采用了URF(Uniform Resource Identifier)半結構化數據模型統一表示用戶數據,體現了數據空間“pay as you go”的數據集成思想。美國華盛頓大學數據庫研究組的sharedviews項目實現了名為Homeview的原型系統,該系統能夠支持個人動態數據的共享,但數據的類型和共享方式有限。

  
在國內,數據空間技術已經開始受到廣泛關注。中國人民大學孟小峰教授等人對數據空間的概念、實現數據空間支撐平臺所需的關鍵技術進行了詳細的闡述與分析,并帶領中國人民大學網絡與移動數據管理實驗室研究團隊研發了具代表性的個人數據空間原型系統orientsPac。

  
在綜合考慮數據的模型、組織形式和分類方法基礎上,提出了與數據相關的eorespaee模型和與任務相關的TaskSPace模型,但該系統的不足之處是用戶不能自己定義關聯。

  
綜上所述,以物聯網、云計算技術作為數據收集、數據管理手段,用數據空間技術來組織大數據,實現多層次、多粒度的大數據挖掘,是處理大規模數據行之有效的途徑,也符合大數據管理和服務的需求。

 

來源:CSDN云計算
點擊查看網絡原文>>

版權所有@ 北京市電子科技情報研究所 京公網安備 11010102003025號

地址:北京市東城區北河沿大街79號  郵編:100009  Email:[email protected]

在線人數:169

當日訪問計數:27344

累計訪問計數:49273114

球控探足球比分