大數據與云計算,物聯網的關系(一文詳解物聯網與大數據、云計算、工業物聯網、區塊鏈)
本篇文章就物聯網、大數據以及云計算對三者之間的關系以及應用進行描述。工業物聯網和區塊鏈也進行了介紹。
(一)物聯網
(1)什么是物聯網
物聯網(Internet of Things,簡稱IoT)是指通過各種信息傳感器、射頻識別技術、全球定位系統、紅外感應器、激光掃描器等各種裝置與技術,實時采集任何需要監控、 連接、互動的物體或過程,采集其聲、光、熱、電、力學、化學、生物、位置等各種需要的信息,通過各類可能的網絡接入,實現物與物、物與人的泛在連接,實現對物品和過程的智能化感知、識別和管理。物聯網是一個基于互聯網、傳統電信網等的信息承載體,它讓所有能夠被獨立尋址的普通物理對象形成互聯互通的網絡。
(2)物聯網的特征
物聯網的基本特征從通信對象和過程來看,物與物、人與物之間的信息交互是物聯網的核心。物聯網的基本特征可概括為整體感知、可靠傳輸和智能處理。
整體感知—可以利用射頻識別、二維碼、智能傳感器等感知設備感知獲取物體的各類信息。
可靠傳輸—通過對互聯網、無線網絡的融合,將物體的信息實時、準確地傳送,以便信息交流、分享。
智能處理—使用各種智能技術,對感知和傳送到的數據、信息進行分析處理,實現監測與控制的智能化。
(3)物聯網處理信息的功能
(1)獲取信息的功能。主要是信息的感知、識別,信息的感知是指對事物屬性狀態及其變化方式的知覺和敏感;信息的識別指能把所感受到的事物狀態用一定方式表示出來。(2)傳送信息的功能。主要是信息發送、傳輸、接收等環節,最后把獲取的事物狀態信息及其變化的方式從時間(或空間)上的一點傳送到另一點的任務,這就是常說的通信過程。(3)處理信息的功能。是指信息的加工過程,利用已有的信息或感知的信息產生新的信息,實際是制定決策的過程。(4)施效信息的功能。指信息最終發揮效用的過程,有很多的表現形式,比較重要的是通過調節對象事物的狀態及其變換方式,始終使對象處于預先設計的狀態。
(4)關鍵技術
1)射頻識別技術
射頻識別技術(Radio Frequency Identification,簡稱RFID)。RFID是一種簡單的無線系統,由一個詢問器(或閱讀器)和很多應答器(或標簽)組成。標簽由耦合元件及芯片組成,每個標簽具有擴展詞條唯一的電子編碼,附著在物體上標識目標對象,它通過天線將射頻信息傳遞給閱讀器,閱讀器就是讀取信息的設備。RFID技術讓物品能夠“開口說話”。
2)傳感網
MEMS是微機電系統( Micro - Electro - Mechanical Systems)的英文縮寫。它是由微傳感器、微執行器、信號處理和控制電路、通訊接口和電源等部件組成的一體化的微型器件系統。其目標是把信息的獲取、處理和執行集成在一起,組成具有多功能的微型系統,集成于大尺寸系統中,從而大幅度地提高系統的自動化、智能化和可靠性水平。
3)M2M系統框架
M2M是Machine-to-Machine/Man的簡稱,是一種以機器終端智能交互為核心的、網絡化的應用與服務。它將使對象實現智能化的控制。M2M技術涉及5個重要的技術部分:機器、M2M硬件、通信網絡、中間件、應用。基于云計算平臺和智能網絡,可以依據傳感器網絡獲取的數據進行決策,改變對象的行為進行控制和反饋。
(5)應用
物聯網的應用領域涉及到方方面面,在工業、農業、環境、交通、物流、安保等基礎設施領域的應用,有效的推動了這些方面的智能化發展,使得有限的資源更加合理的使用分配,從而提高了行業效率、效益。 在家居、醫療健康、教育、金融與服務業、旅游業等與生活息息相關的領域的應用,從服務范圍、服務方式到服務的質量等方面都有了極大的改進,大大的提高了人們的生活質量。
(6)存在的挑戰
1)技術標準的統一與協調
傳統互聯網的標準并不適合物聯網。物聯網感知層的數據多源異構,不同的設備有不同的接口,不同的技術標準;網絡層、應用層也由于使用的網絡類型不同、行業的應用方向不同而存在不同的網絡協議和體系結構。建立的統一的物聯網體系架構,統一的技術標準是物聯網正在面對的難題。
2)成本問題
各國對物聯網都積極支持,在看似百花齊放的背后,能夠真正投入并大規模使用的物聯網項目少之又少。譬如,實現RFID技術最基本的電子標簽及讀卡器,其成本價格一直無法達到企業的預期,性價比不高;傳感網絡是一種多跳自組織網絡,極易遭到環境因素或人為因素的破壞,若要保證網絡通暢,并能實時安全傳送可靠信息,網絡的維護成本高。
3)管理平臺問題
物聯網自身就是一個復雜的網絡體系,加之應用領域遍及各行各業,不可避免的存在很大的交叉性。如果這個網絡體系沒有一個專門的綜合平臺對信息進行分類管理,就會出現大量信息冗余、重復工作、重復建設造成資源浪費的狀況。每個行業的應用各自獨立,成本高、效率低,體現不出物聯網的優勢,勢必會影響物聯網的推廣。 物聯網現急需要一個能整合各行業資源的統一管理平臺,使其能形成一個完整的產業鏈模式。
4)安全性問題
傳統的互聯網發展成熟、應用廣泛,尚存在安全漏洞。物聯網作為新興產物,體系結構更復雜、沒有統一標準,各方面的安全問題更加突出。其關鍵實現技術是傳感網絡,傳感器暴露的自然環境下,特別是一些放置在惡劣環境中的傳感器,如何長期維持網絡的完整性對傳感技術提出了新的要求,傳感網絡必須有自愈的功能。 這不僅僅受環境因素影響,人為因素的影響更嚴峻。RFID是其另一關鍵實現技術,就是事先將電子標簽置入物品中以達到實時監控的狀態,這對于部分標簽物的所有者勢必會造成一些個人隱私的暴露,個人信息的安全性存在問題。不僅僅是個人信息安全,如今企業之間、國家之間合作都相當普遍,一旦網絡遭到攻擊,后果將更不敢想象。 如何在使用物聯網的過程做到信息化和安全化的平衡至關重要。
(二)大數據
(1)什么是大數據
大數據(bigdata),就是指種類多、流量大、容量大、價值高、處理和分析速度快的真實數據匯聚的產物。大數據或稱巨量資料或海量數據資源,指的是所涉及的資料量規模巨大到無法透過目前主流軟件工具,在合理時間內達到擷取、管理、處理、并整理成為幫助企業經營決策更積好目的的資訊。
(2)大數據的4V特點
即:數量Volume、多樣性Variety、速度Velocity、和真實性Veracity。
1)、數據量大
數據一直都在以每年50%的速度增長,也就是說每兩年就增長一倍(大數據摩爾定律)
2)、數據類型繁多
大數據是由結構化和非結構化數據組成的:
10%的結構化數據,存儲在數據庫中
90%的非結構化數據,它們與人類信息密切相關
3)、處理速度快
4)、價值密度低,商業價值高
(3)大數據發展的三個階段
(4)大數據關鍵技術
(5)大數據計算模式
(三)云計算
(1)什么是云計算
云計算實現了通過網絡提供可伸縮的、廉價的分布式計算能力,用戶只需要在具備網絡接入條件的地方,就可以隨時隨地獲得所需的各種IT資源。
(2)云計算的關鍵技術
云計算關鍵技術包括:虛擬化、分布式存儲、分布式計算、多租戶等。
(3)云計算數據中心
云計算數據中心是一整套復雜的設施,包括刀片服務器、寬帶網絡連接、環境控制設備、監控設備以及各種安全裝置等。
數據中心是云計算的重要載體,為云計算提供計算、存儲、帶寬等各種硬件資源,為各種平臺和應用提供運行支撐環境。
全國各地推進數據中心建設。
(4)云計算應用
政務云上可以部署公共安全管理、容災備份、城市管理、應急管理、智能交通、社會保障等應用,通過集約化建設、管理和運行,可以實現信息資源整合和政務資源共享,推動政務管理創新,加快向服務型政府轉型。
教育云可以有效整合幼兒教育、中小學教育、高等教育以及繼續教育等優質教育資源,逐步實現教育信息共享、教育資源共享及教育資源深度挖掘等目標。
中小企業云能夠讓企業以低廉的成本建立財務、供應鏈、客戶關系等管理應用系統,大大降低企業信息化門檻,迅速提升企業信息化水平,增強企業市場競爭力。
醫療云可以推動醫院與醫院、醫院與社區、醫院與急救中心、醫院與家庭之間的服務共享,并形成一套全新的醫療健康服務系統,從而有效地提高醫療保健的質量。
(5)云計算產業
云計算產業作為戰略性新興產業,近些年得到了迅速發展,形成了成熟的產業鏈結構,產業涵蓋硬件與設備制造、基礎設施運營、軟件與解決方案供應商、基礎設施即服務(IaaS)、平臺即服務(PaaS)、軟件即服務(SaaS)、終端設備、云安全、云計算交付/咨詢/認證等環節。
大數據與云計算、物聯網的關系
云計算、大數據和物聯網代表了IT領域最新的技術發展趨勢,三者既有區別又有聯系。
(四)工業物聯網
工業物聯網可以定義為“機器、計算機和人員使用業務轉型所取得的先進的數據分析成果來實現智能化的工業操作”。
在這個工業4.0(Industry 4.0)或者“工業互聯網”的大背景下,工業物聯網成為(IIoT)數字化轉型中心舞臺的一部分。數據是相關產品中的關鍵資產和生產資料,且在全球連接的產品(在整個生命周期中)的應用分析中是必不可少的功能。
工業物聯網是物聯網中最大的和最重要的組成部分,雖然從支出的角度來看現在消費者應用是物聯網最大的應用領域,而工業物聯網的應用主要是從2018年開始的,盡管如此,工業物聯網在整個物聯網的應用圖景中仍然在變得更加重要和先進。
工業物聯網指的是物聯網在工業的應用。工業互聯網涵蓋了工業物聯網,但進一步延伸到企業的信息系統、業務流程和人員。
工業物聯網是物聯網的一個具體方向的應用,是物聯網的一部分,劃分的應用也更加具體。
工業互聯網
工業互聯網有兩層意思,一是在企業內部實現工業設備(生產設備、物流裝備、能源計量、質量檢驗、車輛等)、信息系統、業務流程、企業的產品與服務、人員之間的互聯,實現企業IT網絡與工控網絡的互聯,實現從車間到決策層的縱向互聯。二是在企業間 實現上下游企業(供應商、經銷商、客戶、合作伙伴)之間的橫向互聯;從產品生命周期的維度,要實現產品從設計、制造到服役,再到報廢回收再利用整個生命周期的互聯。 工業互聯網未來更多的是關注在設計,研發,制造,營銷和服務等方面,通過充分的融合,來提高整個工業系統和運行效率,工業互聯網最重要的是實現企業信息的數字化。
物聯網技術在工業領域的應用現狀
目前,物聯網技術在產品信息化、生產制造環節、經營管理環節、節能減排、安全生產等領域得到應用。
1、物聯網技術在產品信息化領域的應用
產品信息化是指將信息技術被物化在產品中,以提高產品中的信息技術含量的過程。推進產品信息化的目的是增強產品的性能和功能,提高產品的附加值,促進產品升級換代。目前,汽車、家電、工程機械、船舶等行業通過應用物聯網技術,提高了產品的智能化水平。
在家電行業,物聯網家電的概念已經出現,物聯網技術的發展將促進智能家電的發展。
在工程機械行業,徐工集團、三一重工等都已在工程機械產品中應用物聯網技術。通過工程機械運行參數實時監控及智能分析平臺,客服中心可以通過電話、短信等糾正客戶的不規范操作,提醒進行必要的養護,預防故障的發生。
2、物聯網技術在生產制造領域的應用
物聯網技術應用于生產線過程檢測、實時參數采集、生產設備與產品監控管理、材料消耗監測等,可以大幅度提高生產智能化水平。在鋼鐵行業,利用物聯網技術,企業可以在生產過程中實時監控加工產品的寬度、厚度、溫度等參數,提高產品質量,優化生產流程。
3、物聯網技術在經營管理領域的應用
在企業管理方面,物聯網技術主要應用于供應鏈管理、生產管理等領域。
(1)在供應鏈管理領域的應用
在供應鏈管理方面,物聯網技術主要應用于運輸、倉儲等物流管理領域。將物聯網技術應用于車輛監控、立體倉庫等,可以顯著提高工業物流效率,降低庫存成本。
(2)在生產管理領域的應用
在紡織、食品飲料、化工等流程型行業,物聯網技術已在生產車間、生產設備管理領域得到應用。例如,無錫一棉開發建立了網絡在線監控系統,可對產量、質量、機械狀態等9類168個參數進行監測,并通過與企業ERP系統對接,實現了管控一體化和質量溯源,提升了生產管理水平和產品質量檔次。此外,還可以及時、準確地發現某臺(某眼、某錠)的異常情況,引導維修人員有的放矢地工作。
4、物聯網技術在節能減排領域的應用
物聯網技術已在鋼鐵、有色金屬、電力、化工、紡織、造紙等“高能耗、高污染”行業得到應用,有效地促進了這些行業的節能減排。智能電網的發展將促進電力行業的節能。江西電網公司對分布在全省范圍內的2萬臺配電變壓器安裝傳感裝置,對運行狀態進行實時監測,實現用電檢查、電能質量監測、負荷管理、線損管理、需求側管理等高效一體化管理,一年來降低電損1.2億千瓦時。
利用物聯網技術建立污染源自動監控系統,可以對工業生產過程中排放的污染物COD等關鍵指標進行實時監控,為優化工藝流程提供依據。
5、物聯網技術在安全生產領域的應用
物聯網已成為煤炭、鋼鐵、有色等行業保障安全生產的重要技術手段。通過建立基于物聯網技術的礦山井下人、機、環監控及調度指揮綜合信息系統,可以對采掘、提升、運輸、通風、排水、供電等關鍵生產設備進行狀態監測和故障診斷,可以監測溫度、濕度、瓦斯濃度等。一旦傳感器監測到瓦斯濃度超標,就會自動拉響警報,提醒相關人員盡快采取有效措施,減少瓦斯爆炸和透水事故的發生。通過井下人員定位系統,可以對井下作業人員進行定位和跟蹤,并識別他們的身份,以便在礦難發生時得到及時營救。
(五)區塊鏈
(1)什么是區塊鏈
區塊鏈是一個信息技術領域的術語。從本質上講,它是一個共享數據庫,存儲于其中的數據或信息,具有“不可偽造”“全程留痕”“可以追溯”“公開透明”“集體維護”等特征。基于這些特征,區塊鏈技術奠定了堅實的“信任”基礎,創造了可靠的“合作”機制,具有廣闊的運用前景。
什么是區塊鏈?從科技層面來看,區塊鏈涉及數學、密碼學、互聯網和計算機編程等很多科學技術問題。從應用視角來看,簡單來說,區塊鏈是一個分布式的共享賬本和數據庫,具有去中心化、不可篡改、全程留痕、可以追溯、集體維護、公開透明等特點。這些特點保證了區塊鏈的“誠實”與“透明”,為區塊鏈創造信任奠定基礎。而區塊鏈豐富的應用場景,基本上都基于區塊鏈能夠解決信息不對稱問題,實現多個主體之間的協作信任與一致行動。
區塊鏈是分布式數據存儲、點對點傳輸、共識機制、加密算法等計算機技術的新型應用模式。區塊鏈(Blockchain),是比特幣的一個重要概念,它本質上是一個去中心化的數據庫,同時作為比特幣的底層技術,是一串使用密碼學方法相關聯產生的數據塊,每一個數據塊中包含了一批次比特幣網絡交易的信息,用于驗證其信息的有效性(防偽)和生成下一個區塊。
(2)類型
公有區塊鏈
公有區塊鏈(Public Block Chains)是指:世界上任何個體或者團體都可以發送交易,且交易能夠獲得該區塊鏈的有效確認,任何人都可以參與其共識過程。公有區塊鏈是最早的區塊鏈,也是應用最廣泛的區塊鏈,各大bitcoins系列的虛擬數字貨幣均基于公有區塊鏈,世界上有且僅有一條該幣種對應的區塊鏈。
聯合(行業)區塊鏈
行業區塊鏈(Consortium Block Chains):由某個群體內部指定多個預選的節點為記賬人,每個塊的生成由所有的預選節點共同決定(預選節點參與共識過程),其他接入節點可以參與交易,但不過問記賬過程(本質上還是托管記賬,只是變成分布式記賬,預選節點的多少,如何決定每個塊的記賬者成為該區塊鏈的主要風險點),其他任何人可以通過該區塊鏈開放的API進行限定查詢。
私有區塊鏈
私有區塊鏈(Private Block Chains):僅僅使用區塊鏈的總賬技術進行記賬,可以是一個公司,也可以是個人,獨享該區塊鏈的寫入權限,本鏈與其他的分布式存儲方案沒有太大區別。傳統金融都是想實驗嘗試私有區塊鏈,而公鏈的應用例如bitcoin已經工業化,私鏈的應用產品還在摸索當中。
(3)核心技術
分布式賬本
分布式賬本指的是交易記賬由分布在不同地方的多個節點共同完成,而且每一個節點記錄的是完整的賬目,因此它們都可以參與監督交易合法性,同時也可以共同為其作證。
非對稱加密
存儲在區塊鏈上的交易信息是公開的,但是賬戶身份信息是高度加密的,只有在數據擁有者授權的情況下才能訪問到,從而保證了數據的安全和個人的隱私。
共識機制
共識機制就是所有記賬節點之間怎么達成共識,去認定一個記錄的有效性,這既是認定的手段,也是防止篡改的手段。區塊鏈提出了四種不同的共識機制,適用于不同的應用場景,在效率和安全性之間取得平衡。
(4)架構模型
一般說來,區塊鏈系統由數據層、網絡層、共識層、激勵層、合約層和應用層組成。
其中,數據層封裝了底層數據區塊以及相關的數據加密和時間戳等基礎數據和基本算法;網絡層則包括分布式組網機制、數據傳播機制和數據驗證機制等;共識層主要封裝網絡節點的各類共識算法;激勵層將經濟因素集成到區塊鏈技術體系中來,主要包括經濟激勵的發行機制和分配機制等;合約層主要封裝各類腳本、算法和智能合約,是區塊鏈可編程特性的基礎;應用層則封裝了區塊鏈的各種應用場景和案例。該模型中,基于時間戳的鏈式區塊結構、分布式節點的共識機制、基于共識算力的經濟激勵和靈活可編程的智能合約是區塊鏈技術最具代表性的創新點。
(5)應用
物聯網和物流領域
區塊鏈在物聯網和物流領域也可以天然結合。通過區塊鏈可以降低物流成本,追溯物品的生產和運送過程,并且提高供應鏈管理的效率。該領域被認為是區塊鏈一個很有前景的應用方向。
區塊鏈通過結點連接的散狀網絡分層結構,能夠在整個網絡中實現信息的全面傳遞,并能夠檢驗信息的準確程度。這種特性一 定程度上提高了物聯網交易的便利性和智能化。區塊鏈+大數據的解決方案就利用了大數據的自動篩選過濾模式,在區塊鏈中建立信用資源,可雙重提高交易的安全性,并提高物聯網交易便利程度。為智能物流模式應用節約時間成本。區塊鏈結點具有十分自由的進出能力,可獨立的參與或離開區塊鏈體系,不對整個區塊鏈體系有任何干擾。區塊鏈 +大數據解決方案就利用了大數據的整合能力,促使物聯網基礎用戶拓展更具有方向性,便于在智能物流的分散用戶之間實現用戶拓展。
公共服務領域
區塊鏈在公共管理、能源、交通等領域都與民眾的生產生活息息相關,但是這些領域的中心化特質也帶來了一些問題,可以用區塊鏈來改造。區塊鏈提供的去中心化的完全分布式DNS服務通過網絡中各個節點之間的點對點數據傳輸服務就能實現域名的查詢和解析,可用于確保某個重要的基礎設施的操作系統和固件沒有被篡改,可以監控軟件的狀態和完整性,發現不良的篡改,并確保使用了物聯網技術的系統所傳輸的數據沒用經過篡改。
數字版權領域
通過區塊鏈技術,可以對作品進行鑒權,證明文字、視頻、音頻等作品的存在,保證權屬的真實、唯一性。作品在區塊鏈上被確權后,后續交易都會進行實時記錄,實現數字版權全生命周期管理,也可作為司法取證中的技術性保障。例如,美國紐約一家創業公司Mine Labs開發了一個基于區塊鏈的元數據協議,這個名為Mediachain的系統利用IPFS文件系統,實現數字作品版權保護,主要是面向數字圖片的版權保護應用。
(六)物聯網未來的發展
物聯網的發展,例如:智慧地球、智慧城市、智慧農業、智慧交通等等,這些都是物聯網的范疇。物聯網在未來的很有可能引起另外一次熱潮。