立即咨詢
您當前的位置:職稱驛站 > 論文 > 科技論文 > 智能科學技術論文職稱驛站24小時論文發表咨詢熱線:400-680-0558

淺談大數據云服務平臺的原理與設計

職稱驛站所屬分類:智能科學技術論文發布時間:2019-06-25 10:41:03瀏覽:1

近年來,大數據和云服務得到了廣泛的關注和迅猛的發展,而結合兩者特點搭建的大數據云服務平臺更已成為科研領域中的重要焦點。本文簡述了大數據、云服務的概念原理和基本特點,并依此設計了一個大數據云服務平臺,同時也對該平臺的功能要求和技術指標做了一些簡單有益的探討。

   近年來,大數據和云服務得到了廣泛的關注和迅猛的發展,而結合兩者特點搭建的大數據云服務平臺更已成為科研領域中的重要焦點。本文簡述了大數據、云服務的概念原理和基本特點,并依此設計了一個大數據云服務平臺,同時也對該平臺的功能要求和技術指標做了一些簡單有益的探討。

大數據

  《大數據》編輯方針和業務范圍為:報道大數據技術應用領域中具有前瞻性、獨立性和創新性的產業與技術發展見解;產業的新研究應用成果與發展動態;關鍵技術、熱點的前沿性研究與應用;具有先進性和推廣價值的應用方案等,有效促進我國大數據技術研究與應用的交流,全方位展示我國大數據產業的發展、技術趨勢和創新應用成果,推動大數據產業的發展,使大數據技術真正應用于社會,服務于社會發展。

  近年來,隨著信息技術的迅速發展,人類社會發生了前所未有的變革,各行各業已經普遍認識到海量信息的重要性。目前,在眾多的新興科技中,大數據和云服務是最受人們關注的兩個典型代表,而兩者的結合已經成為科研領域中的重要焦點,眾多成果已經越來越多地滲透到了現實生活。

  1大數據技術

  1.1大數據的定義

  當今的信息社會中到處都充滿著種類繁多、信息多樣化的數據,例如電子商務平臺的購物數據、即時聊天工具的文字數據、視頻服務提供商的影音數據等,它們無時無刻地影響著人們的日常工作和衣食住行。根據國際咨詢公司Gartner給出的定義,“大數據”是一種需要新處理模式才能具有更強的決策力、洞察發現力和流程優化能力的海量、高增長率和多樣化的信息資產。而麥肯錫全球研究所給出的“大數據”定義是:一種規模大到在獲取、存儲、管理、分析方面大大超出了傳統數據庫軟件工具能力范圍的數據集合,具有海量的數據規模、快速的數據流轉、多樣的數據類型和價值密度低四大特征。

  1.2大數據的特點

  美國IBM公司用5V來概括了大數據的性能特點,分別是:Volume(規模性)、Variety(多樣性)、Velocity(高速性)、Veracity(準確性)、Value(高值性)。其中,規模性指的是大數據的數據規模即可以達到TB、PB,甚至EB的規模。多樣性指的是大數據能夠包含各類形態和格式的數據。高速性指的是大數據一般需要在有限的時間限度內獲得及時處理。準確性指的是大數據的處理結果務必要保證相當高的準確性。高值性是指大數據含有諸多深層次的價值,能夠通過數據分析和數據挖掘給整個社會帶來巨大的生產價值和商業價值。

  1.3大數據對存儲的要求

  大數據的數據類型一般可以分為三大類:傳統企業數據、機器和傳感器數據、社交數據等。大數據的出現,使得社會信息總量呈指數增長的趨勢,同時也對數據存儲提出了更高的要求,同時也對如何有效管理大數據提出了更高的要求。大數據對相關存儲設備的容量、讀寫性能、可靠性、擴展性等都提出了更高的要求,需要綜合考慮數據安全性、數據穩定性、功能集成度、系統可擴展性、性能及成本各方面因素,為此云服務平臺就應運而生了。

  2云服務平臺

  2.1云服務的定義

  目前,在大數據實時性越來越高、計算量越來越大、數據越來越多的背景下,云服務已經成為信息技術行業的一種主流基礎架構和成熟商業模式。那么,什么是云服務平臺呢?云服務平臺,又被稱為云計算技術,是并行計算、分布式計算和網格計算進一步發展的產物。

  根據美國國家標準和技術研究院NIST的定義,云計算是一種通過互聯網+隨時隨地、便捷按需地訪問共享資源池(如應用服務、計算設施、存儲設施等)的計算模式。也可以把云計算可以看做是一種模型,該模型可以方便按需地訪問可配置的計算資源公共集(計算機網絡、計算機服務器、相關存儲設備、應用程序以及服務等等)。

  2.2云服務的特點

  一般來說,云服務具有以下5個特性:1)按需服務,可以依據終端用戶的實際需求對云服務所提供的各種資源進行自動分配。2)泛在接入,終端用戶可以依托各種智能終端(如筆記本、智能手機、平板電腦等)通過互聯網訪問云服務。3)資源池化,云服務資源依托資源池的方式,利用虛擬化等相關技術,按照用戶需求以多租戶的形式提供服務。4)快速伸縮,云服務的規模必須根據用戶需求快速響應,以能夠自動適應業務負載的動態變化。5)按使用計費,要求能夠實時監控云服務的資源使用量,并依據實時使用情況對服務精確計費。

  3大數據云服務平臺

  3.1任務簡介

  大數據云服務平臺主要實現主數據中心和區域數據中心具有統一的門戶建設,該門戶具備登錄人口,統一的權限認證。實現現有應用的集成,服務接口的調用以及服務的統一管理(包括服務的注冊、發布和查詢等)。根據需求開發相應的界面,結合調用指定服務實現相應功能。此外,具體的開發任務還應包括;文檔撰寫、研制開發、配套服務、培訓與技術支持等幾個方面。

  3.2系統框架

  針對大數據云服務平臺的系統需求,該平臺主要包括以下幾個功能。以門戶網站形式展現系統平臺,將各類資源集成到門戶中;用戶訪問統一登錄人口、統一認證界面、統一權限管理;將現有的應用通過改造后進行界面集成;制定服務界面開發規范,提供服務界面開發規范和開發工具、模板的下載,方便用戶開發服務界面并且能夠快速集成至服務平臺中。大數據云服務平臺的功能組成如圖1所示。

  3.3功能要求

  3.3.1門戶網站搭建

  采用目前較為主流的技術架構搭建,易于擴展,美觀實用的門戶網站。要求網站實現異地部署,統一用戶信息。各類資源可以方便的集成到該門戶中。

  3.3.2模板、內容管理模塊

  網站內容管理提供統一的內容采編、模板和欄目管理;提供用戶自定義頁面布局。提供頁面預覽功能,在內容編輯完成后和發布之前可以看到實際效果。

  3.3.3單點登錄、統一權限管理

  用戶訪問統一登錄人口地址,進入統一登錄認證界面。平臺具有獨立的用戶信息管理庫,當用戶登錄該平臺時,根據其權限顯示相應的內容,包括:操作項、服務和開發資源等。所有的注冊服務都必須經由該平臺啟動,平臺的權限管理只到服務級別,提供用戶信息調用服務接口。

  3.3.4服務統一管理

  提供服務界面開發規范和開發工具、模板的下載,指導用戶如何開發服務界面并實現服務在該平臺上注冊、發布,方便用戶開發服務界面并且能夠快速集成至服務平臺中。將現有的通用支持平臺(圖計算處理、實時計算處理和內存計算處理)和業務支撐平臺(業務數據可視化工具和交互式分析挖掘環境)等應用通過改造后以界面集成的方式集成到該平臺中。

  3.3.5元數據服務界面

  根據元數據服務要求編寫相應界面,調用相關服務實現該應用功能。

  3.3.6多源異構數據綜合查詢界面

  根據多源異構數據綜合查詢系統流程和要求編寫相應界面,組織符合統一查詢標準的SQL語句,調用統一數據查詢接口,實現相應查詢功能。

  3.3.7平臺管理

  提供平臺日志管理,包括;查詢、刪除和導出等。根據用戶使用情況,在不改變平臺架構的情況下,對平臺進行修改,以滿足使用的需求。

  3.4技術指標

  1)網頁響應時間:≤2S;

  2)平臺并發用戶數:≥1000個。

  4小結

  隨著科技的進一步發展,大數據將逐漸成為信息處理的主流和必然發展趨勢。在大數據場景下,云服務的應用滿足了海量數據存儲的需求,能夠實現對大數據的科學有效管理。本文簡單介紹了大數據、云服務的概念原理和基本特點,并依此設計了一個大數據云服務平臺,同時也對該平臺的功能要求和技術指標做了一些簡單有益的探討。

《淺談大數據云服務平臺的原理與設計》
  • 課教專著
  • 1
  • 2
  • 3
水果机在线客服