logo
Loading...

第四章 大數據架構 - Cupoy

NIST大數據參考架構是一種獨立於各種商業廠商的方法,目的就是提供給任何開發大數據架構的組織使用。 NIST大數據參考架構的五個主要角色,代表了每個大數據環境的邏輯組件或角色,並存在於每個企業中: • 系統協作者 ( System Orchestrator ); • 數據提供者 ( Data Provider ); • 大數據應用提供者 ( Big Data Application Provider ); • 大數據框架提供者 ( Big Data Framework Provider ); • 數據消費者 ( Data Consumer )。 五個主要角色被包含在兩個維度中: • 管理 ( Management ); • 安全和隱私 ( Security & Privacy )。 系統協作者 ( SYSTEM ORCHESTRATOR ) 系統協作者是自動安排,協調和管理電腦系統、中介軟體 ( middleware ) 和服務[1]。系統協作者確保大數據環境的不同組件:應用程序、數據和基礎架構都可以協同工作。為了實現這一目標,系統協作者利用工作流程,自動化和變更管理流程。 數據提供者 ( DATA PROVIDER ) 數據提供者角色將新數據或資訊源引入大數據系統,以供大數據系統進行發現、訪問和轉換。數據可以源自不同的來源,例如人類生成的數據(社交媒體)、感測器生成的數據(RFID標簽)或第三方系統(銀行交易)。 大數據應用提供商 ( BIG DATA APPLICATION PROVIDER ) 大數據應用提供商的程序是系統架構組件,其中包含將數據轉換為所需結果所必需的業務邏輯和功能。這些組件的共同目標是從輸入數據中提取值,它包括以下活動: • 收集 ( Collection ); • 準備 ( Preparation ); • 解析 ( Analytics ); • 可視化 ( Visualization ); • 存取訪問 ( Access )。 大數據框架提供商 ( BIG DATA FRAMEWORK PROVIDER ) 大數據應用提供商使用大數據框架提供商所提供的資源和服務,並提供大數據架構的核心基礎架構。在此組件中,數據基於針對大數據環境優化的設計進行儲存和處理。 大數據框架提供程序可以進一步細分為以下子角色: • 基礎設施:網路,計算和儲存 ( networking, computing and storage ) • 平台:數據組織和分發 ( data organization and distribution ) • 處理:計算和解析 ( computing and analytic ) 數據消費者 ( DATA CONSUMER ) 與數據提供者類似,數據消費者在大數據參考架構中的角色可以是實際的最終用戶或另一個系統。在許多方面,此角色是數據提供者的鏡像。與數據使用者角色關聯的活動包括以下內容: • 搜索和檢索 ( Search and Retrieve ); • 下載 ( Download ); • 在本地分析 ( Analyze Locally ); • 報告 ( Reporting ); • 可視化 ( Visualization ); • 用於自己的流程的數據 ( Data to Use for Their Own Processes )。

NIST大數據參考架構是一種獨立於各種商業廠商的方法,目的就是提供給任何開發大數據架構的組織使用。 NIST大數據參考架構的五個主要角色,代表了每個大數據環境的邏輯組件或角色,並存在於每個企業中: • 系統協作者 ( System Orchestrator ); • 數據提供者 ( Data Provider ); • 大數據應用提供者 ( Big Data Application Provider ); • 大數據框架提供者 ( Big Data Framework Provider ); • 數據消費者 ( Data Consumer )。 五個主要角色被包含在兩個維度中: • 管理 ( Management ); • 安全和隱私 ( Security & Privacy )。 系統協作者 ( SYSTEM ORCHESTRATOR ) 系統協作者是自動安排,協調和管理電腦系統、中介軟體 ( middleware ) 和服務[1]。系統協作者確保大數據環境的不同組件:應用程序、數據和基礎架構都可以協同工作。為了實現這一目標,系統協作者利用工作流程,自動化和變更管理流程。 數據提供者 ( DATA PROVIDER ) 數據提供者角色將新數據或資訊源引入大數據系統,以供大數據系統進行發現、訪問和轉換。數據可以源自不同的來源,例如人類生成的數據(社交媒體)、感測器生成的數據(RFID標簽)或第三方系統(銀行交易)。 大數據應用提供商 ( BIG DATA APPLICATION PROVIDER ) 大數據應用提供商的程序是系統架構組件,其中包含將數據轉換為所需結果所必需的業務邏輯和功能。這些組件的共同目標是從輸入數據中提取值,它包括以下活動: • 收集 ( Collection ); • 準備 ( Preparation ); • 解析 ( Analytics ); • 可視化 ( Visualization ); • 存取訪問 ( Access )。 大數據框架提供商 ( BIG DATA FRAMEWORK PROVIDER ) 大數據應用提供商使用大數據框架提供商所提供的資源和服務,並提供大數據架構的核心基礎架構。在此組件中,數據基於針對大數據環境優化的設計進行儲存和處理。 大數據框架提供程序可以進一步細分為以下子角色: • 基礎設施:網路,計算和儲存 ( networking, computing and storage ) • 平台:數據組織和分發 ( data organization and distribution ) • 處理:計算和解析 ( computing and analytic ) 數據消費者 ( DATA CONSUMER ) 與數據提供者類似,數據消費者在大數據參考架構中的角色可以是實際的最終用戶或另一個系統。在許多方面,此角色是數據提供者的鏡像。與數據使用者角色關聯的活動包括以下內容: • 搜索和檢索 ( Search and Retrieve ); • 下載 ( Download ); • 在本地分析 ( Analyze Locally ); • 報告 ( Reporting ); • 可視化 ( Visualization ); • 用於自己的流程的數據 ( Data to Use for Their Own Processes )。