寶德大數據一體機BStor2000
系統概述
大數據一體機BStor2000是寶德科技自主研發,面向客戶的業務需求,集海量數據存儲、多源異構數據整合、統一數據目錄、數據分析與挖掘、數據可視化等功能為一體的軟硬件平台,在25U/38U/42U/48U等高度的特制機櫃中,集成寶德自研服務器、存儲設備和高速網絡設備,並部署模塊化的大數據軟件,支持EB級(1000PB)海量數據處理,可以應用于海量視頻/圖片/地圖數據存儲與分析處理、智慧城市數據共享交換與智能分析、電子政務數據整合等領域。
?
圖表?1?大數據一體機示意圖
主要功能介紹
?
圖表2?大數據一體機架構
適應EB級底層存儲︰基礎設施層采用集群分布式存儲系統︰Lustre,對EB級海量數據存儲提供支持,並在不中斷服務情況下支持彈性擴容,同時具有讀寫速度的高性能,單櫃聚合讀寫帶寬可達10GB/s。
數據虛擬化︰采用雲交換技術,根據數據整合標準規範體系,進行多源異構數據整合,能整合多來源、多種結構的數據,包括結構化數據和非結構化數據,並支持數據的實時接入,同時,根據用戶需求,構建數據資源中心,提供統一數據訪問接口,為用戶提供透明的、按需的數據服務。
適應數據結構的混合存儲策略︰在數據資源中心,根據數據的不同類別,選擇合適的存儲持久化方式。針對結構化數據,采用分布式數據庫的存儲方式,例如MySQL?Cluster或Oracle?RAC方式;針對非/半結構化數據,采用分布式文件系統的集群存儲方式,例如采用Hadoop或Spark系統進行存儲。
提供靈活的數據訪問︰對上層應用,提供數據統一訪問接口,支持數據的增刪查改操作,訪問接口支持SQL,可以多種方式提供,包括JAVA?API,REST方式等,為數據目錄、數據檢索、數據統計分析、系統二次開發提供接口支撐,方便面向業務的深度數據挖掘和商業智能分析。
提供快速數據索引︰接口部分通過引入索引模塊、並行執行架構和優先讀取本地磁盤的執行方式,使查詢達到了實時完成、簡單易用、高可靠安全的效能,使EB級的數據能夠秒級處理,極大地提高了用戶執行查詢操作後的使用效率。
面向業務的數據分析與數據應用︰提供數據目錄、數據挖掘、數據檢索、數據統計分析、報表展示等數據分析模塊,支持數據關聯分析、數據分類聚類、數據預測等數據應用,以及儀表盤、圖表等多類型的數據可視化呈現。
數據安全體系︰采用身份認證、加解密技術、網絡隔離和日志審計技術,實現用戶統一認證、訪問控制、安全隔離、審計控制等安全保障。
配置參數
大數據一體機BStor2000配置參數 |
|||
名稱 |
推薦參數 |
數量 |
備注 |
數據管理節點PR4840R |
4*E5-4600系列CPU(12C/10C/8C/6C) 128GB?(8*16GB)(最大支持32個內存插槽,最大支持1TB?DDR3?1600MHz內存) 8*1TB?2.5寸?7200/10000?RPM企業級SAS硬盤 4*1GE或2*10G光口或2*40G?IB口 冗余電源 4U機架式服務器 |
2台 |
Active-standby模式,消除單點故障。 |
存儲接入節點PR2730R |
2*E5-2620?v2?CPU 64GB?(8*8GB)(24內存插槽?最大支持768GB?Reg/ECC?DDR3?up?to?1866Mhz) 4*600GB?7200/10000?RPM?企業級SAS硬盤 4*1GE或2*10G光口或2*40G?IB口 冗余電源 2U機架式服務器 |
n台 |
n≧2,存儲接入節用于接入多類型存儲設備,包括NAS,SAN等。 |
陣列存儲 |
64位存儲處理器 支持IPSAN/NAS架構協議 支持SAS/SATA企業級硬盤 4U?36盤位 支持RAID?0、1、3、5、6、NRAID級別 4GB緩存 4*1GE或2*10G光口或2*40G?IB口 36?*企業級?4TB?SATA?7200RPM?3.5'' |
m台 |
48U單櫃最大可集成8台陣列存儲,單櫃最大存儲容量≧1PB。 |
網絡交換機 |
千兆或萬兆交換機或40Gb?IB交換機 |
2台 |
冗余交換,多聚合網口 |
一體化機櫃 |
專用機櫃、PDU、電源線 集成服務器、存儲設備、網絡交換機、UPS、KVM、PDU?等 良好密封性能,低噪音 低PUE值(<1.5) 良好散熱性能 高性價比 |
1台 |
25U/42U/48U,可根據客戶需求訂制 |
大數據軟件 |
根據客戶需求,部署大數據軟件,實現數據虛擬化,為用戶提供方便快捷的數據服務。提供一年免費軟件技術支持。 |
||
產品可訂制、靈活性高 |
可根據客戶需求,進行產品訂制,可訂制單元包括︰需要處理的存儲容量大小、內聚合帶寬需求、數據傳輸帶寬需求、大數據處理功能與性能需求等。 |
?
產品特點
一體化架構
在機櫃中集成服務器、存儲設備、網絡交換機、UPS、KVM、PDU?等,根據用戶需求,定制硬件配置並預裝大數據平台軟件,形成軟硬件集成的一體化架構,具有高性價比、一體化運維、良好密封性能、低噪音、低PUE值(<1.5)、良好散熱性能等特點。
多業務支持
支持結構化數據、半結構化數據和非結構化數據等多類型的數據業務,支持多來源數據整合和數據統一視圖,在支撐數據查詢、數據統計和數據分析業務的同時,還可支撐深度數據挖掘、商業智能分析和數據可視化等業務。
高可靠性
大數據一體機具有超高可靠性,任意節點宕機,系統不停止服務;任意硬盤、網卡等部件損壞,不影響系統服務。系統能夠自動容錯,將數據分散在各個節點上,不會出現丟失數據的現象。任務處理過程中,當節點宕機,系統自動切換並保留現有進度,保障任務繼續執行下去。
高實時性
大數據平台可以實時完成數據處理和分析工作,如數據處理、數據查詢和統計分析等。數據處理不會出現數據堆積現象,各類分析和查詢工作基本都在秒級完成,具有前所未有的高效性。
可伸縮性
在不停止服務的情況下,增加處理節點,平台的處理能力自動增加;減少處理節點,平台的處理能力自動縮減。這樣,可以做到與資源池的無縫對接,根據計算和存儲任務的動態地申請或釋放資源,最大限度地提高資源利用率。
高性價比
采用X86架構超高性價比的英特爾服務器組件構建大數據平台,用軟件容錯替代硬件容錯,大大節省成本,在目標性能和可靠性能條件下,可比傳統的小型機加商用數據庫方案節省10倍左右成本。
比同類產品具有明顯優勢
指標 |
數據倉庫 |
並行數據庫 |
MapReduce平台 |
大數據一體機 |
擴展性 |
差 |
一般 |
強 |
強 |
實時性 |
差 |
一般 |
差 |
強 |
數據規模 |
PB |
上百TB |
10PB |
1000PB |
分布式處理能力 |
差 |
差 |
強 |
強 |
支持關系數據庫 |
支持 |
支持 |
不支持 |
支持 |
成本 |
高 |
高 |
低 |
低 |
異構數據整合 |
支持 |
不支持 |
不支持 |
支持 |
?