概述

隨著(zhù)信息化發(fā)展步入DT時(shí)代，數據在組織中的價(jià)值體現愈發(fā)凸顯，“數據驅動(dòng)業(yè)務(wù)”的理念在各行各業(yè)快速扎根、發(fā)展，組織對數據價(jià)值的挖掘能力的要求也隨之愈來(lái)愈高。一種能與傳統關(guān)系型數據管理軟件能有效互補，彌補關(guān)系型數據管理軟件在多結構類(lèi)型支持、海量數據處理、復雜實(shí)時(shí)/非實(shí)時(shí)計算分析等方面缺陷的數據處理軟件平臺呼之欲出。

神州信息大數據平臺（Sm@rtBDP）是基于Hadoop生態(tài)體系構建而成的可幫助組織快速建立高效、實(shí)時(shí)的“大數據”處理、分析能力的一體化數據開(kāi)發(fā)、管理平臺，可為組織數據中心的大數據采集、大數據存儲、大數據計算、大數據分析及大數據分析提供輕量級解決方案。通過(guò)平臺提供的綜合數據治理和整合能力打通數據壁壘，連接數據孤島，實(shí)現海量數據的整合、存儲、查詢(xún)、統計、分析等功能。

產(chǎn)品介紹

神州信息大數據平臺（Sm@rtBDP）整體包括三大部分：大數據運行平臺、大數據監控平臺和大數據開(kāi)發(fā)平臺。

大數據運行平臺用來(lái)提供大數據的運行環(huán)境包含分布式文件系統、資源管理、并行計算框架、內存并行計算、流式計算、集群協(xié)調服務(wù)、并行計算SQL執行器、并行計算腳本語(yǔ)言、消息中間件、列式數據庫、工作流、文件數據采集、關(guān)系型數據庫數據采集等大數據技術(shù)的運行環(huán)境。其中集成了23種Hadoop生態(tài)系統常用的組件，可以支撐多種計算類(lèi)型的應用的混合負載，包括批處理應用、交互式查詢(xún)、高頻讀寫(xiě)、全文檢索、數據挖掘和實(shí)時(shí)流計算等多種計算類(lèi)型。各行各業(yè)可基于這些計算手段和方式進(jìn)行上層應用的建設。在安全管理方面遵循國家標準，采用目前國內外先進(jìn)的信息安全技術(shù)和有效的安全策略和技術(shù)手段，從平臺外部安全以及平臺自身安全著(zhù)手，建立安全管控中心，提升平臺的服務(wù)和數據安全性。

大數據監控平臺是用來(lái)安裝大數據平臺運行環(huán)境、管理監控大數據平臺的集群環(huán)境。主要功能包括：監控集群的主機狀態(tài)、集群的磁盤(pán)使用情況、集群的CPU使用情況、集群的內存使用情況、集群的網(wǎng)絡(luò )使用情況；管理分布式文件系統、資源管理、并行計算框架、內存并行計算、流式計算、集群協(xié)調服務(wù)、并行計算SQL執行器、并行計算腳本語(yǔ)言、消息中間件、列式數據庫、工作流、文件數據采集、關(guān)系型數據庫數據采集等大數據技術(shù)；通過(guò)web的方式為集群添加主機、刪除主機，針對每個(gè)主機可以添加刪除各個(gè)大數據組件。

大數據開(kāi)發(fā)平臺是為開(kāi)發(fā)人員提供的平臺，能夠提高開(kāi)發(fā)人員的開(kāi)發(fā)效率。它為開(kāi)發(fā)人員提供基于eclipse的開(kāi)發(fā)插件，開(kāi)發(fā)人員可以不用訪(fǎng)問(wèn)大數據運行環(huán)境就可以進(jìn)行開(kāi)發(fā)測試及調試；基于WEB的訪(fǎng)問(wèn)分布式文件系統，可以上傳文件、下載文件、刪除文件；提供了基于WEB的方式操作列式數據庫，可以查看列式數據庫數據中存在的表以及每個(gè)表的表結構，而且還能查看每個(gè)表里的數據；提供的數據采集的界面工具，提供對關(guān)系型數據庫的數據采集，支持手動(dòng)執行數據采集和定時(shí)數據采集。大數據開(kāi)發(fā)平臺還提供了對文本文件的數據采集支持對文本文件的增量數據采集和全量數據采集；提供并行計算框架、內存計算、流式計算的開(kāi)發(fā)框架，開(kāi)發(fā)人員可以更方便、高效的開(kāi)發(fā)并行計算的程序。

適用場(chǎng)景

神州信息大數據平臺（Sm@rtBDP）可提供對以下應用場(chǎng)景的良好支撐：

■ 大數據復雜分析：能夠充分利用集群的并行計算能力支撐海量數據復雜分析。

■ 大表查詢(xún)和分析：能夠對歷史數據進(jìn)行復雜查詢(xún)分析，例如億級數量以上數據復雜查詢(xún)或批量分析。平臺能夠利用集群的并行計算提高查詢(xún)速度，支持高并發(fā)、高吞吐查詢(xún)。

■ 海量歷史數據存儲：能夠以極高的性?xún)r(jià)比支持海量歷史數據的存儲。利用平臺的廉價(jià)存儲，可將數據存儲到布式文件系統（HDFS）中，提供查詢(xún)分析服務(wù)。相對于傳統共享儲存性?xún)r(jià)比更高，相對帶庫使用方便。

■ 龐大的網(wǎng)頁(yè)數據分析，如輿情分析、社會(huì )滿(mǎn)意度分析：能夠基于網(wǎng)頁(yè)數據，實(shí)現數據整合及數據分析處理。大數據平臺提供分布式存儲、并行化計算框架、機器學(xué)習庫等支撐能力。

■ 非結構數據存儲：支持報表、圖片，互聯(lián)網(wǎng)采集的文本等非結構化數據存放到分布式文件系統HDFS中。在大數據平臺分布式文件系統下存儲數據可靠并使用方便。

■ 實(shí)時(shí)信息處理：支持高并發(fā)（每秒5000筆以上）的實(shí)時(shí)信息處理。采集的數據不落地，基于內存進(jìn)行實(shí)時(shí)計算及查詢(xún)。

價(jià)值

■ 多數據類(lèi)型存儲管理技術(shù)，可同時(shí)提供結構化、半結構化及非結構化數據的存儲管理及訪(fǎng)問(wèn)服務(wù)支持；

■ 可線(xiàn)性擴展的分布式平臺，可輕易支撐海量數據（PB級）存儲及并行計算；

■ 海量數據中檢索數據的毫秒級響應能力，可輕松破解常規關(guān)系數據庫中同樣場(chǎng)景存在的性能問(wèn)題；

■ 豐富的流式計算組件支持，提供如大屏展示、實(shí)時(shí)數據展現等業(yè)務(wù)場(chǎng)景的支撐能力；

■ 功能全、質(zhì)量高、價(jià)格優(yōu)，可助客戶(hù)以較低的投入完成相同需求的支撐實(shí)現。

優(yōu)勢

■ 高性能。對于實(shí)時(shí)數據計算能力能夠達到秒級；進(jìn)行的關(guān)系型的數據查詢(xún)測試，取得3～6倍的性能優(yōu)勢；

■ 高可靠性。從硬件、文件系統和分布式計算框架所有層面采用高可靠設計架構，有效地防止基于開(kāi)源產(chǎn)品的不可靠問(wèn)題；支持集群中某臺機器宕機或者某臺機器出現故障時(shí)，實(shí)時(shí)計算集群保障數據不會(huì )丟失、業(yè)務(wù)可以正常進(jìn)行；

■ 高穩定性。支持業(yè)務(wù)的連續性，在企業(yè)IT環(huán)境下，提供可靠、安全穩定的7x24 服務(wù)；

■ 高兼容性。支持各種操作系統如REDHAT， CENTOS等主流Linux操作系；支持各類(lèi)的硬件平臺，如IBM的服務(wù)器、HP服務(wù)器、PCServer、X86虛擬機等；

■ 簡(jiǎn)單易用，靈活開(kāi)放?？梢暬缑?，鼠標拖拽添加功能模塊，易維護；Hadoop架構可以輕松擴展到數千節點(diǎn)，支持在運行階段不宕機的情況下添加集群里的機器，在集群機器里添加組件；支持橫向擴展部署,支持幾乎不受限制的系統橫向擴展需要；全面兼容Apache Hadoop發(fā)行的版本，支持Hbase、Pig、Hive、MR、Oozie等各種開(kāi)源方案；

■ 高度集成，自主創(chuàng )新。提供統一的集群及服務(wù)管理，具有標準的服務(wù)框架和豐富的API，能夠方便接入新的組件并進(jìn)行管理，也能便捷地與其他系統集成；安全性以多個(gè)層次加入和集成到平臺中。提供用于身份驗證、授權、可歸責性以及數據保護的關(guān)鍵功能，確保平臺及數據安全；高性能。