媒体智能数据服务项目解决方案说明书.docx
《媒体智能数据服务项目解决方案说明书.docx》由会员分享,可在线阅读,更多相关《媒体智能数据服务项目解决方案说明书.docx(10页珍藏版)》请在第壹文秘上搜索。
1、媒体智能数据服务平台项目解决方案说明书XX科技股份有限公司编制目录一、项目存在问题及需解决问题31. 存在问题32. 需解决问题3二、解决方案41 .解决方案架构42 .关键技术6(1) Hadoop6(2) SpringMVC6(3) MyBatis6(4) Echarts6(5) MySQ1.6(6) Hive7(7) HBASE8(8) Zookeeper8(9) F1.ume8三、开发范围81 .数据生产82 .数据采集/消费93 .数据分析104 .数据展示11一、项目存在问题及需解决问题1 .存在问题数据移动代价高快速适应变化难数据类型支撑有限投入成本较大2 .需解决问题数据移动代
2、价商传统的数据仓库构建需要经过四个过程,数据源经过ET1.工具(抽取、转换、装载工具)抽取到数据仓库,再按照星型模型或雪花型组织数据,之后由O1.AP工具将数据生成多维立方体,最终立方体的数据或仓库的数据供查询分析应用使用。随着数据规模的增大,数据在各阶段的移动时间将可能呈数量级增长,无法适应大规模数据处理快速适应变化难传统的数据仓库需要相对稳定的数据模型,任何模型的变化都需要重新加载和计算数据,导致处理周期长、适应变化慢。但在大数据时代,数据分析将广泛应用到各个业务场景中,时刻面临着新的业务,传统模式将难以适应需求的不断变化。数据类型支撑有限目前关系型数据库主要支持的是结构化数据,对于半结构
3、化和非结构化数据不能进行有效使用,大大限制了可利用和挖掘的数据范围。投入成本较大由于数据量迅猛增加,需要传统数据库具有良好的线性扩展性和MPP架构,而提供该种能力的数据仓库产品价格高昂,当服务器节点随数据量不断增多时,将导致成本的急剧上升。二、解决方案1 .解决方案架构系统开发平台使用Hadoop大数据开发平台。Hadoop是一个高度可扩展的存储平台,可以存储和分发横跨数百个并行操作的廉价的服务器数据集群。能扩展到处理大量的数据,能提供成百上千TB的数据节点上运行的应用程序。HadooP能够有效的在几分钟内处理TB级的数据。相比关系型数据库管理系统更具有优势。它适用于任何规模的非结构化数据持续
4、增长的企业,将帮助用户持续提商用户体验。系统采用面向对象的软件设计方法,把整个系统看作是多个离散对象的组合。系统设计时,首先把业务流程分解成功能模块及其业务实体对象,然后根据业务流程分析对于这些业务实体对象的操作方法,形成业务处理对象,最后把各个功能模块关联起来,形成系统。软件设计是一个将需求转变为软件的过程,系统通过逐步求精使得设计陈述逐渐接近于源代码。系统程序采用MYC的设计思想,将展现逻辑、控制逻辑、业务处理逻辑分离。系统采用参数化的设计思想,定义和管理系统的实体及配置,调整实体以适应外部变化。系统采用J2EE技术保证程序逻辑实现的平台无关性,并便于安装部署。系统采用AJAX技术,提高客
5、户操作的交互性,保证实际使用的易用性。系统采用echarts可视化框架实现数据展示。2 .关键技术(1) HadpHadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力进行高速运算和存储。(2) SpringMVCSpringMVC:属于SPringFrameWork的后续产品,已经融合在SpringWebF1.oW里面。Spring框架提供了构建Web应用程序的全功能MVC模块。(3) MyBatisMYBatis:是支持普通SQ1.查询,存储过程和高级映射的优秀持久层框架。MyBa1.iS消除了几乎所有的
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 媒体 智能 数据 服务项目 解决方案 说明书
