上海铁路局IT运营大数据平台方案建议书20160908.docx

《上海铁路局IT运营大数据平台方案建议书20160908.docx》由会员分享，可在线阅读，更多相关《上海铁路局IT运营大数据平台方案建议书20160908.docx（26页珍藏版）》请在第壹文秘上搜索。

1、上海铁路局IT运营大数据平台方案建议书上海攀创信息技术有限公司2016年8月版本历史版本号开始日期结束日期修改者说明状态1.02016/08/262016/08/29AdamsQu文档创建、编写初才高1.12016/09/052016/09/05AdamsQu更新文档：细化应用场景初稿目录1. IToA运营大数据分析产生的背景42. IToA运营大数据分析解决方案介绍43. ITOA运营大数据分析平台功能53.1 1海量数据采集功能53.2 全局索引和搜索功能63.3 复杂多维（实时）报表及仪表盘功能73.4 主动监测和告警功能83.5 安全功能84. 铁路局应用场景84. 1场景一:容量资源

2、审批辅助8a. 性能数据获取IOb. 配直数据获取11c. 其他数据获取124.2 场景二:项目应用评价.134.3 场景三:安全预警174.4 场景四:平台健康诊断20场景五:IT数据法规遵从错误!未定义书签。1. IToA运营大数据平台技术参数245. 1、数据采集245.2、 全局搜索255.3、 实时报告和仪表盘255.4、 主动监控/事件等告252. 关于我们261. IToA运营大数据分析产生的背景随着信息架构与应用系统日渐庞大，现行IT架构中，早已不是单一系统或是单一设备的单纯环境，伴随而来，是规模不断扩大的IT系统，日益复杂的系统架构，以及海量的IT运维数据。公司业务对IT系统

3、的连续性要求也进一步提高，面对这些新形势下的挑战，IT运维管理（IToM）需要从原有的人工加被动响应，转变为更高效，更智能化的运维体系，为新形势下的IT系统保驾护航。因此在数据大集中背景下，如何使组织和机构的IT数据进行整合，管理，维护，分析并使之再生效益，那就催生了ITOA-IT运营大数据分析，是一种将大数据分析和机器学习的技术应用于现代IT运维及业务运营管理体系中的概念，它为IT运维和运营提供了全新的管理思路。2. ITOA运营大数据分析解决方案介绍根据上海铁路局的需求，我们建议采用开发和构建ITOA运营大数据分析平台，该系统通过采集散落在各个系统的运营数据（如BMC监控系统数据，操作系统

4、及应用日志数据等），帮助在单一位置实现所有IT设施数据的实时监控、搜索和分析。通过卓越的性能和高拓展性的数据展示和监控能力，使铁路局可视化全局监控信息系统资源和健康状态，以及关键业务系统的指标。解决方案框架:3. IToA运营大数据分析平台功能3.1 海量数据采集功能ITOA运营大数据分析平台具备多样且弹性的数据搜集方法，可以检索各种型态的IT运营数据，不限定数据样式，并收集来自各种不同的应用系统和网络设备。通过利用所有数据（结构化和非结构化数据）来全面了解警、性能和任何指标。IT运维活动，其中包括：事件、日志、告 网络流量与事务处理 日志文件 警告/报警与事件 性能指标 核心文件与内存痕迹

5、配置文件 服务请求 故魁通知单 避谈 CMDB与资产 用户文档与技术文档全平台支持能力一主流操作系统,数据库，中间件，容器，存储，以及主流监控系统（如BMCPatrol）海量数据实时，高频采集能力（秒采） 自助监控能力扩展能力一自定义脚本/模块化的方式扩展监控能力 容错，流量控制，以及采集端健康状况以及数据完整性检查。3.2全局索引和搜索功能IToA运营大数据分析平台具备快速自定的各种型态搜寻，而不是只有固定几种的字段,不需要指定数据的格式，更可结合时间与关键词进行搜寻，呈现出清楚的搜寻结果，使用上就像百度、Google一样的直观易用。 键入关键词后任意搜寻 既时的在线查询，立即产生长时间结果

6、 用交互比对查询，收敛事件范围 用时间、关键词与复杂流程拼凑关连事件3.3 复杂多维（实时）报表及仪表盘功能将各系统的运维数据进行统计分析并生成各类实时报表，对各类运营数据（如，应用日志，交易日志，系统日志）进行多维度、多角度深入分析及可视化展现，以业务视角实时展示各种业务指标，以及帮助关联分析ITOA运营大数据分析平台提供强大的报表能力，能够将搜寻结果以各项清晰的图表呈现，更可弹性化地产制出组织和机构管理阶层所想要的报告内容。 无须透过其他工具可直接产出报表 可从多数据源中获取，并基于关键主键进行聚合关联分析和串联展示 8种报表格式，如直方图、线性图、分区图、圆饼图、单点图等 支持向下钻取：

7、皆为动态报表可随时点选并进行特定搜寻通过实时和直观的仪表板/报表，达到运维可视化的目的，包括应用状态可视化，趋势可视化，故障可视化，异常可视化，影响可视化，业务KPl可视化3.4 主动监测和告警功能ITOA运营大数据分析平台能够定期/实时执行，并依据搜寻结果发出各项警示通知，可以透过email、脚本等方式链接其他管理接口，可触发执行自行定义的因应方式，例如重新启动应用程序、系统或网络设备。 Enlail发送警告 可制订不连续时间启动自动搜寻并发送警告 可以呼叫script延伸应用3.5安全功能组织和机构的IT信息其重要性不言可喻，IToA运营大数据分析平台可进行用户数据访问权限管理，安全管控，

8、确保数据在存取、分析和稽核时不会破坏数据的完整性。 用户联机与数据访问权限控制 不变更原始数据的完整性4.铁路局应用场景4.1 场景一：容量资源审批辅助4.1.1业务场景：伴随着上海铁路局资源管理系统的建设，需要实现对资源池的合理分配及管理，实现业务容量、IT容量的监控，给出合理的容量配置规划，帮助铁路局实现IT资源的合理配置和系统扩容规划，节约IT资源投资。为资源生命周期管理中的“容量资源审批”提供数据支持，作为审批条件的参考。另外，还将获得如下收益：提前预留IT资源，缩短系统扩容周期监控交付服务所需的业务服务和IT资源，灵活应对应用服务日益变化的需求通过计费或费用跟踪报表，跟踪服务成本平台

9、针对资源审批辅助决定中的角色和作用，如下图所示：IT运营大数据平台假设场景，当一个应用需要新申请资源扩容时，审批者可以根据现有资源池中可用的资源数据，应用系统现有的资源使用率，以及预估未来的预分配资源等数据作为审批决策的依据。1 .假设一：应用系统所使用的IT系统资源使用率已经达到了接近饱和（如80%）,并且剩余的资源池中有足够资源的可用，那么该申请可以被审批2 .假设二：应用系统所使用的IT系统资源使用率较低（如30%）,自身有足够的资源满足性能增长的需求，那么该申请就会被退回，并要求申请者给出足够的数据支撑本次应用扩容的理由容量资源视图（样例）如下:4.1.2技术实现：这些容量资源数据分别

10、通过IT运营大数据平台从各种运营数据中分析，统计和提炼所得,这些指标数据包括：a.性能数据获取考虑到今后对容量数据的维护及工作量，本次项目建议考虑直接从BMCPatrOlServer端抓取数据，在场景中，需要抽取的Agent端性能数据主要包括:BCO指标名指标描述单位(Unit)指标类型说明CPU_UTI1.CPUUtilization%PCTPercentcounterCPU利用率MEM,UTI1.MemoryUtiIization%PCTPercentcounter内存利用率MEM_FREEFreeMemoryBYTESNegativeaccumuIationcounter剩余内存DISK

11、_UTI1.DiskUtilization%PCTPercentcounter磁盘繁忙百分比1.DISK_UTI1.1.ogicaIDiskUtiIization%PCTPercentcounter逻辑盘繁忙百分比NET_TRANSFER_RATENetworkPacketTransferRatePACKETS/SAfrequency,inevents/sec网络端口读写SWAP_SPACE_UTI1.SwapSpaceUtilization%PCTPercentcounterSwap分区利用率FS_UTI1.FiIesystemUtiIization%PCTPercentcounter文件系

12、统使用率b.配置数据获取配置信息可以通过IT服务管理平台获取如BMCRemedy,也可以通过nmon获取，建议通过SerVer端集中获取，ITOA端需要的配置信息主要包括:配置数据解释NUM_DISK磁盘数量NUM_NETWORK网卡数量OSNAMEOS名称GB1._OSRE1.EASEOSReIease号OsversionOS版本MACHINE机器名称MEM_PHYS分配的物理内存MEM_AVAI1.内存可用量CPU_NUMBERCPU数量CPU_CoreCPU核数CPU_MHZCPU频率（MHZ）c.其他数据获取以上性能及配置数据一般能够满足资源监控的需求。但是考虑到未来的扩展，建议未来可

13、以考虑配合业务数据（如手工录入数据），未来项目的数据及其他平台的数据进行容量分析。平台能够提供灵活的用户定义自己的接口，来抽取自定义数据。4.1.3主要功能功能序号功能名称功能描述1容量数据分析及拟合度分析通过ITOA的快速实时报表功能，能够迅速地生成容量分析视图，也可以将该视图定义为报表2应用使用率数据进行分析各个业务应用系统对IT基础设施组件资源使用的占比数据3基础设施资源池使用率各个IT基础设施的资源池资源使用率(实时，每日，每月，每年等)4为新上线系统/扩容系统，资源审批辅助提供对使用率数据进行分析，预测使用趋势，为未来资源扩容提供数据依据4.2场景二：项目应用评价4.2. 1业务场景

14、：应用项目上线后，需要对上线后的项目成果进行客观评价，作为项目应用上线后成功与否的评判指标参考。以下是衡量应用上线成功与否的常用指标:用户使用频率/活跃用户：浏览量(PV)PV(pageview)即页面浏览量或点击量，是衡量一个网站或网页用户访问量。具体的说，PV值就是所有访问者在24小时(0点到24点)内看了应用系统多少个页面或某个网页多少次。PV是指页面刷新的次数，每一次页面刷新，就算做一次PV流量。访客数(UV)UV(uniquevisitor)即独立访客数，指访问应用系统站点或点击网页的不同IP地址的人数。在同一天内，UV只记录第一次进入网站的具有独立IP的访问者，在同一天内再次访问该网站则不计数。UV提供了一定时间内不同观众数量的统计指标，而没有反应出网站的全面活动独立IP数（IP）IP可以理解为独立IP的访问用户，指1天内使用不同IP地址的用户访问网站的数量，同一IP无论访问了几个页面，独立IP数均为1系统用户体验:平均访问时长平均访问时长是衡量网站用户体验的一个重要指标平均访问时长是用户访问网站的平均停留时间。平均访问时长二总访问时长/访问次数