大数据总—概述.ppt

1粤嵌教育嵌入式学院大数据就业班V 1.02课程目标n大数据概念n大数据的特点n大数据作用n大数据发展前景n企业大数据业务流程分析n企业数据部的一般组织结构3大数据概念第一节4大数据概念n大数据（big data）：指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。n主要解决：海量数据的存储和海量数据的分析计算问题。5数据存储单位6大数据的特点第二节7大数据的4V特性8Volume9Velocity10Variety11Valuen价值密度的高低与数据问题的大小成反比。如何快速对有价值数据“提纯”成为目前大数据背景下待解决的难题12总结13大数据的作用第三节14大数据能干啥？15大数据能干啥？16大数据能干啥？17大数据能干啥？n商品广告推荐：给用户推荐访问过的商品广告类型18大数据能干啥？19大数据能干啥？n人工智能20大数据发展前景第四节21国家层面n党的十八届五中全会提出“实施国家大数据战略”，国务院印发促进大数据发展行动纲要，大数据技术和应用处于创新突破期，国内市场需求处于爆发期，我国大数据产业面临重要的发展机遇。22人才需求n国际数据公司IDC预测，到2020年，企业基于大数据计算分析平台的支出将突破5000亿美元。目前，我国大数据人才只有46万，未来3到5年人才缺口达150万之多。人才缺口计算150w-40w=110w110W/5年 = 22w/年22w/12月=1.83w/月自古不变的真理：先入行者吃肉，后入行者喝汤，最后到的买单！23企业数据部的业务流程分析第五节24企业数据部的业务流程分析产品人员提需求（统计总用户数、日活跃用户数、回流用户数等）数据部门搭建数据平台、分析数据指标数据可视化（报表展示、邮件发送、大屏幕展示等）25企业数据部的一般组织结构第六节26企业数据部的一般组织结构数据仓库组平台组数据挖掘组报表开发组集群平台性能调优Hadoop、Flume、Kafka、Storm、spark等框架平台搭建Hive工程师-数据分析、数据仓库建模ETL工程师-数据清洗算法工程师推荐系统工程师用户画像工程师集群性能监控JavaEE工程师企业数据部的一般组织结构