《Hadoop数据管理Ⅱ》课程标准.docx

《《Hadoop数据管理Ⅱ》课程标准.docx》由会员分享，可在线阅读，更多相关《《Hadoop数据管理Ⅱ》课程标准.docx（18页珍藏版）》请在第壹文秘上搜索。

1、Hadoop数据管理II课程标准课程代码：B0509022课程类别：专业核心课授课系（部）：数字经济学院学分学时：7学分/94学时一、课程定位与作用1.课程的定位：本课程是大数据技术与应用专业的专业核心课程；是一门实用性和实践性很强的程序设计语言课程。2 .课程的作用：根据培养应用型人才的需要，本课程的目的与任务是使学生通过本课程的学习，掌握SPark分布式计算框架、SCaIa与SPark编程技术，为将来从事大数据分析挖掘工作奠定基础。3 .与其他课程的关系：本课程是作为大数据专业核心课程，本课程所学习的相关内容在企业中的运用越来越广泛,学习Spark分布式计算框架已然是进入大数据行业所必不可

2、少的一步。二、课程目标通过本课程的学习，使学生掌握基于SPark分布式计算框架的应用程序开发技术，并结合企业案例，将理论与实践相结合，提升对大数据应用系统的开发能力，为将来从事数据分析挖掘工作奠定基础。1.知识目标（1） 了解SPark生态圈的构成；（2）理解SPark运行架构与工作原理；（3）掌握SPark环境及其相关开发语言（SCaIa）的IDE环境IntelliJIDEA的搭建方法；（4）掌握在集成开发环境InteniJIDEA中使用SCala语言开发SPark应用程序的方法；（5）掌握SParkSQL结构化数据文件处理方法；（6）掌握SParkStreaining实时计算框架的搭建和应

3、用程序的开发；（7）掌握SParkGraPhX图计算框架的搭建和应用程序的开发；（8）掌握基于SParkMLIib算法库的应用程序开发。2 .能力目标通过本课程的学习，学生应具备以下几方面的能力：（1）能描述SPark的运行架构与原理；（2）能熟练安装和配置SPark集群开发平台；（3）能熟练使用SCala语言开发基于SPark集群的应用程序；（4）能熟练使用SParkSQL开发基于结构化数据文件的应用；（5）能熟练使用SParkStreaming开发基本的实时流计算应用程序；（6）能熟练使用SParkMLlib提供的算法库开发基本的机器学习应用程序。3 .素质目标（1）具有社会主义和共产主义

4、的理想信念；（2）具有改革开放的意识和强烈的竞争意识；（3）具有良好的行为规范和社会公德以及较强的法制观念；（4）具有良好的职业道德和质量服务意识；（5）具有不断学习、不断创新的进取精神；（6）具有团队协作精神和较强的协调能力及独立工作的能力；（7）具有健康的体魄和良好的心理素质。三、课程设计1 .设计基本理念本课程的设计理念是：应用为目标、实践为主线、能力为中心。（一）突出学生主体，强调能力培养坚持以能力为中心、以学生为主体的原则来设计课堂教学，在学生就业岗位需求分析的基础上来确立能力目标，将能力培养贯穿于课程教学之中，实现由传统的以教师为主体的知识传授型教学模式向以学生为主体的能力培养型教

5、学模式的转变。（二）基于工作过程，真实案例教学在教学过程中，以典型工作任务为载体，将对各种资源的管理分解为多个独立又具有一定联系的任务，让学生将知识的学习，技能的加强和经验的积累在一系列任务中获取并高度融合。（三）整合课程资源，理论实践一体化本课程在教学过程中，根据高职培养应用型人才的特点，以典型工作任务为主线、以各种资源管理为核心，以培养能力和提高兴趣为目标，重视在新形势下的新方法、新规则和新思想的传授。着重培养学生能灵活应用这些思想和方法的能力。课程教学中要遵循理论来自于实践的原则，融“练、学、思、拓”于一体，体现“在做中学，在学中做，学以致用”，以增强知识点的实践性，激发学生的学习兴趣。

6、在实践教学环节中则融入相关理论知识，突出理论来自于实践和指导实践的作用，使学生的知识应用根据学习的内容提升一个新的高度。（四）体现能力标准，强调工学交替学习借鉴“四环相扣”教学改革成果，在本课程教学中全过程体现工学结合，课程教学目标围绕能力标准，课程本身按模块设置，教学过程充分工学交替。2 .总体设计思路本课程采用面向应用方向，以应用为中心构建课程体系，提出从理论到实际，从具体到抽象，从个别到一般，从零散到系统的方法，实施“提出问题-解决问题-归纳分析”的教学三部曲，强调动手能力和对知识的运用能力，重点培养应用型人才。根据知识的深浅度进行实际学习，创设了9个学习情景：SPark概述TSPark

7、运行架构与原理-SCaIa语言基础TSPark编程基础fSpark编程进阶TSParkSQL：结构化数据文件处理-SparkStreaming：实时计算框架SparkMLlib:功能强大的算法库今项目案例：餐饮平台菜品智能推荐。通过实际案例对知识点进行串联发散，让学生通过具体的实际问题的解决来掌握Spark大数据应用开发的核心技术。课程开发和学习情境设计，整个学习领域由以下学习情境（课程单元）组成:学习情景1学习情景2学习情景3学习情景4学习情景5学习情景6学习情景7学习情景8学习情景9Spark概述Spark运行架构与原理Scala语言基础Spark编程基础Spark编程进阶SparkSQL

8、：结构化数据文件处理SparkStreaming：实时计算框架SparkMLlib:功能强大的算法库项目案例：餐饮平台菜品智能推荐3.课时分配建议本课程课时为94课时，其中理论教学50课时，实践教学44课时。序号课程单元学习任务及教学要求参考学时学习任务教学要求理实论教学践教学1Spark概述1. SPark基本概念2. Spark发展和应用3. SPark环境配置方法1 .讲解SPark基本概念2 .演示SPark的安装配置202Spark运行架构与原理1. SPark集群架构2. SPark作业运行流程3. SPark核心数据集RDD4. Spark核心原理1 .讲解并演示SPark集群的

9、作业运行流程2 .讲解SPark核心工作原理423Scala语言基础1. SCaIa简介2. SCaIa特性3. Scala的环境设置及安装方法4. SCaIa类的定义和运行方法5. SCala数据类型、函数、表达式的应用6. Scalaif判断和for循环7. SCala集合应用1 .演示Scala的安装配置过程2 .讲解和演示Scala的应用编程664Spark编程基础1 .从内存中已有数据创建RDD2 .从外部存储创建RDD3 .RDD转化操作和行动操作方法4 .RDD键值对操作5 .文件读取与存储1 .结合实际问题讲解和演示RDD的各种操作和运算2 .讲解和演示Spark中如何进行文件

10、操作885Spark编程进阶1 .下载与安装InteniJIDEA2 .SCala插件安装与使用3 .配置SPark运行环境的方法4 .运行SPark程序的方法5 .持久化方法6 .数据分区方法结合实际案例讲解和演示Spark编程应用666SparkSQL：1.SparkSQL简介结合实际案例讲解和演66结构化数据文件处理2. SparkSQLCLI配置3. SparkSQL与Shell交互4. DataFrame基础操作方法示SparkSQL的编程应用7SparkStreaming：实时计算框架1. SparkStreaming运行原理2. SparkStreaming使用方法3. DStr

11、eam编程模型基本方法结合实际案例讲解和演示SparkStreaming的编程应用668SparkMLlib:功能强大的算法库1 .机器学习2 .MLlib介绍和应用结合实际案例讲解和演示SparkMLlib算法库中常用算法的编程应用649项目案例：餐饮平台菜品智能推荐1 .常用推荐算法2 .异常数据处理方法3 .数据变换方法要求讲解推荐算法理论和算法编程实践相结合66合计944、课程单元描述对每个课程单元从学习目标、学习内容、教学方法和建议、教学条件要求、学生已有基础、教师所需执教能力要求、校企双师授课安排建议等方面分别对每个课程单元进行描述，格式如下：课程单元1课程单元名称Spark概述课

12、时数理论教学实践教学2O学习目标知识目标1 .了解SPark概念2 .掌握如何搭建SPark分布式环境能力目标1.能熟练搭建SPark分布式环境素质目标1 .具有一定的心理素质，勇于克服困难2 .具有主动学习并不断进行创新的精神3 .具有分工合作、团队协作能力4 .具有一定的逻辑思考能力学习内容1 .认识SPark的来源、发展、特点、生态圈和应用场景2 .搭建完全分布式Spark开发环境教学方法和建议教学方法：案例法、演讲法、讨论法、分析讨论法。教学建议：按照“练、学、思、拓”训练模式来组织教学。以教师为主导，学生为主体进行教学教学条件要求L课程标准2 .授课计划3 .授课教案4 .教学案例学

13、生已有基础JaVa程序设计基础、LinUX操作系统基础、基础的逻辑和语言文字基础、HadOOP数据管理I教师所需执教能力要求讲师以上校企双师授课安排建议校内教师授课内容：学习内容12企业兼职教师授课内容：课程单元2课程单元名称SPark运行架构与原理课时数理论教学实践教学42学习目标知识目标1 .掌握SParkRDD的概念2 .了解SPark的运行流程和原理能力目标1 .能向SPark集群环境提交示例任务2 .能准确描述SPark作业运行流程素质目标1 .具有一定的心理素质，勇于克服困难2 .具有主动学习并不断进行创新的精神3 .具有分工合作、团队协作能力4 .具有一定的逻辑思考能力学习内容1

14、.SPark集群架构2. SPark作业运行流程3. SPark核心数据集RDD4. Spark核心原理教学方法和建议教学方法：案例法、演讲法、讨论法、分析讨论法。教学建议：按照“练、学、思、拓”训练模式来组织教学。以教师为主导，学生为主体进行教学和实训。教学条件要求1 .课程标准2 .授课计划3 .授课教案4 .教学案例学生已有基础JaVa程序设计基础、LinUX操作系统基础、基础的逻辑和语言文字基础、HadOoP数据管理I教师所需执教能力要求讲师以上校企双师授课安排建议校内教师授课内容：学习内容4企业兼职教师授课内容：课程单元3课程单元名称SCala语言基础课时数理论教学实践教学66学习目标知识目标1 .掌握SCala环境的安装2 .掌握SCala语言的应用和编程能力目标1.能熟练使用Scala语言按照指定功能需求编写应用程序素质目标L具有一定的心理素质，勇于克服困难2 .具有主动学习并不断进行创新的精神3 .具有分工合作、团队协作能力4 .具有一定的逻辑思考能力学习内容1.SCala环境设置与安装2. 运行SCala