ETL数据整合与处理（Kettle）教学教案.docx

《ETL数据整合与处理（Kettle）教学教案.docx》由会员分享，可在线阅读，更多相关《ETL数据整合与处理（Kettle）教学教案.docx（12页珍藏版）》请在第壹文秘上搜索。

1、第1章开启ET1.之旅教案课程名称：ET1.数据整合和处理课程类别，必修适用专业，大数据技术类相关专业总学时：64学时（其中理论30学时,实验34学时）总学分I4.0学分本章学时：6学时一、材料清单（1KCUIC需要查看什么，才能看到执行结果？3.拓展性问题拓展性向即，是教师在深刻理解教材的意义、学生的学习动态后,根据学生学习层次，而提出的切实可行的实际操作问题。教师亦可以提供拓展资料，给学生研研究探讨，从而完成拓展性的问题.（I）EXCC1.也能对数据进行处埋，为什么还要使用ET1.j1.具？（2）KeUIe采用图形化界面操作，有什么好处？（3）哪些场圾的数据迁移和装我.不芮使用数据麻？四、

2、主要知识点、重点与难点（1） 要知识点（1.ET1.的概念、流程与应用场景。（2） Er1.的处理流程.（3） JDK、MySQ1.和KCuIC的安装和配置.（4） Keme的常用功限2.重点（1） Er1.的概念、流程与应用场爆。（2） KeUIC1常用的应用场景和功能.2.参考资料1 PcntahoCommunityWiki：ht1.ps:/2 PenUihoDocumentation：hKps:/4 .基本要求（1掌握KcaIe与MySQ1.数据库之间的连接.（2）熟练建立转换工程和创建相美的转换组件，（3）掌握获取源数据的常用组件和参数设置，（4）掌握生成数据的常用组件和参数设置.（三

3、）熟练浏览加件执行结果和掌握出锚处理方法.九、问题5 .引导性提问引导性提问,是教师根据教材内容和学生实际水平,有针对性地提出问起,去启发引导学生去思考和解决同翘.从而达到理解竽提课程知识点和技术点，（8） KeU1.e通过什么方法与数据库建立连接？（9）KCmC是怎样获取数据的？（10） Kemeffe弊生成数据吗？（11）KCUIC可以获取翩些典型类型文件的数据？（12）获取淞数据需要编程吗？6 .探究性问题探咒性问题.是教师在深入怙研教材、引导性提问的基础上.或者是在引导式提问中尚未涉及，又是课程中的柬要内容，从Ht点、难点中切入，而精心设计的插入式提问。（三）获取源数楙的处理过程是怎么

4、样的？（9）组件是什么？（IO）一件参数有什么用?（11）获取数据库数据与文件数据的方法是否一样？（12）获取数据和生成数班的应用场景有何异同？（13）通过什么方法可以浏览获取的源数据？64.基本要求（14）学握任芬启动的参数设置.（15）常用在任务中调用转换工程和参数设祝。（16）常用在常用仟务俎件和参数设置”（17）掌握浏览执行任务后结果和排错处理的方法.三十九、问题65.引导性提问引导性提何，是教师根据教村内容和学生实际水平，有针对性地提出问题，去启发引导学生去思考和解决何题.从而达到理解.笊握课程知识点和技术点.（28）任务和转换有什么不同？（29）任务的起点是什么吗？（30）为什么需

5、要使用任务？（31）任务可以定时执行吗？（32）任务是否能弊监控执行？66.探究性问题探究性问题，是教师在深入钻研教材、引导性提问的基础上，或者是在引导式提问中尚未涉及,又是课程中的充要内容,从重点、难点中切入，而精心设计的插入式提问.（44）在个完整的可执行的任务工程中，必不可少的组件是什么？（45）任务可以词用转换工程,是否也可以调用任务工程？（46）什么组件可以产生日志文件？（47）一般通过什么查看任务的执行？（48）发送邮件为什么可以监控到任务的执行？（49）为什么要使用成功组件？有什么作用？（50）查看任务执行结果与杳看游揆执行结果是否相同？四十一、教学过程设计71.理论教学过程（4

6、8）开始组件及其参数设置.（49）转换组件及其参数设置，（50）添加文件到结果文件中组件及其参数设置.（51）发送邮件组件及其参数设置，（52）成功组件及其参数设置，（53）检巫表是否存在组件及其参数设比.（54）SQ1.组件及其卷数设词.（55）检查列是否存在组件及其参数设置.（56）检查一个文件是否存在组件及其参数设置.（57）检更多个文件是否存在批件及其参数设置。72.实验教学过程（41）建立任务工程和开始殂件，设置殂件多数，运行。（42）建立任务工程和转换笄组件,设置组件参数.运行和预览结果.（43）建立任务工程和添加文件到结果文件中等细件，设置组件参数，运行和预览站果。（44）建立任

7、务工程和发送批件等组件,设置组件参数.运行和预览结果.（45）建立任务工程和成功等组件，设置殂件多数，运行和预览结果，（46）建立任务工程和检查表是否存在等组件设置组件参数,运行和预览结果.（47）建立任务工程和SQ1.等组件，设置组件参数，运行和预览结果.（48）建立任务工程和检杳列是否存在等组件,设置组件金散，运行和预览结果。（49）建立任务工程和检查一个文件是否存在等组件,设置组件参数运行和欣览结果。（50）建立任务工程和检杳多个文件是否存在等组件，设置组件拿数，运行和预览结果.四十二、教材与参考资料73 .教材教材：王雪松,张良均.E11.数据整合和处理（Ke1.ticM.北京：人民邮

8、电出版社.2021.74 .参考资料(1 PCnk1.hOCommunityWiki：htps(2 PentahoDocumentation：hups7hc1.p.pentaho.w11,第8章无人售货机项目实战教案课程名称，ET1.数据熔合和处理课程类别，必修适用专业t大数据技术类相关专业总学时I64学时（其中理论30学时，实的M学时）总学分：4.0学分本章学时：10学时四十三、材料清单（29） AET1.数据整合和处理（Kett1.e）教材“（30）引导性提问.（31）探究性问遨。（32）拓展性问题.四十四、教学目标与基本要求75.教学目标无人售货机每天为客户提供便利的两都寄包服务，同时也

9、产生了大麻的商品零售数据.讲授通过采用KEk的纲件，进行组件参数设置和使用，实现无人竹货机项目有关ff：务，让学生达到以下教学目标：（34）热卷并理解无人售货机的数据，（35）熟悉无人付货机项目的整体目标。（36）掌握项目各任务的流程和步骡.（37）掌握多组件坦合处理任务的方法。76.基本要求（18）了解琰目的背圾和业务数据.（19）了解1页目的各任务的F1.标，（20）掌握任务的流程和步骤，（21）掌握项目使用的组件和参数设置，（22）掌握浏览项目执行后结果和排错处理的方法。四十五、问题77.引导性提问引导性提问,是教师根据教材内容和学生实际水平,有针对性地提出问起,去启发引导学生去思考和解

10、决同翘.从而达到理解竽提课程知识点和技术点，（33）从学习知识到项目实战需要做哪些很需？（34）为什么要了解项目背景和目标？（35）如何才能理解项目的业务数据？（36）项目的任务流程有什么用？（37）任芬使用多个组件，根据什么来确定其操作顺序？（38）项FI任务遇到困难时该怎么办？78.探究性问题探究性问题，是教师在深入钻研教材、引导性提问的基础上，或者是在引号式提问中尚未涉及,又是课程中的重要内容.从重点、难点中切入,而精心设计的插入式提问.（54）能处简述J目任务流程吗？（55）人、Pf货机都是主体，无人售货机产生的主体数据有哪咚？（56）客户订单信息表、客户订单详情文件中的数据有什么差别

11、？（57）为什么有正夏的订取号？（58）同一订单中如果购买3个商品，那么会产生几条订单记录？（59） paytota1.pricc订单实际支付金额和PrOdUetPaytOta1.PriCC商品实际支付金额有彳I么不同？60）使用分组组件计笄前为什么需要排序？（61）统计您货机的箱也数据，为什么要使用记录美联？（62）什么场景下使用分组袋合统计或使用公式统计？（63）进行记录关联后,会产生那些重亚记录？（64）统计客户消费金额.需要去除相同订单号的记录吗？为什么？79.拓展性问题拓展性同腮，是教师在深刻理解教材的意义、学生的学习动态后,根据学生学习层次，而提出的切实可行的实际操作问题。教师亦可

12、以提供拓展资料，给学生研研究探讨，从而完成拓展性的问题.（22）计修售货机每年的统计数据，需要对那些字段进行字段剪切？（23）统计商品的新件金额，需要去除相同订单号的记录吗？为什么？（24）个项目任务往往茄要多个组件联合才能实现，如何判断中间数据是否正确？四十六、主要知识点、重点与难点80 .主要知识点业务数据、项目任务流程、任务目标的数据业务要求、任务所使用的组件多数设附、组件的顺序和应用、任务的结果判断和排档.81 .重点（14）熟悉和理解业务数据.（15）理解任务的业务流程.（16）任务场景中使用组件的顺序、多数设置和操作。（17）各组件运行后的数据到阍.（18）任芬结果数据是否正确.8

13、2 .难点（业务数据的理解.（2）目标任务的分解，（3）各批件运行后的数据解读。（4）任务执行的结果解读和排错.四十七、教学过程设计83 .理论教学过程（58）无人生优机项目的背景和目标，（59）客户订单信息表、客户订单详情、无人售货机信息文件中的数据说明.（60）分组聚合客户订堆任务的数据需求、流程和实现步骤.（61）芥商品销自金额任务的数据需求、流程和实现步骤，（62）各件货机H销件金额任务的数据希求、流程和实现步骤.（63）各色优机情况任务的数据需求、流程和实现步骤。84 .实验教学过程（51）理解分组聚合客户订单任务的数据需求和流程，创建转换工程和组件，统计聚合客户订单。（52）理解计修各商肪箱您金额任务数据需求和流程，创建转换工程利组件,统计各商品销传金额，（53）理解统计各自货机H栉件金额任务数据需求和流程,创铤转换工程和组件，统计各售货机箱售金额.（54）理解统计商品的年精仰金额任务数据需求和流程，创建转换工程和组件,统计各商品的年销筲金额.（55）理解包货机的产品销皙佥额任务数据需求和流程，创建转换工程和组件，统计各何货机的产品销件金额，列出