企业技术开发部数据开发工程师求职简历.docx

PersonalResume小XXX求职意向：大数据工程师联系方式手机:XXXSS邮箱：XXX教育背景专业：软件工程毕业时间：2020.07毕业院校：XXX工业大学主修课程：程序设计语言、软件管理、管理信息系统等在校经历：连续三年获得国家三等奖学金，“优秀毕业生”称号技术能力 熟悉MySQL关系型数据库及对SQL语句基本调优 熟悉HBase读写流程和分布式存储原理，能够对HBase表进行设计以及存储流程进行优化。 熟悉大数据生态圈组件包括flume,kafka,sqoop,azkaban,kudu,impala等 熟悉SPark工作机制，应用SPark进行流式计窗口离线计算 熟练掌握Kafka组件结构和工作机制,能够搭建kafka集群能利用kafka+Spark进行数据的流式处理工作经历时间：2019.10至今公司名：上海市XXX有限公司职位：大数据工程师项目名称：车辆监视数据分析平台项目描述：该项目为通过大数据相关技术对车辆数据进行接入、存储、分析，并根据用户需求、结合业务场景，实现车辆数据到信息知识的有效转换和挖掘。项目架构：kafka+SparkStreaming项目环境：IntelliJIDEA+Iinux责任描述：1 .数据接入：kafka为主要的实时数据接入汇聚点，接收来自于不同阵地采集到的目标数据，不同阵地的数据写入不同的kafka主题2 .数据清洗：加载配置规则到内存，使用sparkStreaming实时计算，对接入kafka的数据按规则进行过滤，并将实时数据写入到Redis,历史记录写入MongoDB中4.数据统计分析：数据接入量统计，根据不同通道，按时、天、周、月以柱状图呈现流量状态；车辆统计，按重要车辆、数据来源（不同通道区域地区、时间、名称等查询条件统计出车辆数量