大数据开发工程师

  • 岗位类别:技术
  • 工作地址:深圳南山
  • 创建日期:2017/4/4

岗位职责

1、负责构建数据仓库(设计、开发、维护),大数据处理架构;

2、负责基于cloudera的Hadoop、Spark、Kudu、Impala技术的海量数据自动化分析处理和统计工作;

3、分布式平台应用开发(Hadoop/CDH);

4、开发数据统计系统,各类统计程序报表 ;

5、支撑各业务线数据需求。

 

任职要求

1、有海量数据分析和统计相关经验;

2、对hadoop生态、实时计算框架非常熟悉,具备集群搭建、维护、监控能力;

3、熟悉Flume、Kafka、Storm、Spark、Hive、Kudu、Impala等大数据技术, 至少精通其中三项以上;

4、熟练掌握Java语言,MapReduce编程,脚本语言Shell/Python/Perl之一;

5、有大数据平台的数据流监控经验优先;

6、至少实践过1个大数据平台建设项目,平台数据量不小于10T。