岗位职责:
1.大数据平台核心组件模块的架构、开发和技术攻关;
2.负责分布式数据平台框架下的数据架构设计与开发,以及数据产品开发;参与数据模型体系构建及数据主题设计和开发;
3.研究Flink、Spark、Hadoop、clickhouse等大数据计算和存储技术,持续优化集群架构,发现并解决故障及性能瓶颈;
职位要求:
1、熟悉大数据平台原理,精通大数据平台搭建和优化,包括使用Hadoop生态系统组件,如:Spark、impala、Flume、Kafka、HBase、Hive、ZooKeeper等,以及Clickhouse搭建大数据平台;
2、熟练掌握大数据建模方法和技术。
3、熟悉Java编程,常用设计模式,熟悉spark、flink大数据编程技术和原理;
4、熟悉常用etl工具kettle、Sqoop等;
5、熟练使用Shell、Python等脚本语言之一;
6、有丰富的数据库设计、开发经验,熟悉关系型数据库、NoSql等;
职能类别:大数据开发工程师
Copyright @ 2018-2023 All Rights Reserved 版权所有 江苏华英汇人力资源开发股份有限公司 苏ICP备17056320号-4
地址: EMAIL:29059245@qq.com