Coins.ph 在印尼开放数据工程师（PH）职位 | LinkedIn

负责设计、开发和维护高度可扩展、可靠且高效的数据显示处理系统，强调代码质量和性能。与数据分析师、软件开发者和业务相关方紧密合作，深入理解数据需求并构建稳健的解决方案。专注于ETL管道的开发和维护，确保从多种来源无缝提取、转换和加载数据到基于Data-bricks平台的数据仓库。主导实时数据处理系统的开发和维护，利用切线大数据技术如Spark Streaming和Kafka。建立和执行严格的数据质量和验证检查，以确保数据资产的准确性和一致性。作为数据处理问题的联系人，与跨职能团队合作解决复杂问题，确保及时解决。主动监控和优化数据处理系统，以维持最佳性能、可扩展性和可靠性标准，利用先进的AWS运营知识。利用AWS服务如EC2、S3、Glue和Data-bricks来架构、部署和管理云数据处理基础设施。实施强大的安全措施和访问控制，以保护敏感数据资产。持续关注AWS技术的最新进展和最佳实践，将新工具和服务整合到数据处理能力中。

学士或硕士学位，计算机科学或相关领域。至少5年数据工程师经验，证明在设计和实施复杂数据处理系统方面有 proven track record。了解Data-bricks平台和Delta Lake。熟悉数据作业调度器工具如Dagster。精通Scala、Java或Python等一种或多种编程语言。深入掌握大数据技术，包括Apache Spark用于ETL处理和优化。熟练使用BI工具如Metabase进行数据可视化和分析。深入理解数据建模、数据质量和数据治理最佳实践。出色的沟通和协作技能，能够有效与组织内多样化相关方互动。在AWS运营管理方面有广泛经验，包括在AWS云环境中数据处理基础设施的部署、配置和优化。深入了解AWS服务如EC2、S3、Glue和EMR，能够利用这些服务构建可扩展和容错的数据解决方案。精通AWS安全最佳实践，具有实施强大安全措施和访问控制的经验，以保护敏感数据资产。有自动化和DevOps工具如Terraform的实战经验。