职位描述

我们正在寻找一位经验丰富的高级数据工程师加入我们的工程团队。该角色需要一位动手的专业人士，负责设计、构建和维护强大的数据管道，以支持我们的产品、分析和机器学习项目。你将与跨职能团队紧密合作，确保数据质量、可靠性和平台上的可访问性。

职责包括

设计和实施可扩展的数据管道，用于数据摄入、验证、清理和标准化
构建和维护ETL/ELT过程，以支持批量和实时数据处理
开发数据质量框架和监控系统，确保数据完整性
优化管道性能并排查数据流问题
在AWS和GCP平台上部署和管理数据基础设施
使用Terraform实施基础设施即代码（IaC）以实现可重复部署
设计和维护数据湖、数据仓库和流架构
确保云资源的安全性、合规性和成本优化
使用Kafka、Kinesis或Pub/Sub等技术实施事件驱动架构

任职要求

技术技能：5年以上数据工程或相关领域经验；有数据管道开发和维护的实际经验；精通Python、SQL以及至少一种其他编程语言（Java、Scala、Go）；有AWS服务（S3、Redshift、EMR、Kinesis、Lambda、Glue）的大量经验；有GCP服务（BigQuery、Dataflow、Pub/Sub、Cloud Storage）的扎实经验；有使用Terraform实施基础设施即代码（IaC）的证明经验；有流技术（Apache Kafka、Amazon Kinesis、Google Pub/Sub）的坚实背景；数据技术：熟悉数据处理框架（Apache Spark、Apache Beam、Airflow）；熟悉数据仓库解决方案（Redshift、BigQuery、Snowflake）；了解NoSQL数据库（MongoDB、Cassandra、DynamoDB）；熟悉容器化（Docker、Kubernetes）；有监控和可观测性工具（CloudWatch、Stackdriver、Datadog）的经验