数据工程师

作为数据工程师，您将负责设计、开发和维护数据管道和ETL流程，以高效地从各种来源导入、转换和加载数据到数据仓库和数据湖中。您将与数据科学家、分析师和业务利益相关者合作，以理解数据需求并设计数据模型，以促进高效的数据检索和分析。您将优化数据管道性能，确保可扩展性、可靠性和数据完整性。您将实施数据治理和安全措施，以确保符合数据隐私法规并保护敏感信息。您将识别并实施适当的工具和技术，以提高数据工程能力并自动化流程。您将进行彻底的数据管道测试和验证，以确保数据的准确性和质量。您将监控和排查数据管道，以识别并解决故障，确保最小的停机时间。您将开发和维护文档，包括数据流图、技术规范和用户指南。您将与软件工程师和基础设施团队合作，以优化数据基础设施，包括存储、处理和检索系统。您将了解数据工程领域的新兴趋势和技术，并推荐创新解决方案以提高效率和性能。

1. 计算机科学、工程或相关领域学士学位。硕士学位是加分项。
2. 有数据工程师或类似职位的证明经验，对数据工程概念、实践和工具有深刻理解。
3. 熟练掌握Python、Java或Scala等编程语言，以及数据处理和转换框架/库（例如Apache Spark、Pandas、SQL）。
4. 对关系数据库、数据建模和SQL查询有扎实的理解。
5. 有分布式计算框架（如Apache Hadoop、Apache Kafka或Apache Flink）的经验。
6. 熟悉云平台（例如AWS、Azure、GCP）和云数据工程服务（例如Amazon Redshift、Google BigQuery、Azure Data Factory）。
7. 熟悉数据仓库概念和技术（例如维度建模、列式数据库）。
8. 优秀的解决问题能力，能够分析复杂的数据相关问题。
9. 出色的沟通和协作能力，能够有效在跨职能团队中工作。
10. 注重细节并致力于在规定时间内交付高质量的工作。

ConveGenius.AI 是一家专注于数据工程解决方案的高科技公司，致力于利用数据驱动决策和业务增长。