数据工程师

数据工程师将利用其对性能优化和数据管道的深刻理解，使原始数据对企业更具价值。该角色需要深入理解数据处理工具、框架和语言，以构建管道将数据集分发给下游用户。职责包括开发、维护和测试数据管道以转换来自各种结构化和非结构化数据源的数据。开发复杂查询以确保可访问性，同时优化SQL和NoSQL在大数据基础设施中的性能。创建和维护最优的数据管道架构以支持从多种来源提取、转换和加载（ETL）数据。从多个来源提取数据，包括关系型SQL和NoSQL数据库及平台API，用于数据摄入和整合。使用MongoDB、Cassandra、Spark、Hadoop、Kafka和Hive等工具配置和管理数据分析框架。应用分布式系统概念和原则，包括一致性、可用性、持久性、可靠性和容错性。协调与利益相关者和设计团队合作，协助解决数据相关的技术问题和支持基础设施需求。

学士学位，主修STEM领域，优先考虑计算机科学和软件工程。有可验证的工作经验，涉及数据结构、数据库管理、分布式计算和基于API的架构。具有敏捷开发和Git操作经验。有创建、维护和沟通复杂技术文档的经验。