数据工程支持

加入我们担任Barclays的数据工程支持职位，您将负责构建和维护数据架构管道，使数据的传输和处理变得持久、完整和一致。您将设计和实施数据仓库和数据湖，管理适当的数据量和速度，并遵守必要的安全措施。您将开发适合预期数据复杂性和体积的处理和分析算法。您将与数据科学家合作，构建和部署机器学习模型。

您需要具备以下经验：专家级别的AWS云服务熟练度，包括S3、Glue、Athena、Lake Formation和CloudFormation，有设计和操作云原生数据平台的经验。高级Python编程技能，应用于数据工程、管道开发和自动化。扎实的ETL/ELT框架、数据转换模式和数据质量工具（例如Great Expectations、dbt或类似工具）的经验。对Snowflake进行数据仓库的熟悉，包括查询优化和在更广泛的数据生态系统中的整合。经验使用Apache Iceberg或类似的开源表格格式来管理大规模、版本化的分析数据集。其他高度有价值的技能可能包括：使用Apache Airflow或类似的作业编排工具来调度和监控复杂的数据管道。熟悉IAM、权限管理和AWS中的数据访问治理（例如Lake Formation策略、基于资源的策略、基于角色的访问）。了解数据编目和元数据管理实践，以支持企业数据集的发现和治理。使用Databricks或Starburst进行分布式数据处理和联邦查询引擎的经验。能够与技术、数据和业务职能的多样化内部团队合作，以推动采用和对齐。

此职位位于班加罗尔。

此职位位于班加罗尔。