Mashreq 招聘 Head Data Engineer (Mashreq Global Network Pakistan) 在巴基斯坦 | LinkedIn

负责设计和维护实时和批量数据管道，创建数据策略、数据架构、最佳实践，并领导组织在数据工程解决方案上进行战略改进。该角色需要具备核心系统、零售银行业务系统、数字旅程、营销系统、风险和合规系统等数据密集型系统的知识。工作涉及在本地和云数据湖上开发新需求，估算工作量，设计有效解决方案、数据架构和管理，变更发布管理，资源管理，跨银行业务部门处理交付物。同时处理影响银行管理决策过程、监管报告（可能影响财务/非财务处罚）和运营报告的关键应用。关键职责包括开发和维护可扩展的批量和实时数据管道以支持数据需求的增长，领导数据工程团队并确保交付物的最佳实践和质量，设计和开发跨银行业务的数据域，奠定数据网格架构基础，展示对数据库、数据仓库、数据建模、数据治理、数据安全、BI工具、ETL解决方案的深入知识，推动数据 orchestration 和数据-ops 实践，与分析师、数据科学家和业务团队合作改进数据模型以提高业务智能工具的数据可访问性，实施流程和系统监控数据质量，确保生产数据始终准确且可用，编写单元/集成测试，贡献工程维基，记录工作，自动化部署、调度、监控和管理数据集和管道的经验，理解业务需求并识别关键性能指标（KPIs）在数据工程中的应用，设计数据模型将原始数据转化为有意义的洞察，能够调试数据平台问题并提供 L2、L3 生产支持，推荐改进现有 ETL 和数据集成流程以提高性能和整体可扩展性，评估公司当前的数据基础设施/治理/架构，识别差距，制定计划将现有系统与未来模型整合，识别、分析各种风险并实施风险管理控制、RCSA 和应急计划以缓解未来风险，审查、执行和记录数据平台的审计活动及其纠正措施，确保数据平台安全并符合数据隐私法规和公司政策，实施访问控制、数据遮蔽和加密以保护敏感信息，理解行业趋势和现有、新和新兴技术的实践应用，预测未来数据存储和处理需求并规划可扩展性，识别潜在瓶颈并制定策略以适应增长的数据量，开发和维护灾难恢复计划和业务连续性策略以应对潜在风险并减少停机时间，与业务和技术交付团队沟通并有效阐述 DWH/DL 解决方案/路线图，与变更管理批准委员会协调以获得所有批准并确保及时生产部署，与事件管理团队协调跟踪和报告事件、其解决情况及任何必要的后续行动，与数据平台软件和硬件供应商协调支持、更新和服务级别协议。

拥有坚实的技术背景和在数据密集型系统（>15年经验）中的经验，精通大数据、Hadoop生态系统、Spark Streaming、Kafka、Python、SQL、Hive、NIFI、Airflow，熟悉Azure云服务如Azure Data Factory（ADF）、Databricks、ADLS、Azure Synapse、Logic Apps、Azure Functions，或在Google/AWS云服务中具有类似数据堆栈知识，精通关系型SQL、图数据库和NoSQL数据库，精通Elastic Search和Couchbase数据库，深入掌握开发和维护ETL/ELT数据管道的技能，具备数据建模技术如Kimball星型模式、3NF、Vault建模等经验，熟悉工作流管理工具如Airflow、Oozie和CI/CD工具，具备Kafka或Confluent Kafka的数据流解决方案经验，有Google Big Query、Google Analytics及Clickstream数据模型的实战经验，熟悉Power BI、Tableau、Qlik等报告工具，精通数据管理基础和数据架构、建模、治理，具备银行业/金融领域的深入知识，了解银行业各流程、产品和服务，核心功能、法规和运营方面，熟悉Hadoop和Azure/AWS云生态系统和ETL作业迁移，了解高级分析和AI工具。