任职要求
学历要求: 计算机科学、软件工程、数据科学或相关专业本科及以上学历。 核心技能: 精通 Python 编程语言,具备扎实的编程功底和良好的代码风格。 精通主流爬虫框架(Scrapy 等),有独立设计和开发复杂爬虫系统的真实项目经验,熟悉常见反爬策略及应对方案。 熟练掌握任务队列与调度技术,具备使用 Celery、Airflow、Kafka Streams 或类似工具构建分布式任务系统的经验。 熟悉多种数据库技术,能根据业务场景选择合适的数据库方案,并进行性能优化。 具备数据分析能力,熟练使用 Pandas, NumPy 等 Python 数据分析库,能进行数据清洗、统计分析和可视化(可加分:熟悉 SQL 分析、BI 工具)。 经验要求: 拥有 3年及以上 后端开发或大数据相关工作经验,有大规模数据采集、处理和分析项目经验者优先。 技术广度: 熟悉 Linux 操作系统及常用命令。 熟悉 Git 版本控制和团队协作开发流程。 了解基本的网络协议(HTTP/HTTPS)和 Web 技术。 了解 Docker 容器化技术者优先。 软技能: 吃苦耐劳,责任心强:能适应高强度工作,对数据敏感,有耐心处理复杂的数据问题。 具备强烈的学习意愿和快速学习新技术的能力。 具备良好的沟通能力和团队合作精神。 具备较强的问题分析和解决能力。 加分项: 有大规模分布式爬虫集群部署和运维经验。 熟悉大数据生态组件(Hadoop, Spark, Flink, Hive 等)。