热线电话:0551-62628820
关闭
您当前的位置:首页 > 职场资讯 > 职业指导

爬虫架构师岗位职责、要求

来源:工商联人才网 时间:2019-09-24 作者:haha 浏览量:

爬虫架构师职位要求

1.全日制本科及以上,5年以上python/java开发经验,3年以上数据抓取工作经验;

2.精通使用分布式基本知识,设计与开发爬虫系统架构;

3.精通使用爬虫相关技术,如:python, scrapy, selenium, xpath, 正则表达式 但不限于以上技术等,有app研发背景或app爬虫开发经验佳,有逆向经验尤佳;

4.精通高并发、高性能的分布式系统的设计及应用,熟悉常用数据存储,各种数据处理技术优先;

5.能够解决封账号、封IP采集等问题,解决网页抓取、信息抽取等问题,构建完善的网络信息收集平台;

6.熟悉Linux常用命令,独立完成日常部署更新等;

7.具备较强的团队协作精神,工作责任心强,良好的沟通、理解、执行能力。


爬虫架构师岗位职责

1.参与消费大数据的建设,专注于垂直领域数据爬取,进行多平台信息的抓取和分析;

2.对爬虫系统的架构设计与开发;

3.深刻理解爬虫系统架构,能对系统架构提出自己的见解和优化方案;

4.实现数据提取、清洗、结构化、入库、统计分析等需求;

5.建立爬虫监测体系,及时分析及解决爬虫在运行过程中出现的缺陷;

6.研究优化算法,提升爬虫系统的稳定性、可扩展性;

7.设计爬虫策略和防屏蔽规则,提升网页抓取的效率和质量;

8.能独立解决实际开发过程碰到的各类问题。

转自:好猎头网


分享到:
相关推荐
暂无相关推荐
客服服务热线
0551-62628820
工作日 8:30-17:00
关于我们
3+1服务
收费与推广
网站特色
咨询反馈
  • 客服中心
  • 常见问题
  • 职场指南
微信公众号
手机浏览

Copyright © 2009~2020 All Rights Reserved 版权所有 安徽省工商联职业介绍中心 皖ICP备05021802号-1   皖公网安备 34010302000306号

地址:合肥市淮河路260号 EMAIL:Job@gslrc.com

用微信扫一扫