岗位职责:
1.负责爬虫平台的框架开发
2.网页信息的抽取,清洗和入库等
3.研究主流网站的反扒机制,探索爬取解决方案
任职要求:
1.精通Python/Java语言,两年以上爬虫类项目开发经验
2.熟悉行为验证码识别、模拟登陆、数据清洗、去重、入库等
3.熟悉常用爬虫框架中的一种或多种,如Scrapy框架,WebMagic框架等,有验证码类爬虫项目开发经验者优先。
4.熟悉多线程开发,熟悉使用至少一种关系型数据库(MYSQL)等
5.良好的沟通能力和团队协作精神

2018年01月16日

爬虫工程师

添加时间:

本网站由阿里云提供云计算及安全服务