岗位描述
【岗位职责】
1、参与公司相关产品功能的开发,负责完成相应产品功能/模块的研发任务;
2、负责多平台信息爬取和⻚⾯内容的提取分析,负责破解各类反爬机制;
3、负责⽹⻚的数据抓取和爬取链路优化(包括逆向分析、脱壳、加密参数破解、抓取攻防等),提升抓取能⼒;
4、研究爬⾍策略和防屏蔽规则,解决封账号、封IP、验证码、⻚⾯跳转等难点,提升⽹⻚抓取的效率和质量;
【岗位要求】
1、全⽇制本科及以上学历,计算机相关专业,3-5年python开发经验;
2、 熟练掌握Python开发语⾔,基础扎实,能独⽴完成爬⾍项⽬;
3、熟悉掌握⾄少⼀种开源爬⾍框架(scrapy、appium、selenium等);
4、精通动态⽹⻚抓取、浏览器模拟抓取、APP抓取等技术,熟悉使⽤fiddler或其他抓包⼯具;
5、具有js逆向,app逆向相关经验。熟悉js hook原理,熟悉各种反爬⻛控常⻅⼿段;
6、有⼤规模数据处理、数据挖掘、信息提取等经验者优先;
工作地点:上海市徐汇区桂林路406号华鑫中心1号楼8楼