爬蟲開發(fā)工程師

15-25K/月

所屬部門：技術(shù)研發(fā)部

學(xué)歷要求：大專及以上
工作經(jīng)驗： 3年以上
更新時間： 2026-04-08

招聘人數(shù)：若干
招聘對象：社會人才
工作地區(qū)：廣東-深圳市-南山區(qū)

陳小姐 HR

崗位要求：
1.對爬蟲、圖形驗證碼識別等技術(shù)有較深入研究
2. 計算機或相關(guān)專業(yè)專科以上學(xué)歷，3年以上爬蟲工作經(jīng)驗
3. 掌握網(wǎng)絡(luò)爬蟲開發(fā)原理，對互聯(lián)網(wǎng)各種類型數(shù)據(jù)交互模式數(shù)據(jù)，知道如何處理需登錄網(wǎng)站、動態(tài)頁面、封賬號IP等各種情況下的數(shù)據(jù)采集方法
4. 熟悉大規(guī)模網(wǎng)頁爬取，深度網(wǎng)頁爬取，熟悉Nutch、Scrapy、Lucene、Heritrix、Solr、Sphinx等工具
3. 熟悉J2EE技術(shù)平臺和主要框架，精通Java開發(fā)，能熟練應(yīng)用spring，MyBatis, MQ等主流技術(shù)框架；
4. 對數(shù)據(jù)庫有充分了解，熟悉Oracle、MySQL、NonSQL等技術(shù)
5. 熟悉分布式系統(tǒng)開發(fā)和存儲技術(shù)，如Redis、Memcache、Ehcache等
6. 學(xué)習(xí)能力強，對新技術(shù)研究狂熱，有很強獨立研究能力
崗位職責(zé)：
1.參與爬蟲系統(tǒng)的設(shè)計和開發(fā)，負責(zé)爬蟲系統(tǒng)的框架設(shè)計
2.負責(zé)網(wǎng)頁信息抽取、數(shù)據(jù)清洗等研發(fā)和優(yōu)化工作
3.對互聯(lián)網(wǎng)海量業(yè)務(wù)進行整合、分析挖掘
4.與技術(shù)團隊進行溝通，負責(zé)爬蟲數(shù)據(jù)與業(yè)務(wù)系統(tǒng)的整合對接
5.能主導(dǎo)部門新技術(shù)研究、開發(fā)

職位類別：其他

舉報