工作職責:

1、負責互聯(lián)網(wǎng)站、網(wǎng)頁、鏈接的特征挖掘；

2、提供分布式爬蟲和數(shù)據(jù)采集系統(tǒng)的技術(shù)實現(xiàn)方案；

3、設(shè)計和開發(fā)分布式網(wǎng)絡(luò)爬蟲程序；

4、分析靜態(tài)網(wǎng)頁結(jié)構(gòu)，解析網(wǎng)頁數(shù)據(jù)，并把規(guī)則模塊化，對數(shù)值數(shù)據(jù)、文本數(shù)據(jù)進行過濾，去重，結(jié)構(gòu)化處理；

5、設(shè)計優(yōu)化爬蟲調(diào)度系統(tǒng)，優(yōu)化調(diào)度策略；

6、有財經(jīng)類數(shù)據(jù)爬取經(jīng)驗者優(yōu)先。

任職資格:

1、全日制本科以上，計算機/軟件工程相關(guān)專業(yè)，兩年以上爬蟲經(jīng)驗；

2、扎實的Java/Python基礎(chǔ)，熟悉多線程編程環(huán)境，熟悉常見開源框架；

3、熟悉前端技術(shù)，HTML，JavaScript，Ajax等,協(xié)調(diào)定時任務(wù)調(diào)用爬蟲模塊；

4、熟練使用正則表達式，精通網(wǎng)頁數(shù)據(jù)提??；

5、熟悉抓取原理及技術(shù)，熟悉Scrapy、Pyspider、nutch等主流爬蟲框架使用；

6、具有構(gòu)建分布式爬蟲系統(tǒng)的經(jīng)驗，具有海量高并發(fā)網(wǎng)頁爬取項目經(jīng)驗；

7、熟悉數(shù)據(jù)庫操作、SQL語言與優(yōu)化，了解ETL過程以及操作工具；

8、熟悉大數(shù)據(jù)數(shù)據(jù)庫者優(yōu)先；

9、喜歡技術(shù)鉆研，具有較強的學(xué)習(xí)能力，有獨立解決問題的能力；

10、富有責任心，有擔當。