數(shù)據(jù)挖掘工程師（爬蟲工程師)

【崗位職責】：

1、負責設計和開發(fā)網(wǎng)絡信息收集系統(tǒng)，完成關鍵信息的數(shù)據(jù)抽取、清洗、去重、分析等；

2、負責相關技術的研究和實現(xiàn)工作，比如驗證碼、JS分析等等；

3、負責公司相關系統(tǒng)的核心算法以及策略優(yōu)化，熟悉收集系統(tǒng)的調(diào)度策略；

4、設計收集策略和防屏蔽規(guī)則，提升網(wǎng)頁抓取的效率和質(zhì)量；

5、負責現(xiàn)有部分系統(tǒng)的完善、維護工作，實時監(jiān)控的進度和警報反饋，提升系統(tǒng)穩(wěn)定性、可擴展性；

6、能獨立解決實際開發(fā)過程碰到的各類問題。

【任職要求】：

1、本科及以上學歷，計算機相關專業(yè)；

2、至少3年及以上相關經(jīng)驗；

3、精通golang語言，具有扎實的計算機基礎和編程能力，熟悉常見的算法與數(shù)據(jù)結構，具有優(yōu)秀的邏輯思維能力；

4、熟悉Mysql,redis，有過數(shù)據(jù)庫調(diào)優(yōu)和海量數(shù)據(jù)存儲經(jīng)驗優(yōu)先；

5、熟悉常見的反爬機制，并對反爬具有一定的應對措施策略且有一定研究；

6、熟悉APP逆向、JS逆向、驗證碼破解、圖像識別等技術；

7、熟悉常用網(wǎng)絡協(xié)議、數(shù)據(jù)存儲和數(shù)據(jù)處理技術；

8、熟悉linux系統(tǒng)環(huán)境、命令，shell、python腳本編寫；