4、接下來是 O2O 和搜索引擎

你還記得上車之前，我問了你一個問題嗎？你在大眾點評上看到的信息，真是吃貨們點評的嗎？答：大部分時候是，但有時候不是。這里面的影響因素還是爬蟲。御風告訴我，這些爬蟲很可能被用來做兩件事：1、大眾點評畢竟是最好的點評網站。很多網站都會爬取大眾點評的數據，用來豐富自己的信息。2、很多剛上點評的商戶，信譽值不高，可以用爬蟲來模擬留言、點贊，刷高自己的信譽值。所以，理論上講一旦大眾點評對這些爬蟲對抗出現松懈，就會有一些不三不四的店鋪被“刷”到頂部。而與之相似的，是爬蟲針對搜索引擎的進攻。你可能了解，搜索引擎決定哪個網頁排名靠前，（除了廣告以外）主要一個指標就是看哪個搜索結果被人點擊的次數更多。

既然這樣，那么我就派出爬蟲，搜索某個特定的“關鍵詞”，然后在結果里拼命地點擊某個鏈接，那么這個網站在搜索引擎的權重里自然就會上升。這個過程就叫做 SEO（搜索引擎優化）。

舉個例子：

我隨意搜索一個關鍵詞。

它排在前面的網址，有可能就是經過 SEO 的。作為任何一個搜索引擎，都肯定不允許外人對于自己的搜索結果動手動腳，否則就會喪失公立性。它們會通過不定期調整算法來對抗 SEO。尤其是很多賭博、黃色網站，搜索引擎如果敢收廣告費讓他們排到前面，那就離倒閉不遠了。所以黃賭毒網站只能利用黑色 SEO，強行把自己刷到前面。直到被搜索引擎發現，趕緊對它們“降權”處理。不過御風算了算，這些黃色網站如果能把自己刷到前幾位一兩個小時，賺來的錢就遠遠超過 SEO 的費用。這也就解釋了為什么有時我們“眾里尋他千百度”，驀然回首，卻看到“有人正在脫褲褲”了。5、最后再說說政府部門你看這張圖，全是爬蟲針對政府信息的爬取。

第二名，北京市預約掛號統一平臺。這個鍋，板上釘釘要號販子來背。其他的，例如法院公告、信用中國、信用安徽，為什么爬蟲要爬這些信息呢？因為有些信息，是只有政府部門才掌握的。比如，誰被告過，哪家公司曾經被行政處罰，哪個人曾經進入了失信名單。這些信息綜合起來，可以用來做一個公司或者個人的信譽記錄。我試著打開了一下排名第四位的“信用中國”。

在這個平臺上，你只要輸入一個身份證號或者手機號，就可以查詢到一個人的信用情況。拉到最底下一看，這個網站果然是是根紅苗正的。

如果一家公司要對外做信譽庫的服務，它必須先把信用中國的信息下載到自己的庫里，然后才能和其他數據進行綜合運算。如此，信用中國被爬，也就很容易解釋了。不過剛才那張表格里，排名第七的是四川住建廳。這又是什么騷操作？根據御風的推測，這很可能是某些公司提供的一項“特殊服務”：他們把四川省各個地區的招標情況匯總起來，然后實時提醒那些房地產公司：別睡了，起來投標了。二、爬蟲戰爭說了這么多，我猜你會有幾個疑問。問題 1、爬蟲搞出這么多姿勢，它究竟是不是違法呢？這個問題還真的不簡單。我打開中國網安第一大法《網絡安全法》仔細看了半小時，在里面沒有發現“爬取網絡公開信息被認定為違法”的條款。于是我又繼續搜索，發現了幾條司法解釋：未經授權爬取用戶手機通訊錄超過50條記錄；未經授權抓取用戶淘寶交易記錄超過500條；未經授權讀取用戶運營商網站通話記錄超過500條；未經授權讀取用戶公積金社保記錄的超過50000條的。以上這些情況可以入刑。

但是仔細看看，如果我只是用機器代替了人的手點擊鼠標敲擊鍵盤，接觸的都是公開信息，并不觸犯這些司法解釋。（這只是我簡單查詢后的結果，不代表任何官方意見）但是，對企業來說，爬蟲卻著實傷害了自己。有句話說：“主救自救者。”他們得組織“民兵”自己保衛自己。問題 2、爬蟲戰爭誰會贏？爬蟲和被爬企業越來越勢不兩立。說白了，他們的對抗都是在阻擋對方的財路。所以下手都挺重。企業經典的對抗方式，大概有幾種：圖片驗證碼、滑塊驗證、封禁 IP、給訪問者增加一些加解密運算，耗費爬蟲的程序資源等等。。。

除了剛才這些小模塊，企業還可以通過 WAF（Web 應用防火墻）來防護，WAF 的功能就是通過設置一些規則，攔截掉那些不符合規則的請求。但是，爬蟲的請求，和真人的請求真的太像了。我覺得，對這種戰爭一個形象的比喻就是抗癌。癌細胞的目的就是拼命躲過免疫細胞的識別，而免疫細胞的目標就是拼命分辨哪個是好細胞哪個是癌細胞。在我看來，這場對抗爬蟲的常規戰眼看就要升級為“智能戰”，而且戰線會向云端轉移。比如騰訊云的 WAF，聽說最近就要通過人工智能的方法來識別爬蟲。這里就不幫他們打廣告了。還有很多其他的云安全廠商，也開始主推反爬蟲的技術。不過，就像人類目前難以消滅癌癥一樣，企業也難以完全消滅爬蟲。但是我相信，在對抗中這條戰線會達到一個精妙的平衡。這個戰線每向前推進一步，都需要安全研究員付出艱辛的努力。三、《中國焦慮圖鑒》最后，中哥幫你搞到了一張秘密表格。這是被監測到的受爬蟲侵擾最多的 Top50。（采樣數據，僅供參考）

這張表里，除了google、Youtube、ask、亞洲航空這四家企業之外，應該全是中國企業（或機關）。正是從這些名字背后，我體會到了很多人的辛酸和焦慮。爬蟲是趨利的，它們永遠會向有利益的地方爬行。而爬蟲覺得有利益的地方，往往是我們不忍提及的隱痛。你看，排名第1的“中國鐵路路客戶服務中心”無數像幺哥一樣的游子，他們奮斗在一個遠離家鄉的城市，為了讓家人有更幸福的生活。正是他們難以買到過年回家車票的事實，才把 12306 推上了爬蟲榜的第一名。你看，排名第8的“最高人民法院公告查詢”在中國，我們的信用體系還很不完善，騙子和老賴還可以繼續蒙騙新人。所以才催生了爬蟲收集法院公告，形成民間信用記錄的服務。你看，排名第15的“北京市預約掛號統一平臺”我們的醫療改革在進行，但像你我一樣的普通人仍然看病難，看病貴。又便宜又好的醫療資源需要爭奪，這才有了“一號難求”的現實，才有了黃牛用爬蟲拼命搶號的現象。自不用說那些神坑的虛假廣告，沖榜刷量，背后都有爬蟲的影子。有人說技術有罪，有人說技術無罪。

我不知道技術是否有罪，我只知道，這些盤踞在我們廣袤版圖上數以十億計的爬蟲，無時無刻不在提醒著我們：

抱怨不會讓這個世界變得更好，你想生活在一個怎樣的世界，就要用自己的雙手去創造它。

對了，這份《中國爬蟲圖鑒》我也從云鼎實驗室的朋友那里要到啦，如果你想閱讀的話，可以上網找來看，也可以加微信跟我要~

另外云鼎實驗室的技術可以探測到全網的惡意威脅，還是挺酷的。他們還有其他的報告放出~

來源：巨靈鳥 歡迎分享本文