?譯者 | 李睿

審校 | 孫淑娟 

在過去的十年中，網(wǎng)頁抓取已成為一種常見的做法，它允許企業(yè)獲取和處理互聯(lián)網(wǎng)上產(chǎn)生的大量數(shù)據(jù)。隨著每天海量的數(shù)據(jù)產(chǎn)生，人們開始轉(zhuǎn)向可以在網(wǎng)頁中找到所需信息的自動軟件。  

雖然網(wǎng)頁抓取是一個有用的過程，但在創(chuàng)建網(wǎng)頁抓取工具時使用多少種語言是未知的。而使用的主要編碼語言不同，平臺的功能和能力會有所不同。  

本文將探索網(wǎng)頁抓取領(lǐng)域中使用的主要編碼語言，討論每種語言的優(yōu)勢，并探索是什么使編碼語言對開發(fā)網(wǎng)頁抓取工具更加有效。  

是什么讓編碼語言有利于網(wǎng)頁抓??？  

在開發(fā)和創(chuàng)建網(wǎng)頁抓取工具時，可以使用多種不同的編碼語言，每種語言都會產(chǎn)生不同的最終產(chǎn)品。隨著時間的推移，三種編碼語言已經(jīng)成為網(wǎng)頁抓取領(lǐng)域的領(lǐng)先語言，其中Python、Node.js和Ruby占據(jù)了主導(dǎo)地位。  

這些語言之所以能夠占據(jù)主導(dǎo)地位，主要有四個原因：

• 靈活性——每種語言都提供一定程度的靈活性，允許開發(fā)人員更改他們想要收集的數(shù)據(jù)或調(diào)整搜索以適應(yīng)更具體的目標。
• 易于編碼——Python是世界上最流行的編碼語言之一，是大多數(shù)開發(fā)人員掌握的技能組合。同樣，Ruby和JavaScript在提供出色結(jié)果的同時，也更容易實現(xiàn)。
• 可擴展性——一些編碼語言在生成大型程序時更加令人沮喪。這三種語言容易訪問，通常在很長一段時間內(nèi)開發(fā)起來相對容易和輕松。  
• 可維護——這三種語言都提供可維護的代碼，這些代碼易于修改、構(gòu)建、調(diào)整和隨時間變化。這對于輸入不斷變化的系統(tǒng)（如網(wǎng)頁抓取工具）來說，非常有用。  

由于這些原因，這些編碼語言中的每一種都變得普遍用于構(gòu)建網(wǎng)頁抓取工具。  

使用Python進行網(wǎng)頁抓取  

在網(wǎng)頁抓取方面，Python是迄今為止最常用的語言。作為在一系列平臺、服務(wù)和大多數(shù)開發(fā)人員中使用的通用語言，這始終是一個自然的選擇。  

Python還允許開發(fā)人員同時處理一系列不同的網(wǎng)頁抓取任務(wù)（例如網(wǎng)絡(luò)爬蟲），而無需創(chuàng)建復(fù)雜的代碼。通過添加BeautifulSoup、Scrapy和Requests的Python框架，還可以快速構(gòu)建Web抓取程序。  

借助一系列有助于實際創(chuàng)建過程的工具，Python提供了創(chuàng)建有效工具所需的大部分內(nèi)容。因此，開發(fā)人員可以在很短的時間內(nèi)創(chuàng)建一個全面的Python網(wǎng)頁抓取程序，從而輕松地啟動他們的產(chǎn)品。  

使用JavaScript進行網(wǎng)頁抓取  

JavaScript也稱為Node.js，是另一種流行的網(wǎng)頁抓取語言，它可以快速執(zhí)行這一過程。Node.js基于并發(fā)處理，一次處理多個網(wǎng)站的內(nèi)容，而不是等到一個網(wǎng)站完成后再直接移動到下一個網(wǎng)站。  

在具有足夠CPU資源的系統(tǒng)上，Node.js的這個功能意味著開發(fā)人員可以在很短的時間內(nèi)完成網(wǎng)頁抓取工具的開發(fā)，而這需要用不同語言編寫的相同程序。  

使用Node.js進行網(wǎng)頁抓取的唯一缺點是這一過程會消耗CPU資源，主要用于上述并發(fā)處理。如果在這一過程中沒有激活多核CPU，那么在一切完成之前，將無法在系統(tǒng)上執(zhí)行任何操作。  

使用JavaScript的巨大壓力很可能是它最大的缺點，因為對系統(tǒng)的需求使得同時抓取大量不同的頁面變得非常困難。也就是說，對于短期和直接的工作，這是一種用于網(wǎng)頁抓取工具的出色編碼語言，可以將其投入使用。  

同樣，與Python一樣，JavaScript是一種廣泛使用的語言，這意味著開發(fā)人員可以從中提取完整的第三方存儲庫，從而為其提供更快速的啟動過程。具體來說，對于Node.js，Cheerio常用于創(chuàng)建網(wǎng)頁抓取工具。  

使用Ruby進行網(wǎng)頁抓取  

Ruby是一種非常簡單的編碼語言，可用于創(chuàng)建Web抓取平臺，提供快速部署。如果開發(fā)人員想提高開發(fā)速度，那么Ruby是值得推薦的語言之一。然而，與Node.js和Python相比，這種編碼語言確實有一些相當大的限制，這使得它成為那些尋求速度高于一切的開發(fā)人員的首選風格。  

也就是說，Ruby有一系列可以使用的第三方部署。在提供與JavaScript上的Cheerio和Python上的BeautifulSoup類似的服務(wù)的同時，像Nokogirl這樣的部署可以立即分析網(wǎng)頁，在加載過程中找到正確的信息。

Ruby上的Nokogirl使其在其他語言中脫穎而出的一個方面是它可以輕松有效地管理破碎的HTML片段。通過將其與Loofah或Sanitize結(jié)合使用，開發(fā)人員可以清理損壞的HTML，從有限范圍的搜索中生成更多信息，可以使用其他語言獲得更多信息。  

哪種編碼語言適合開發(fā)網(wǎng)頁抓??？  

開發(fā)人員用來為其創(chuàng)建網(wǎng)頁抓取工具的最佳編碼語言將根據(jù)正在尋找的內(nèi)容而改變。以下是提到的每種語言的最佳用例：  

• Python Web Scraping——非常適合全面搜索、穩(wěn)定的輸出和緩慢但穩(wěn)定的結(jié)果。  
• Node.js——非常適合快速獲取大量信息，這歸功于并發(fā)處理，但需要大量CPU。  
• Ruby——如果開發(fā)人員想在接下來的幾個小時內(nèi)制作并啟動一個網(wǎng)絡(luò)爬蟲，那么可以使用Ruby。它將允許用戶獲得基本質(zhì)量的網(wǎng)頁抓取工具，可以完成工作并在較小的數(shù)據(jù)調(diào)查中表現(xiàn)良好。  

根據(jù)用戶在網(wǎng)頁抓取工具中尋找的內(nèi)容，最適合的編碼語言將會改變。也就是說，最好的語言通常是他們最熟悉的語言，因為這將使其能夠充分利用網(wǎng)頁抓取工具，而不會出現(xiàn)任何錯誤或挫敗感。  

網(wǎng)頁抓取現(xiàn)在是數(shù)據(jù)研究的核心部分，提供了一種從互聯(lián)網(wǎng)獲取信息的簡單且可訪問的方式。當然，對于任何工具，開發(fā)人員都可以使用一系列不同的編碼語言來構(gòu)建網(wǎng)頁抓取工具。原因是人工抓取網(wǎng)頁有其缺點，主要是開發(fā)人員一次只能運行一種網(wǎng)頁抓取工具。

原文標題：??Which Programming Language is Optimal for Developing Web Scrapers?????，作者：Ryan Kh