【常見問題】網絡爬蟲 SELENIUM

by | 五月 31, 2018 | 文章:Python

我們在舉辦【Python 大數據培訓課程】時,發現很多學員對 Selenium 有以下問題,在此解釋一下:

網絡爬蟲是什麼?

我們每天花很多時間在網絡,例如投資股票的朋友每天不時上網留意股價,廣告界的朋友經常在社交媒體、論壇等地方收集最新資訊,房地產的朋友則經常留意各區物業買賣價等。不論目的為何,大家做的其實都是不斷重複三個步驟 ─「打開網頁」、「前往目標版面」、「記錄資料」。其實只要你懂寫簡單的電腦程式,便可把這些重複動作交給電腦自動去做,電腦可以 24×7 無間斷地,每隔一個指定的時間 (例如每隔 5 分鐘),自動地去做記錄資料的工作。你更可以指示電腦自動分析這些資料,並自動執行某個行動 (例如股價波動到某個位時自動進行交易)。

Selenium 原理是什麼?

Selenium 是利用自動化控制你的瀏覽器,前往網站,模擬人手點擊鍵盤滑鼠下載資料的,就像網絡版的按鍵精靈。這個方法雖然簡單原始,但卻是最通用而有效的方案,99% 以上的網站都可以下載到。

原因是,瀏覽器是必定可以運行所有 Javascript、frame 的 (不然你平日怎樣上網?)。其次,無論網站採取那種技術去阻擋爬蟲程式,它的設計是一定要讓正常用戶通過 (不然這個網站就無人去到了…)。而正常用戶是通過瀏覽器觀看網站的,而且他們是用鍵盤和滑鼠操作網站的。

Selenium 正是基於瀏覽器,並且會模擬鍵盤和滑鼠操作網站,只要目標頁面你平日能夠用瀏覽器入到,那 Selenium 都會入到的,因此幾乎所有網站都可以用 Selenium 爬的。

網絡爬蟲是否犯法?

Python Selenium 並不是 black magic,它無法神奇地取得對方的機密資料。它的原理只是自動化控制你的瀏覽器,前往網站,模擬人手點擊鍵盤滑鼠,copy-and-paste 取得資料。因此所取得的網站內容其實都是對方已經公開在網站上的,用人手都能拿到,所以並不犯法的。要注意的是如果你把程式速度設定過快,網站可能會認為你在惡意攻擊而把你封鎖 IP。因此我們會教你在程式加入適量延時,減慢程式速度以避免這點。

我曾試過用某個工具把網站的 HTML 下載,但裡面無我要的資料!?

這是因為該網站內容是動態地以 Javascript 呈現出來、又或是用 frame 包住的,因此雖然你在瀏覽器上看到,但你下載回來的HTML檔卻不會含有資料,這是網站阻擋爬蟲程式的常見做法。你一般會在這些網站源碼中看到 frame、iframe、document.write、ajax、XMLHttpRequest 等語句。要解決這個問題,你的爬蟲程式不能是單純的 HTML 下載器,而是要能夠運行 Javascript 和 frame 的程式,Selenium 正是解決這個問題的好方法。

SeleniumBeautiful soup、Scrapy 有什麼不同?

除了 Selenium 外,常見的爬蟲庫還有 Beautiful soup、Scrapy。但它們無法運行 Javascript 和frame,只能把網站的HTML源碼下載 (嚴格來說 Beautiful soup 只是 HTML 解析器,下載還需搭配urllib、requests 等工具庫)。因此很多動態生成資料的網站它們都無法下載。你可能會問,那為什麼這些庫還會存在?那是因為它們的設計目的不是讓你下載網站資料,而只是要快速取得網站內每個頁面所有的超連結 (a),分析網站頁面之間的關係 (好像 Google, Yahoo 等搜尋引擎)。這些庫不運行Javascript,大大提升了它們的速度,它們1秒內下載數十個頁面都不是難事 (但實際應用時還是要限速以避免封 IP)。

而 Selenium 的設計初衷則是讓網站開發人員為網站自動化除錯用的 (相信你曾經遇到過某些網站上的按鈕被廣告蓋住,無法點擊吧。那就是因為開發人員偷懶,無進行測試的結果!),小型網站只有數十個頁面,開發人員手動到訪每個頁面測試就可以了。但有數千個頁面的大型網站就必須要用 Selenium 自動測試所有頁面了。由於 Selenium 站在使用者角度測試網站,因此它必須模仿使用者瀏覽頁面時的行為,例如鍵盤輸入文字、滑鼠點擊、上下滑動頁面等。這個設計優點是能夠取得所有真實呈現在畫面的資料,絕大多數網站都能用,但缺點是速度較慢,1秒可能只能下載1頁。

Beautiful soup、Scrap Selenium
原理 下載目標網站 HTML 源碼 自動控制瀏覽器前往目標網站
泛用度 低,很多使用 Javascript、Frame 技術動態生成內容的網站都無法下載。 非常高,只要您的瀏覽器能夠前往,Selenium 也能夠下載。文字輸入、滑鼠點擊、上下滑動頁面等動作也能模擬。
速度 理論上1秒可下載數十頁,但實際使用要手動加延時至約1-5秒1頁以避免被封 IP。 視乎瀏覽器打開網站速度,一般1-5秒1頁。

Selenium 有無法下載的網站嗎?

只要是瀏覽器入到的網站,Selenium 都能入到,但網站的設計者還是可以透過一些技巧令你入到、看到,但下載不到資料。

首先是文字被嵌入在圖片中,這個情況下 Selenium 只能下載到圖片,但要讀取圖片中的文字(如下圖兩張圖片)則要用圖像文字識別 OCR (Optical Character Recognition) 技術才能讀到,大大增加讀取難度。

文字是圖片的一部分
以上文字和走勢線是圖片畫出來的,程式需要加上 OCR (Optical Character Recognition) 才「可能」讀到。

然後是隨機出現的問答問題。除非你事先已為所有可能會出現的問題設定答案,否則Selenium基本上不可能自動答到的

圖:隨機問答例子

除了以上兩種情況外,還有一些很奇特的方法令你看到但很難下載到資料的,但它們實行的成本都很高,也會影響到正常用戶訪問頁面的體驗,可謂殺敵八百自損三千,因此資料性的網站一般都不會特地用這些方法保護 (總不成要使用者每看一篇新聞都要答一次問題吧!) 因此只有一些非常大型、非資料性的網站才會使用。另外,即使網站用了問答或圖片驗証碼,只要出現頻率不高,Selenium 還是能夠下載到的,請見下文。

Selenium 對於有隨機問答、圖片驗証碼,或要登入的網站能否下載?

只要出現頻率不高,是可以的。雖然上面提及到 Selenium 很難自動完成問答,或讀到驗証碼內的文字,但你是可以做到先讓程式暫停在頁面,你手動輸入答案或驗証碼,再讓程式繼續運行的。因此大部份需要驗証碼登入的網站,你只需一開始手動輸入一次驗証碼,然後 Selenium 也是可以下載的。

Python、R、Selenium 有什麼不同?

Python、R 是程式語言,而 Selenium 則是工具庫,Python 和 R 都可以用 Selenium 這套工具庫的。那應該學 Python 還是 R?這取決於你的目的。R 是為數據分析、統計學而設計的,用途偏向在已有數據上做分析,例如計算平均值、均方差、統計模型等。Python 則是程式快速原型和工程系統整合而設計的,使用範圍比較廣闊,例如圖像處理、訊號分析、電腦視覺、機械人等。Python 初學者較易掌握,行業用途也較廣。如果你未有特定的行業應用,建議你學 Python。如果你專注數據分析行業,那就應該學習 R,當然 2 種都學就最好吧!

我想學習編寫網頁爬蟲

如果你想學習網頁爬蟲,可報讀我們最新的「Python 大數據培訓課程」,6 堂必定學會,堂上導師會和你手把手完成一個實際的爬蟲程式,按此了解課程資料。

立即訂閱我們,獲取投資、網絡行銷、編程技術等實用資訊!

訂閱電郵訊息?

我們會定期將最新活動資訊經電郵推送給大家,立即填寫以下表格訂閱!

追蹤我們的社交媒體

我們在 facebook 及 youtube 會定時發佈最新的活動資訊,歡迎大家訂閱!

課程推介

No Results Found

The page you requested could not be found. Try refining your search, or use the navigation above to locate the post.