PHP培訓(xùn)之Beanbun--PHP 編寫的多進程網(wǎng)絡(luò)爬蟲框架,Beanbun 是一個簡單可擴展的爬蟲框架,支持分布式,支持守護進程模式與普通模式,守護進程模式基于Workerman ,下載器基于Guzzle 。
特點:
支持守護進程與普通兩種模式(守護進程模式只支持 Linux 服務(wù)器)
默認使用 guzzle 進行爬取
支持分布式
支持內(nèi)存、Redis 等多種隊列方式
支持自定義URI過濾
支持廣度優(yōu)先和深度優(yōu)先兩種爬取方式
遵循 PSR-4 標準
爬取網(wǎng)頁分為多步,每步均支持自定義動作(如添加代理、修改 user-agent 等)
靈活的擴展機制,可方便的為框架制作插件:自定義隊列、自定義爬取方式...
關(guān)于Beanbun--PHP 編寫的多進程網(wǎng)絡(luò)爬蟲框架就先為大家說這些,PHP作為開發(fā)類的一個語言,現(xiàn)在受到越來越多人的關(guān)注,選擇PHP培訓(xùn),輕輕松松做IT高薪白領(lǐng)。