網(wǎng)站seo優(yōu)化網(wǎng)頁爬取策略
日期 : 2020-11-08 10:20:52
常用的網(wǎng)頁爬取策略主要包括深度優(yōu)先搜索策略(Depth-First-Search)、廣度優(yōu)先搜索策略(Breadth-First-Search)、最佳優(yōu)先搜索策略(Best-First-Search),更多的爬取策略都是在這3種策略基礎(chǔ)上改進(jìn)而來的。

主題爬蟲主要采用的是最佳優(yōu)先搜索策略,以獲得與主題相關(guān)性最優(yōu)的URL進(jìn)行爬取。

通用爬蟲的爬取策略以深度優(yōu)先搜索策略和廣度優(yōu)先搜索策略為主,主要應(yīng)用在搜索引擎和指定站點(diǎn)信息搜索領(lǐng)域。

主題爬蟲主要采用的是最佳優(yōu)先搜索策略,以獲得與主題相關(guān)性最優(yōu)的URL進(jìn)行爬取。

通用爬蟲的爬取策略以深度優(yōu)先搜索策略和廣度優(yōu)先搜索策略為主,主要應(yīng)用在搜索引擎和指定站點(diǎn)信息搜索領(lǐng)域。