企業網站設計限定爬蟲
日期 : 2020-10-21 18:39:41
限定爬蟲。藏文網頁搜索使用的爬蟲, 是一種限定爬蟲, 在爬蟲的功能定位上只抓取藏文的網頁, 本質是對網頁文本所用語言的限定。藏文網頁的限定爬蟲, 表面上是限定語言, 具體操作層面需要通過限定IP、限定URL、限定charset來實現。
限定爬蟲就是對爬蟲所爬取的主機的范圍做一些限制, 通常, 限定爬蟲包含以下幾個方面: (1) 限定域名的爬蟲。比如, 只抓取edu.cn結尾的域名; (2) 限定爬取層數的爬蟲。比如, 限定只抓取2層的數據; (3) 限定IP的抓取。比如, 只抓取西藏自治區內的IP; (4) 限定語言的抓取。比如, 只抓取中文漢字頁面。
抓取藏文網頁一方面要設計限定爬蟲, 另一方面建立動態更新的藏文網站域名庫、藏文網站主機IP庫, 配合限定爬蟲工作。目前已有部分藏文網站在頁面中加入了標記, 如中國藏學網采用的是<html xml:lang="za-cn"lang="za-cn">, 西藏IT網采用的是<html class="ie ie7"lang="bo-CN">, 瓊邁藏族文學網采用的是<html lang="bo">。可以根據網頁代碼中的標記來識別判斷藏文網站。藏文網站域名庫和藏文網站主機IP庫, 需要人工操作, 人為添加一些地址, 這方面參照現在互聯網廣泛使用的“純真IP數據庫”實現。
限定爬蟲就是對爬蟲所爬取的主機的范圍做一些限制, 通常, 限定爬蟲包含以下幾個方面: (1) 限定域名的爬蟲。比如, 只抓取edu.cn結尾的域名; (2) 限定爬取層數的爬蟲。比如, 限定只抓取2層的數據; (3) 限定IP的抓取。比如, 只抓取西藏自治區內的IP; (4) 限定語言的抓取。比如, 只抓取中文漢字頁面。
抓取藏文網頁一方面要設計限定爬蟲, 另一方面建立動態更新的藏文網站域名庫、藏文網站主機IP庫, 配合限定爬蟲工作。目前已有部分藏文網站在頁面中加入了標記, 如中國藏學網采用的是<html xml:lang="za-cn"lang="za-cn">, 西藏IT網采用的是<html class="ie ie7"lang="bo-CN">, 瓊邁藏族文學網采用的是<html lang="bo">。可以根據網頁代碼中的標記來識別判斷藏文網站。藏文網站域名庫和藏文網站主機IP庫, 需要人工操作, 人為添加一些地址, 這方面參照現在互聯網廣泛使用的“純真IP數據庫”實現。
上一篇：企業網站設計網頁設計中的民俗文化
下一篇：企業網站設計網站的多列
相關文章
精彩導讀
熱門資訊
