客服電話:4001-543-345

優化公司淺述搜索引擎機器人的工作原理

作者:優化168    來源:未知    時間:2015-06-16 10:13
摘要:搜索引擎機器人也稱網絡蜘蛛(WebSpider),這是一個很形象的名字。把互聯網比喻成一個蜘蛛網,那么Spider就是在網上爬來爬去的蜘蛛。網絡蜘蛛通過網頁的鏈接地址來尋找網頁,從網站
    搜索引擎機器人也稱網絡蜘蛛(Web Spider),這是一個很形象的名字。把互聯網比喻成一個蜘蛛網,那么Spider 就是在網上爬來爬去的蜘蛛。網絡蜘蛛通過網頁的鏈接地址來尋找網頁,從網站某一個頁面(通常是首頁)開始,讀取網頁的內容,找到在網頁中的其它鏈接地址,然后通過這些鏈接地址尋找下一個網頁,這樣一直循環下去,直到把這個網站所有的網頁都抓取完為止。如果把整個互聯網當成一個網站,那么網絡蜘蛛就可以用這個原理把互聯網上所有的網頁都抓取下來。
 
    天津網站優化公司諾亞了解到,搜索引擎機器人在抓取網頁的時候,網絡蜘蛛一般有兩種策略:廣度優先和深度優先。廣度優先是指網絡蜘蛛會先抓取起始網頁中鏈接的所有網頁,然后再選擇其中的一個鏈接網頁,繼續抓取在此網頁中鏈接的所有網頁。這是常用的方式,因為這個方法可以讓網絡蜘蛛并行處理,提高其抓取速度。深度優先是指網絡蜘蛛會從起始頁開始,一個鏈接一個鏈接跟蹤下去,處理完這條線路之后再轉入下一個起始頁,繼續跟蹤鏈接。這個方法有個優點是網絡蜘蛛在設計的時候比較容易。
 
    據天津網站優化公司諾亞獲悉,網絡蜘蛛在訪問網站網頁的時候,經?;嵊齙郊用蓯鶯屯橙ㄏ薜奈侍?,有些網頁是需要會員權限才能訪問。當然,網站的所有者可以通過協議讓網絡蜘蛛不去抓取,但對于一些出售報告的網站,他們希望搜索引擎能搜索到他們的報告,但又不能完全免費的讓搜索者查看,這樣就需要給網絡蜘蛛提供相應的用戶名和密碼。網絡蜘蛛可以通過所給的權限對這些網頁進行網頁抓取,從而提供搜索。而當搜索者點擊查看該網頁的時候,同樣需要搜索者提供相應的權限驗證。
{ganrao} 李嘉诚的理财法则 河北十一选五一定牛 比较靠谱的理财平台 奥运会女足即时比分 广西11选5最新开奖 足彩半全场 微乐甘肃麻将 5分3D-官网 新疆时时彩 手机麻将作弊器的用法 3d杀码定胆 工商管理就业具体职位 世界杯彩票比分倍率 篮球比分直播新浪网 罗曼诺夫财富 理财小知识月入5000元