) 進(jìn)行了第一次抓取。把IP地址65.55.106.108輸進(jìn)到IP138或其他查詢(xún)IP的系統(tǒng)里面可以看出,該IP地址對(duì) 應(yīng)的是“美國(guó) Microsoft公司”,那么我們可以看成微軟的bing搜索引擎的蜘蛛的第一次到來(lái)。搜索引擎根據(jù)robots.txt的設(shè)定,知道了哪些答應(yīng)抓取,哪些不盼看被抓取,那它就在這個(gè)網(wǎng)站上開(kāi)工了,“日志2”顯示的是bing首先抓取了該網(wǎng)址的主頁(yè)(斜杠/意為主頁(yè))。
/blog/2009/11/21/125879090551788.html
感謝 田東山 的投稿