作为站长都很关心自己的网站被各大收录引擎收录多少,那么百度和谷歌蜘蛛究竟有没有来过呢?如果你是本地服务器,请查看日志文件
《如何查看百度蜘蛛》作为站长都很关心自己的网站被各大收录引擎收录多少,那么百度和谷歌蜘蛛究竟有没有来过呢?
如果你是本地服务器,请查看日志文件,如access.log
如果你是虚拟主机,登录空间管理页面,看控制面板是否有相关日志.如果没有找到,你可以联系你的服务商.
日志格式一般是:
220.181.38.198 - - [11/Nov/2007:04:28:29 +0800] "GET / HTTP/1.1" 200 61083 "-" "Baiduspider+(+http://www.baidu.com/search/spider.htm)"这就说明百度蜘蛛来过你的站了，如果你还想知道有没有其它搜索引擎的蜘蛛来过你的站，你可以在日志文件中搜索“spider”这个词，或者搜索蜘蛛的IP，我的就查到sogou也来过我的站，IIS日志与Apache的日志是一样的，都可以查到。
补充一点,百度蜘蛛并不完全遵守这个规则,有的时候是匿名抓取.
蜘蛛喜欢抓什么?网站建设SEO有哪些技巧?