打开IIS。选择所要设置的网站属性。弹出如下窗口： 　　 !

　　“启用日志记录”，勾选，选择“W3C扩展日志文件格式”。 版权申明：本站文章均来自网络,本站所有转载文章言论不代表本站观点

　　再次点击这里的“属性”按钮，常规选项里面，选择新日志计划为“每天”，当然也可以选择其他，选择好保存日志文件的目录。 !

　　 版权申明：本站文章均来自网络,本站所有转载文章言论不代表本站观点

  !

　　按照一般情况，设置到这里就可以记录日志了，但是有些主机无论如何都找不到搜索引擎爬虫的痕迹，类似于Baiduspider+怎么都看不到。这个时候我们就需要启用剩下的三个选项了! 本站所提供的摄影照片，插画，设计作品，如需使用，请与原作者联系。

　　选择高级选项。勾选底下的用户代理(cs(User-Agent))等下面三个选项，这样我们就可以看到百度蜘蛛了! 。

  .　

　　二、如何分析网站IIS日志中的蜘蛛 对真正的成功者来说，不论他的生存条件如何，都不会自我磨灭

　　首先来认识下国内主流搜索引擎的蜘蛛的名称： 。

　　1. Google爬虫名称 版权申明：本站文章均来自网络，如有侵权，请联系028-86262244-215，我们收到后立即删除,谢谢！

　　1) Googlebot：从Google的网站索引和新闻索引中抓取网页 版权申明：本站文章均来自网络,本站所有转载文章言论不代表本站观点

　　2) Googlebot-Mobile针对Google的移动索引抓取网页 对真正的成功者来说，不论他的生存条件如何，都不会自我磨灭

　　3) Googlebot-Image：针对Google的图片索引抓取网页 版权申明：本站文章均来自网络，如有侵权，请联系028-86262244-215，我们收到后立即删除,谢谢！

　　4) Mediapartners-Google：抓取网页确定 AdSense 的内容。只有在你的网站上展示 AdSense 广告的情况下，Google才会使用此漫游器来抓取您的网站。 .

　　5) Adsbot-Google：抓取网页来衡量 AdWords 目标网页的质量。只有在你使用 Google AdWords 为你的网站做广告的情况下，Google才会使用此漫游器。 !

　　2. 百度(Baidu)爬虫名称：Baiduspider .

　　3. 雅虎(Yahoo)爬虫名称：Yahoo Slurp 对真正的成功者来说，不论他的生存条件如何，都不会自我磨灭

　　4. 有道(Yodao)蜘蛛名称：YodaoBot !

　　5. 搜狗(sogou)蜘蛛名称：sogou spider 。

　　因为咱们国内比较关注百度所以我们来分下百度的蜘蛛，从刚刚记录的日志搜索“Baiduspider+“选取一段 .

　　00:00:06 GET /Class/Class.asp ID=38 61.135.168.142 Baiduspider+(+http://www.baidu.com/search/spider.htm) 200 0 214 ..

　　上面这个日志说明是在0点的时候 访问了 Class/Class.asp ID=38页面。蜘蛛IP地址为61.135.168.142。其中的200 表示搜索引擎蜘蛛爬行后返回HTTP的状态代码，代表成功爬行并抓取。

　　下面列出常见数字代码： 根据专家观察，这样的理论和现象都是值得各位站长深思的，所以希望大家多做研究学习，争取总结出更多更好的经验!

　　2xx 成功 ...

　　200 正常;请求已完成。
　　201 正常;紧接 POST 命令。 ..

　　202 正常;已接受用于处理，但处理尚未完成。 .

　　203 正常;部分信息 — 返回的信息只是一部分。 !

　　204 正常;无响应 — 已接收请求，但不存在要回送的信息。 版权申明：本站文章均来自网络,本站所有转载文章言论不代表本站观点

　　3xx 重定向 .

　　301 已移动 — 请求的数据具有新的位置且更改是永久的。 。

　　302 已找到 — 请求的数据临时具有不同 URI。 ..

　　303 请参阅其它 — 可在另一 URI 下找到对请求的响应，且应使用 GET 方法检索此响应。