介绍过搜索引擎蜘蛛，顺便也介绍下HTTP状态码，之前我们说了robots.txt可以限制蜘蛛爬行网站文件，那么怎么知道蜘蛛什么时候爬行过自己的网站？爬行后的结果是什么呢？是抓取了还是？这节HTTP状态码就会告诉你，网站日记文件会把每天搜索引擎蜘蛛爬行记录以编码的形式统计起来，以便我们随时查看。
一般在网站日志中，最常见的HTTP状态码就是200和404。
其他常见的HTTP状态码以及其代表的含义有：
成功2××成功处理了请求的状态码。
200服务器已成功处理了请求并提供了请求的网页。
204服务器成功处理了请求，但没有返回任何内容
重定向3××每次请求中使用重定向不要超过5次。
301请求的网页已永久移动到新位置。当URLs发生变化时，使用301代码。搜索引擎索引中保存新的URL。
302请求的网页临时移动到新位置。搜索引擎索引中保存原来的URL。
304如果网页自请求者上次请求后没有更新，则用304代码告诉搜索引擎机器人，可节省带宽和开销。
客户端错误4××表示请求可能出错，妨碍了服务器的处理。
400服务器不理解请求的语法。
403服务器拒绝请求。
404服务器找不到请求的网页。服务器上不存在的网页经常会返回此代码。
410请求的资源永久删除后，服务器返回此响应。该代码与404（未找到）代码相似，但在资源以前存在而现在不存在的情况下，有时用来替代404代码。如果资源已永久删除，应当使用301指定资源的新位置。
服务器错误5××表示服务器在处理请求时发生内部错误。这些错误可能是服务器本身的错误，而不是请求出错。
500服务器遇到错误，无法完成请求。
503服务器目前无法使用（由于超载或停机维护）。通常，这只是暂时状态。
怎么看网站日志？
通过Ftp，在根目录下可以看到一个包含log的文件夹，这就是网站日志。下载、解压，里面的txt文件内容就是日志记录。但也有一些服务器或虚拟主机没有提供log文件，请与主机商联系，或自己开通服务器的记录日志功能。
网站日志中怎么看搜索引擎蜘蛛？之前我们介绍什么是搜索引擎蜘蛛的时候介绍过各搜索引擎蜘蛛名称。
创新互联建站-企业级云服务器提供商,为用户提供云服务器、CDN、云安全服务、成都服务器托管、服务器租用、高防主机等全方位云服务与各行业解决方案,帮助企业及个人极速备案，轻松上云，安全无忧。
