万年长青网

格式http://www.20ll.com/sitemap.xml　　如果网站长时间收录有问题，那么我们可以对比网站日志中的搜索引擎蜘蛛行为，了解网站是哪方面出了问题;如果网站被封，或者被K，我们也都可以通过观察网站日志情况来了解原因出在什么地方。　　第四步：一张完美整洁的日志就导入进来了，这样再看是不是很舒服很清晰呢　　第五步：把一些不需要的删除，只需保留cs-uri-stemURI资源、c-ip客户端IP地址、cs(User-Agent)用户代理、sc-status协议状态这4项就可以了　　如下图所示，一目了然!　　网站日志英文注释：　　date日期　　time时间　　s-sitename服务名　　s-ip服务器IP地址　　cs-method方法　　cs-uri-stemURI资源　　cs-uri-queryURI查询　　s-port服务器端口　　cs-username用户名　　c-ip客户端IP地址　　cs(User-Agent)用户代理sc-status协议状态　　200表示成功　　301永久重定向　　403表示没有权限　　404表示找不到该页面　　500内部服务器错误　　503服务器超时　　sc-substatus协议子状态　　sc-win32-statusWin32状态　　sc-bytes发送的字节数　　cs-bytes接收的字节数　　time-taken所用时间　　网站日志分析　　以下图为例　　通过分析：一款俄罗斯的蜘蛛通过IP为141.8.142.145地址爬取了robots.txt这个文件，抓取成功，返回200正常。