我也出现过类似错误,后来发现是网页上使用了<base href="xxx">,但是网页里面的链接还是正常写相对路径,所以搜索机器人爬行的时候就出错了。
比如你是<base href="
http://www.baidu.com/">,当前页面是
http://www.baidu.com/more/,文字链接地址为:<a href="abc.htm">,这时候爬行机器人会认为这个连接是
http://www.baidu.com/more/abc.htm,而实际上因为你用了base,所以正确的、可以访问的应该地址是:tp://www.baidu.com/abc.htm
你先看一下是不是这个问题。