真假

一般搜索引擎去爬取一个网站时，首先是去读取网站的robots.txt 文件，看看网站管理员有没有在该文件设置禁止某些蜘蛛，或禁止访问哪些路径。然而一些流氓蜘蛛不会顾及robots.txt 文件，想爬哪就爬哪。这种情况管理员只能通过应用程序去识别判断，是否限制某些访问。 …

Read more