从UserAgent识别搜索引擎并判断真假蜘蛛
一般搜索引擎去爬取一个网站时，首先是去读取网站的robots.txt 文件，看看网站管理员有没有在该文件设置禁止某些蜘蛛，或禁止访问哪些路径。然而一些流氓蜘蛛不会顾及robots.txt 文件，想爬哪就爬哪。这种情况管理员只能通过应用程序去识别判断，是否限制某些访问。 …
搜索引擎
利用 API 自动向搜索引擎提交网址
前面已经介绍了向各大搜索引擎提交的经验，这次试着用 Go 语言去实践一下。也作个简单实践对比。拿 Google、Bing、Baidu 三大搜索引擎来比较，论简便性，`B` 字头的两个最简便，但从效果看，Google 最好。 …
