pyList

在 robots.txt 文件里匹配 Mobile 蜘蛛的方法

根据用户端 User-agent 信息识别 Mobile 蜘蛛,并在 robots.txt 文件里指定显示不同的页面。

Mobile蜘蛛

缘由

在手机上用百度搜索(有时Google打不开)时,会发现有些搜索结果旁边有个手机符号。若有手机页面,权重加一点。另外以前曾经有一段时间,百度会把网页内容强加在他们的框内以适合手机屏幕,导致不能正常浏览网页。

解决方法

识别 User-agent,当Googlebot-MobileBaiduspider-mobile 来时输出对应的界面。

若手机页面有单独的网址,则可在robots.txt 里添加:

User-agent: Googlebot-Mobile
Allow: /wap/

User-agent: Baiduspider-mobile
Allow: /wap/

若网址相同,在程序端识别 Mobile ua,输出对应的手机页面。

本文标签: robots Mobile txt 蜘蛛 匹配
本文网址: https://pylist.com/t/1376105873 (转载注明出处)
如果你有任何建议或疑问可以在下面 留言
发表第一条评论!
验证码图片
相关推荐