pyList

向各搜索引擎主动提交网址的经验

当网站添加了新内容后,都想第一时间让搜索引擎知道并且来抓取,省得“原创”都给了采集站。当采取主动提交时,Google 响应很快,60秒左右收录!百度响应也不赖。

主动向搜索引擎提交

站长平台

各大搜索引擎都有自己的站长管理平台,要精细操作还得去注册一个。

单条提交

管理后台均有提交单条或多条网址的界面,

下图是bing 的网址提交界面,每天可提交 10000 条,百度可提交10万次,google 未知。

bing网址提交

当然作为管理员,不能这样低效提交,要写点程序或利用插件自动提交。

下图是 Google 提交网址说明

向google提交网址

Google 还有一套更复杂的 API 如 Indexing API https://developers.google.com/search/apis/indexing-api/v3/quickstart 3 这里就不详述。

百度 和 bing 可以通过简单的 http 请求提交新网址,如下面是用Golang 向百度提交网址的代码:

sUrl := "http://data.zz.baidu.com/urls?site=https://pylist.com&token=xxxxxxxx"
buf := bytes.NewBufferString("https://pylist.com/t/1581940902")
req, err := http.NewRequest("POST", sUrl, buf)
if err != nil {
	return
}
req.Header.Set("Content-Type", "text/plain")

resp, err := http.DefaultClient.Do(req)
if err != nil {
	return
}
defer resp.Body.Close()

提交 sitemap

单个 sitemap 限制:最多5万条,大小不超过10MB,google 限制是 50MB

可以用 sitemap 索引

<?xml version="1.0" encoding="UTF-8"?>
   <sitemapindex xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
   <sitemap>
      <loc>http://www.example.com/sitemap1.xml.gz</loc>
   </sitemap>
   <sitemap>
      <loc>http://www.example.com/sitemap2.xml.gz</loc>
   </sitemap>
   </sitemapindex>

sitemap 格式,支持,XML、TXT

xml 示例

<?xml version="1.0" encoding="UTF-8"?>
<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9"> 
  <url>
    <loc>http://www.example.com/foo.html</loc>
    <lastmod>2018-06-04</lastmod>
  </url>
</urlset>

TXT 是每行一条网址的文本文件。

可以在 robots.txt 里添加 sitemap 文件,google、bing 支持这种方式

Sitemap: http://example.com/站点地图位置.xml

Google 的文档写得很清楚:

您可通过以下几种不同方法将站点地图提供给 Google:

  1. 使用 Search Console 站点地图工具将其提交给 Google
  2. 将以下行插入到 robots.txt 文件中的任意位置,指定指向站点地图的路径: Sitemap: http://example.com/站点地图位置.xml
  3. 使用“ping”功能请求我们抓取站点地图。发送如下所示的 HTTP GET 请求: http://www.google.com/ping?sitemap=<站点地图完整网址> 例如: http://www.google.com/ping?sitemap=https://example.com/sitemap.xml

提交后补充

google 确实很快

google 秒收

请求 google 加入索引

本文网址: https://pylist.com/t/1582623184 (转载注明出处)
如果你有任何建议或疑问可以在下面 留言
发表第一条评论!
验证码图片
相关推荐