向各搜索引擎主动提交网址的经验

当网站添加了新内容后，都想第一时间让搜索引擎知道并且来抓取，省得“原创”都给了采集站。当采取主动提交时，Google 响应很快，60秒左右收录！百度响应也不赖。

站长平台

各大搜索引擎都有自己的站长管理平台，要精细操作还得去注册一个。

百度 https://ziyuan.baidu.com/
Google https://search.google.com/search-console
Bing https://www.bing.com/toolbox/webmaster/

单条提交

管理后台均有提交单条或多条网址的界面，

下图是bing 的网址提交界面，每天可提交 10000 条，百度可提交10万次，google 未知。

当然作为管理员，不能这样低效提交，要写点程序或利用插件自动提交。

下图是 Google 提交网址说明

Google 还有一套更复杂的 API 如 Indexing API https://developers.google.com/search/apis/indexing-api/v3/quickstart 这里就不详述。

百度和 bing 可以通过简单的 http 请求提交新网址，如下面是用Golang 向百度提交网址的代码：

sUrl := "http://data.zz.baidu.com/urls?site=https://pylist.com&token=xxxxxxxx"
buf := bytes.NewBufferString("https://pylist.com/t/1581940902")
req, err := http.NewRequest("POST", sUrl, buf)
if err != nil {
	return
}
req.Header.Set("Content-Type", "text/plain")

resp, err := http.DefaultClient.Do(req)
if err != nil {
	return
}
defer resp.Body.Close()

提交 sitemap

单个 sitemap 限制：最多5万条，大小不超过10MB，google 限制是 50MB

可以用 sitemap 索引

<?xml version="1.0" encoding="UTF-8"?>
   <sitemapindex xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
   <sitemap>
      <loc>http://www.example.com/sitemap1.xml.gz</loc>
   </sitemap>
   <sitemap>
      <loc>http://www.example.com/sitemap2.xml.gz</loc>
   </sitemap>
   </sitemapindex>

sitemap 格式，支持，XML、TXT

xml 示例

<?xml version="1.0" encoding="UTF-8"?>
<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9"> 
  <url>
    <loc>http://www.example.com/foo.html</loc>
    <lastmod>2018-06-04</lastmod>
  </url>
</urlset>

TXT 是每行一条网址的文本文件。

可以在 robots.txt 里添加 sitemap 文件，google、bing 支持这种方式

Sitemap: http://example.com/站点地图位置.xml

Google 的文档写得很清楚：

您可通过以下几种不同方法将站点地图提供给 Google：

使用 Search Console 站点地图工具将其提交给 Google
将以下行插入到 robots.txt 文件中的任意位置，指定指向站点地图的路径： Sitemap: http://example.com/站点地图位置.xml
使用“ping”功能请求我们抓取站点地图。发送如下所示的 HTTP GET 请求： http://www.google.com/ping?sitemap=<站点地图完整网址> 例如： http://www.google.com/ping?sitemap=https://example.com/sitemap.xml