向各搜索引擎主动提交网址的经验

当网站添加了新内容后,都想第一时间让搜索引擎知道并且来抓取,省得“原创”都给了采集站。当采取主动提交时,Google 响应很快,60秒左右收录!百度响应也不赖。

主动向搜索引擎提交

站长平台

各大搜索引擎都有自己的站长管理平台,要精细操作还得去注册一个。

单条提交

管理后台均有提交单条或多条网址的界面,

下图是bing 的网址提交界面,每天可提交 10000 条,百度可提交10万次,google 未知。

bing网址提交

当然作为管理员,不能这样低效提交,要写点程序或利用插件自动提交。

下图是 Google 提交网址说明

向google提交网址

Google 还有一套更复杂的 API 如 Indexing API https://developers.google.com/search/apis/indexing-api/v3/quickstart 这里就不详述。

百度 和 bing 可以通过简单的 http 请求提交新网址,如下面是用Golang 向百度提交网址的代码:

1
2
3
4
5
6
7
8
9
10
11
12
13
sUrl := "http://data.zz.baidu.com/urls?site=https://pylist.com&token=xxxxxxxx"
buf := bytes.NewBufferString("https://pylist.com/t/1581940902")
req, err := http.NewRequest("POST", sUrl, buf)
if err != nil {
	return
}
req.Header.Set("Content-Type", "text/plain")

resp, err := http.DefaultClient.Do(req)
if err != nil {
	return
}
defer resp.Body.Close()

提交 sitemap

单个 sitemap 限制:最多5万条,大小不超过10MB,google 限制是 50MB

可以用 sitemap 索引

1
2
3
4
5
6
7
8
9
<?xml version="1.0" encoding="UTF-8"?>
   <sitemapindex xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
   <sitemap>
      <loc>http://www.example.com/sitemap1.xml.gz</loc>
   </sitemap>
   <sitemap>
      <loc>http://www.example.com/sitemap2.xml.gz</loc>
   </sitemap>
   </sitemapindex>

sitemap 格式,支持,XML、TXT

xml 示例

1
2
3
4
5
6
7
<?xml version="1.0" encoding="UTF-8"?>
<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9"> 
  <url>
    <loc>http://www.example.com/foo.html</loc>
    <lastmod>2018-06-04</lastmod>
  </url>
</urlset>

TXT 是每行一条网址的文本文件。

可以在 robots.txt 里添加 sitemap 文件,google、bing 支持这种方式

1
Sitemap: http://example.com/站点地图位置.xml

Google 的文档写得很清楚:

您可通过以下几种不同方法将站点地图提供给 Google:

  1. 使用 Search Console 站点地图工具将其提交给 Google
  2. 将以下行插入到 robots.txt 文件中的任意位置,指定指向站点地图的路径: Sitemap: http://example.com/站点地图位置.xml
  3. 使用“ping”功能请求我们抓取站点地图。发送如下所示的 HTTP GET 请求: http://www.google.com/ping?sitemap=<站点地图完整网址> 例如: http://www.google.com/ping?sitemap=https://example.com/sitemap.xml

提交后补充

google 确实很快

google 秒收

请求 google 加入索引

本文网址: https://pylist.com/topic/202.html 转摘请注明来源

Suggested Topics

利用 API 自动向搜索引擎提交网址

前面已经介绍了向各大搜索引擎提交经验,这次试着用 Go 语言去实践一下。也作个简单实践对比。拿 Google、Bing、Baidu 三大搜索引擎来比较,论简便性,`B` 字头的两个最简便,但从效果看,Google 最好。...

从UserAgent识别搜索引擎并判断真假蜘蛛

一般搜索引擎去爬取一个网站时,首先是去读取网站的robots.txt 文件,看看网站管理员有没有在该文件设置禁止某些蜘蛛,或禁止访问哪些路径。然而一些流氓蜘蛛不会顾及robots.txt 文件,想爬哪就爬哪。这种情况管理员只能通过应用程序去识别判断,是否限制某些访问。...

python SQLite 数据库提速经验

SQLite 特点是轻巧,依赖少,数据库就一个文件,打包即可提走。最近做一个应用,千万条数据,更新频繁,但处理方式很简单,首先直接用SQLite 处理,结果两分钟可以完成处理一次,这个还是太慢了。下面介绍 SQLite 优化提速的经验。...

Leave a Comment