使用Golang selenium WebDriver 自动登录微博

有时候在Golang 程序里需要读取微博的某个页面内容,提示需要登录。最简单的方法是在浏览器里登录后,直接复制Cookie 的内容,然后 http 请求带上Cookie。这样会有人工介入,不是很方便,这里借用 selenium WebDriver 来打开微博登录页面,然后自动填入用户名与密码。

使用Golang selenium WebDriver 登录微博

Golang 实现登录信息填充

这前提需要对 selenium WebDriver 有一定了解,下面是主要代码,目的是取到登录后的Cookie

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
func getCookieStr(usernameText string, passwordText string) (cookieStr string) {
	var (
		driverPath = "chromedriver"
		port       = 9222
	)

	service, err := selenium.NewChromeDriverService(driverPath, port, []selenium.ServiceOption{}...)
	if nil != err {
		fmt.Println("start a chromedriver service failed", err.Error())
		return
	}
	defer func() {
		_ = service.Stop()
	}()

	// Connect to the WebDriver instance running locally.
	caps := selenium.Capabilities{"browserName": "chrome"}
	//禁止图片加载,加快渲染速度
	imagCaps := map[string]interface{}{
		"profile.managed_default_content_settings.images": 2,
	}
	chromeCaps := chrome.Capabilities{
		Prefs: imagCaps,
		Path:  "",
		Args: []string{
			"--headless",
			"--no-sandbox",
			"--disable-gpu-sandbox",
			"--user-agent=Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.79 Safari/537.36",
		},
	}
	//以上是设置浏览器参数
	caps.AddChrome(chromeCaps)
	wd, err := selenium.NewRemote(caps, fmt.Sprintf("http://localhost:%d/wd/hub", port))
	if err != nil {
		fmt.Println("connect to the webDriver failed", err.Error())
		return
	}
	defer func() {
		_ = wd.Quit()
	}()
	err = wd.Get("https://passport.weibo.cn/signin/login?entry=mweibo&r=https://weibo.cn/")
	if err != nil {
		fmt.Println("get page failed", err.Error())
		return
	}
	err = wd.Wait(Displayed(selenium.ByCSSSelector, "#loginName"))
	if err != nil {
		fmt.Println(err)
		return
	}
	err = wd.Wait(Displayed(selenium.ByCSSSelector, "#loginPassword"))
	if err != nil {
		fmt.Println(err)
		return
	}
	err = wd.Wait(Displayed(selenium.ByCSSSelector, "#loginAction"))
	if err != nil {
		fmt.Println(err)
		return
	}
	username, err := wd.FindElement(selenium.ByCSSSelector, "#loginName")
	if err != nil {
		fmt.Println("get username failed", err.Error())
		return
	}
	password, err := wd.FindElement(selenium.ByCSSSelector, "#loginPassword")
	if err != nil {
		fmt.Println("get username failed", err.Error())
		return
	}
	submit, err := wd.FindElement(selenium.ByCSSSelector, "#loginAction")
	if err != nil {
		fmt.Println("get username failed", err.Error())
		return
	}
	err = username.SendKeys(usernameText)
	if err != nil {
		fmt.Println(err)
		return
	}
	err = password.SendKeys(passwordText)
	if err != nil {
		fmt.Println(err)
		return
	}
	err = submit.Click()
	if err != nil {
		fmt.Println(err)
		return
	}
	err = wd.Wait(func(wdTemp selenium.WebDriver) (b bool, e error) {
		tit, err := wdTemp.Title()
		if err != nil {
			return false, nil
		}
		if tit != "我的首页" {
			return false, nil
		}
		return true, nil
	})
	if err != nil {
		fmt.Println(err)
		return
	}
	cookieLst, err := wd.GetCookies()
	if err != nil {
		fmt.Println(err)
		return
	}
	var cookieArr []string
	for _, c := range cookieLst {
		cookieArr = append(cookieArr, c.Name+"="+c.Value)
	}
	cookieStr = strings.Join(cookieArr, "; ")
	return
}

等待页面元素显示函数:

1
2
3
4
5
6
7
8
9
10
11
func Displayed(by, elementName string) func(selenium.WebDriver) (bool, error) {
	return func(wd selenium.WebDriver) (ok bool, err error) {
		var el selenium.WebElement
		el, err = wd.FindElement(by, elementName)
		if err != nil {
			return
		}
		ok, err = el.IsDisplayed()
		return
	}
}

总结

应该使用登录网址 weibo.cn 比较简单,还有一种方案是使用 go http client 模拟请求,但需要做更多的工作,还不如直接使用 WebDriver 方便,如果你的项目中本来就需要开启 WebDriver。

用到的库 https://github.com/tebeka/selenium

如果不想用 webDriver 也可以关注这个新库 https://github.com/axiaoxin-com/weibo

本文网址: https://pylist.com/topic/213.html 转摘请注明来源

Suggested Topics

Golang 版 supervisord 使用记录

python 版经常出现一些错误,比如 supervisor.sock 文件找不到的错误。懒得去整,试试二进制的 supervisord ,用 Go 语言编写。...

Golang 服务之坑:too many open files

出现这个问题是因为服务的文件句柄超出系统限制。当Go服务程序出现这个问题,首先应该看系统设置,然后再看程序本身。...

Mac 登录 App Store 出现“发生了未知错误”的解决方法

当更新电脑里的应用时需要登录 App Store,很久以前就出现这情况了,因为升级的应用不是很急,也就放下不管。现在需要安装新的应用,而且没有找到其它途径下载`dmg`文件安装,只能从App Store 安装。于是下决心解决登录时出现“发生了未知错误”的问题。...

用SSH 密钥登录VPS

以前没有在VPS 上部署重要的东西,设置一个稍复杂的密码就可以。下面对记录一下VPS 禁止用户名+密码登录,仅使用密钥登录的过程。...

golang 计算大文件md5

以前介绍过用python 计算大文件的md5 值,这里将介绍使用 golang 计算大文件md5...

用github 帐号登录之tornado 实现

用github 帐号登录之tornado 实现,主要面向开发者的可以使用这个第三方登录。在gist 上发现的,直接拿来,简单修改一下。...

在 Nginx 和 Golang web 上抢先体验 QUIC

QUIC(Quick UDP Internet Connection)是谷歌推出的一套基于 UDP 的传输协议,它实现了 TCP + HTTPS + HTTP/2 的功能,目的是保证可靠性的同时降低网络延迟。QUIC 是使用 UDP 协议,可以与原来的 TCP 服务不冲突。...

一个简单高效的LRU 缓存,golang 实现

LRU(Least recently used,最近最少使用)是根据数据的历史访问记录来进行淘汰数据,其核心思想是“如果数据最近被访问过,那么将来被访问的几率也更高”。...

Leave a Comment