使用Golang selenium WebDriver 自动登录微博

有时候在Golang 程序里需要读取微博的某个页面内容,提示需要登录。最简单的方法是在浏览器里登录后,直接复制Cookie 的内容,然后 http 请求带上Cookie。这样会有人工介入,不是很方便,这里借用 selenium WebDriver 来打开微博登录页面,然后自动填入用户名与密码。

使用Golang selenium WebDriver 登录微博

Golang 实现登录信息填充

这前提需要对 selenium WebDriver 有一定了解,下面是主要代码,目的是取到登录后的Cookie

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
func getCookieStr(usernameText string, passwordText string) (cookieStr string) {
	var (
		driverPath = "chromedriver"
		port       = 9222
	)

	service, err := selenium.NewChromeDriverService(driverPath, port, []selenium.ServiceOption{}...)
	if nil != err {
		fmt.Println("start a chromedriver service failed", err.Error())
		return
	}
	defer func() {
		_ = service.Stop()
	}()

	// Connect to the WebDriver instance running locally.
	caps := selenium.Capabilities{"browserName": "chrome"}
	//禁止图片加载,加快渲染速度
	imagCaps := map[string]interface{}{
		"profile.managed_default_content_settings.images": 2,
	}
	chromeCaps := chrome.Capabilities{
		Prefs: imagCaps,
		Path:  "",
		Args: []string{
			"--headless",
			"--no-sandbox",
			"--disable-gpu-sandbox",
			"--user-agent=Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.79 Safari/537.36",
		},
	}
	//以上是设置浏览器参数
	caps.AddChrome(chromeCaps)
	wd, err := selenium.NewRemote(caps, fmt.Sprintf("http://localhost:%d/wd/hub", port))
	if err != nil {
		fmt.Println("connect to the webDriver failed", err.Error())
		return
	}
	defer func() {
		_ = wd.Quit()
	}()
	err = wd.Get("https://passport.weibo.cn/signin/login?entry=mweibo&r=https://weibo.cn/")
	if err != nil {
		fmt.Println("get page failed", err.Error())
		return
	}
	err = wd.Wait(Displayed(selenium.ByCSSSelector, "#loginName"))
	if err != nil {
		fmt.Println(err)
		return
	}
	err = wd.Wait(Displayed(selenium.ByCSSSelector, "#loginPassword"))
	if err != nil {
		fmt.Println(err)
		return
	}
	err = wd.Wait(Displayed(selenium.ByCSSSelector, "#loginAction"))
	if err != nil {
		fmt.Println(err)
		return
	}
	username, err := wd.FindElement(selenium.ByCSSSelector, "#loginName")
	if err != nil {
		fmt.Println("get username failed", err.Error())
		return
	}
	password, err := wd.FindElement(selenium.ByCSSSelector, "#loginPassword")
	if err != nil {
		fmt.Println("get username failed", err.Error())
		return
	}
	submit, err := wd.FindElement(selenium.ByCSSSelector, "#loginAction")
	if err != nil {
		fmt.Println("get username failed", err.Error())
		return
	}
	err = username.SendKeys(usernameText)
	if err != nil {
		fmt.Println(err)
		return
	}
	err = password.SendKeys(passwordText)
	if err != nil {
		fmt.Println(err)
		return
	}
	err = submit.Click()
	if err != nil {
		fmt.Println(err)
		return
	}
	err = wd.Wait(func(wdTemp selenium.WebDriver) (b bool, e error) {
		tit, err := wdTemp.Title()
		if err != nil {
			return false, nil
		}
		if tit != "我的首页" {
			return false, nil
		}
		return true, nil
	})
	if err != nil {
		fmt.Println(err)
		return
	}
	cookieLst, err := wd.GetCookies()
	if err != nil {
		fmt.Println(err)
		return
	}
	var cookieArr []string
	for _, c := range cookieLst {
		cookieArr = append(cookieArr, c.Name+"="+c.Value)
	}
	cookieStr = strings.Join(cookieArr, "; ")
	return
}

等待页面元素显示函数:

1
2
3
4
5
6
7
8
9
10
11
func Displayed(by, elementName string) func(selenium.WebDriver) (bool, error) {
	return func(wd selenium.WebDriver) (ok bool, err error) {
		var el selenium.WebElement
		el, err = wd.FindElement(by, elementName)
		if err != nil {
			return
		}
		ok, err = el.IsDisplayed()
		return
	}
}

总结

应该使用登录网址 weibo.cn 比较简单,还有一种方案是使用 go http client 模拟请求,但需要做更多的工作,还不如直接使用 WebDriver 方便,如果你的项目中本来就需要开启 WebDriver。

用到的库 https://github.com/tebeka/selenium

如果不想用 webDriver 也可以关注这个新库 https://github.com/axiaoxin-com/weibo

本文网址: https://pylist.com/topic/213.html 转摘请注明来源

Suggested Topics

时隔多年,关于网页用QQ、微博登录

一个2012年开通的个人小网站,一直只用 QQ 一键登录。7年后做一个小改版,回调地址改变了,登录后台修改。三天了还没通过审核,但已能正常使用。...

用github 帐号登录之tornado 实现

用github 帐号登录之tornado 实现,主要面向开发者的可以使用这个第三方登录。在gist 上发现的,直接拿来,简单修改一下。...

Mac 登录 App Store 出现“发生了未知错误”的解决方法

当更新电脑里的应用时需要登录 App Store,很久以前就出现这情况了,因为升级的应用不是很急,也就放下不管。现在需要安装新的应用,而且没有找到其它途径下载`dmg`文件安装,只能从App Store 安装。于是下决心解决登录时出现“发生了未知错误”的问题。...

Golang 服务之坑:too many open files

出现这个问题是因为服务的文件句柄超出系统限制。当Go服务程序出现这个问题,首先应该看系统设置,然后再看程序本身。...

一个简单高效的LRU 缓存,golang 实现

LRU(Least recently used,最近最少使用)是根据数据的历史访问记录来进行淘汰数据,其核心思想是“如果数据最近被访问过,那么将来被访问的几率也更高”。...

Golang 实现新闻网页提取正文内容

前段时间接触到新闻页面的提取问题,发现了python 实现的 gne ,测试一段时间,效果很好,但还不适合个人的需求,于是就用 go 来实现类似的功能。...

Golang结合OpenCC实现高效的中文简体繁体互转

之前在页面中使用简体转繁体的功能一般是使用JS对页面进行字典替换,这样可以解决大部分问题,但要进行精确的转换,才发现简繁体的转换是个复杂的过程。幸好有个非常棒的繁体转简体开源项目OpenCC可以很好的工作。...

Leave a Comment