有时候在Golang 程序里需要读取微博的某个页面内容,提示需要登录。最简单的方法是在浏览器里登录后,直接复制Cookie 的内容,然后 http 请求带上Cookie。这样会有人工介入,不是很方便,这里借用 selenium WebDriver 来打开微博登录页面,然后自动填入用户名与密码。
Golang 实现登录信息填充
这前提需要对 selenium WebDriver 有一定了解,下面是主要代码,目的是取到登录后的Cookie
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
func getCookieStr(usernameText string, passwordText string) (cookieStr string) {
var (
driverPath = "chromedriver"
port = 9222
)
service, err := selenium.NewChromeDriverService(driverPath, port, []selenium.ServiceOption{}...)
if nil != err {
fmt.Println("start a chromedriver service failed", err.Error())
return
}
defer func() {
_ = service.Stop()
}()
// Connect to the WebDriver instance running locally.
caps := selenium.Capabilities{"browserName": "chrome"}
//禁止图片加载,加快渲染速度
imagCaps := map[string]interface{}{
"profile.managed_default_content_settings.images": 2,
}
chromeCaps := chrome.Capabilities{
Prefs: imagCaps,
Path: "",
Args: []string{
"--headless",
"--no-sandbox",
"--disable-gpu-sandbox",
"--user-agent=Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.79 Safari/537.36",
},
}
//以上是设置浏览器参数
caps.AddChrome(chromeCaps)
wd, err := selenium.NewRemote(caps, fmt.Sprintf("http://localhost:%d/wd/hub", port))
if err != nil {
fmt.Println("connect to the webDriver failed", err.Error())
return
}
defer func() {
_ = wd.Quit()
}()
err = wd.Get("https://passport.weibo.cn/signin/login?entry=mweibo&r=https://weibo.cn/")
if err != nil {
fmt.Println("get page failed", err.Error())
return
}
err = wd.Wait(Displayed(selenium.ByCSSSelector, "#loginName"))
if err != nil {
fmt.Println(err)
return
}
err = wd.Wait(Displayed(selenium.ByCSSSelector, "#loginPassword"))
if err != nil {
fmt.Println(err)
return
}
err = wd.Wait(Displayed(selenium.ByCSSSelector, "#loginAction"))
if err != nil {
fmt.Println(err)
return
}
username, err := wd.FindElement(selenium.ByCSSSelector, "#loginName")
if err != nil {
fmt.Println("get username failed", err.Error())
return
}
password, err := wd.FindElement(selenium.ByCSSSelector, "#loginPassword")
if err != nil {
fmt.Println("get username failed", err.Error())
return
}
submit, err := wd.FindElement(selenium.ByCSSSelector, "#loginAction")
if err != nil {
fmt.Println("get username failed", err.Error())
return
}
err = username.SendKeys(usernameText)
if err != nil {
fmt.Println(err)
return
}
err = password.SendKeys(passwordText)
if err != nil {
fmt.Println(err)
return
}
err = submit.Click()
if err != nil {
fmt.Println(err)
return
}
err = wd.Wait(func(wdTemp selenium.WebDriver) (b bool, e error) {
tit, err := wdTemp.Title()
if err != nil {
return false, nil
}
if tit != "我的首页" {
return false, nil
}
return true, nil
})
if err != nil {
fmt.Println(err)
return
}
cookieLst, err := wd.GetCookies()
if err != nil {
fmt.Println(err)
return
}
var cookieArr []string
for _, c := range cookieLst {
cookieArr = append(cookieArr, c.Name+"="+c.Value)
}
cookieStr = strings.Join(cookieArr, "; ")
return
}
等待页面元素显示函数:
1
2
3
4
5
6
7
8
9
10
11
func Displayed(by, elementName string) func(selenium.WebDriver) (bool, error) {
return func(wd selenium.WebDriver) (ok bool, err error) {
var el selenium.WebElement
el, err = wd.FindElement(by, elementName)
if err != nil {
return
}
ok, err = el.IsDisplayed()
return
}
}
总结
应该使用登录网址 weibo.cn
比较简单,还有一种方案是使用 go http client 模拟请求,但需要做更多的工作,还不如直接使用 WebDriver
方便,如果你的项目中本来就需要开启 WebDriver。
用到的库 https://github.com/tebeka/selenium
如果不想用 webDriver 也可以关注这个新库 https://github.com/axiaoxin-com/weibo
本文网址: https://pylist.com/topic/213.html 转摘请注明来源