Golang 实现 GBK、Big5、UTF-8 之间的转换
🕦 by pyList at 2018-11-10 22:39
从一些编码是 GBK 或 Big5 的网站爬取得到的字符是乱码,需要转换一下,golang 有 text/encoding 库可以简单转换。
package main
import (
"bytes"
"fmt"
"golang.org/x/text/encoding/simplifiedchinese"
"golang.org/x/text/encoding/traditionalchinese"
"golang.org/x/text/transform"
"io/ioutil"
)
//convert GBK to UTF-8
func DecodeGBK(s []byte) ([]byte, error) {
I := bytes.NewReader(s)
O := transform.NewReader(I, simplifiedchinese.GBK.NewDecoder())
d, e := ioutil.ReadAll(O)
if e != nil {
return nil, e
}
return d, nil
}
//convert UTF-8 to GBK
func EncodeGBK(s []byte) ([]byte, error) {
I := bytes.NewReader(s)
O := transform.NewReader(I, simplifiedchinese.GBK.NewEncoder())
d, e := ioutil.ReadAll(O)
if e != nil {
return nil, e
}
return d, nil
}
//convert BIG5 to UTF-8
func DecodeBig5(s []byte) ([]byte, error) {
I := bytes.NewReader(s)
O := transform.NewReader(I, traditionalchinese.Big5.NewDecoder())
d, e := ioutil.ReadAll(O)
if e != nil {
return nil, e
}
return d, nil
}
//convert UTF-8 to BIG5
func EncodeBig5(s []byte) ([]byte, error) {
I := bytes.NewReader(s)
O := transform.NewReader(I, traditionalchinese.Big5.NewEncoder())
d, e := ioutil.ReadAll(O)
if e != nil {
return nil, e
}
return d, nil
}
func main() {
utf8Byte := []byte("UTF-8字符包子")
fmt.Println(string(utf8Byte))
// UTF-8 转 BIG5
s, _ := EncodeBig5(utf8Byte)
fmt.Println(string(s))
// BIG5 转 UTF-8
s, _ = DecodeBig5(s)
fmt.Println(string(s))
// UTF-8 转 GBK
s, _ = EncodeGBK(s)
fmt.Println(string(s))
// GBK 转 UTF-8
s, _ = DecodeGBK(s)
fmt.Println(string(s))
}
输出:
UTF-8字符包子
UTF-8?r?????l
UTF-8字符包子
UTF-8?ַ?????
UTF-8字符包子
本文网址: https://pylist.com/t/1541860768 (转载注明出处)
如果你有任何建议或疑问可以在下面 留言
发表第一条评论!
相关推荐
小工具
标签
webdriver
微博
golang
selenium
登录
web
nginx
quic
抢先
模版
缓存
方法
网页
正文
提取
新闻
正则
字符串
切割
md5
文件
计算
template
tornado
tenjin
性能
time
timestamp
小结
时间
全角
python
半角
转换
相互
xmltodict
gbk
xml
编码
xor
解密
加密
u盘
mac
diskutil
格式化
顽固
之坑
files
open
服务
app
store
未知
openwrt
usb
上网卡
共享
网络
bbr
路由
开启
sqlite
数据库
提速
经验
固件
debian
ubuntu
编译
系统启动
硬件加速
ubnt
er
最新版
wndr4300
升级
访问速度
vps
加速
js
fonts
css
html
一键
中文
分割
英文
后缀名
并取
遍历
文件夹
failed
load
devtools
sourcemap
chrome
自动更新
microsoft
关闭
静音
风扇
主机
笔记本
改造
低功耗
爬虫
服务器
组装
微信
尝鲜
视频
体验
cpu
查看
温度
server
浏览
google
身份验证
authenticator
迁移
手机
gnu
linux
安装
宅家
坑记
屏幕
动手
最近发表
- Chrome 控制台 DevTools failed to load SourceMap 警告的消除方法
- Mac 关闭 Microsoft 自动更新
- Mac 登录 App Store 出现“发生了未知错误”的解决方法
- 老笔记本改造为无风扇静音主机方案
- 自己组装21瓦低功耗家庭爬虫、文件、web服务器
- 微信视频号尝鲜体验
- Ubuntu/Debian 查看CPU温度的方法
- 在Ubuntu/debian Server 系统使用Chrome 无头浏览模式
- 换手机后 Google 身份验证器 Google Authenticator 数据迁移的简单方法
- 使用Golang selenium WebDriver 自动登录微博
- 在 Ubuntu 或其它 GNU/Linux 系统下安装 Debian
- Mac 下制作 USB ubuntu/debian 系统启动、安装盘的几种方法
- ubuntu/debian 下自行编译 OpenWRT 固件
- 宅家自己动手换手机屏幕掉坑记
- 路由 UBNT ER-X 官方固件升级及开启硬件加速的方法
- 在 Nginx 和 Golang web 上抢先体验 QUIC
最近浏览
- 用python 实现XOR 加密解密的方法
- 在终端使用Mac diskutil 命令格式化顽固U盘
- Golang 服务之坑:too many open files
- Mac 登录 App Store 出现“发生了未知错误”的解决方法
- python xmltodict 解析xml gbk 编码问题解决
- Openwrt 使用USB 4G 上网卡共享网络
- Openwrt 路由上开启BBR
- python SQLite 数据库提速经验
- ubuntu/debian 下自行编译 OpenWRT 固件
- Mac 下制作 USB ubuntu/debian 系统启动、安装盘的几种方法
- 路由 UBNT ER-X 官方固件升级及开启硬件加速的方法
- WNDR4300 固件升级到 OpenWrt 最新版
- 开启BBR 加速小VPS访问速度
- 一键下载网站资源(html/css/js/fonts)
- python 分割中文英文混合字符串的正确方法
- 编写python脚本遍历文件夹并取指定后缀名文件