Ubuntu设置中文编码和文本的编码转换

守正出奇 2011-07-20

Ubuntu 默认采用UTF8编码，但访问部分Win文本文件时，出现乱码。

1. 配置系统环境

执行 sudo vi /var/lib/locales/supported.d/zh-hans

加入以下配置参数

zh_CN.GB18030GB18030(最新汉字编码字符集，向下兼容GBK,GB2312)

zh_CN.GBKGBK(汉字扩展编码,向下兼容GB2312,并包含BIG5全部汉字)

zh_HK.BIG5BIG5(繁体)

zh_TW.BIG5BIG5(繁体)

然后执行sudolocale-gen

提示以下信息，成功了

zh_CN.GB18030...done

zh_CN.GBK... done

2.vim工具支持gbk编码

系统环境支持GB*内码了，但用vi等工具访问文件还会继续乱码，需要针对不同的工具分别配置，使之自己检测支持范围内的编码

e.g.vi

执行sudovi/etc/vim/vimrc

加入以下配置参数

let&termencoding=&encoding

set fileencodings=utf-8,gb18030,gbk,big5

3. 转换文件的编码

可以使用iconv命令

iconv -f gb2312 -t utf-8 file

也可以生成一个新文件，

iconv -f gb2312 -t utf-8 file > filenew

另外还可以使用 enca进行编码转换，如：

enca -L zh_CN -x UTF-8 file

: 守正出奇

相关推荐

Golang 中的 Unicode 与 UTF-8

大多数的我们，真正认识到有字符编码这回事，一般都是因为遇到了乱码，因为我国常用的编码是 GBK 以及 GB2312：用两个 Byte 来表示所有的汉字，这样，我们一共可以表示 2^16 = 65536 个字符，一旦我们的 GBK 以及 GB2312 编

周游列国之仕子 0喜欢 / 0评论 2020-09-21

PHP 实现base64编码文件上传出现问题详解

领导：小A同学，我们要做一个样本上传进行分析的功能，你看下是否使用base64编码加进去，这样客户端的同学就不需要用form-data方式来上传了，直接使用json格式就可以上报，可以让格式上报统一。本身的流程是一个很简单的文件转换成base64上传，再服

hedongli 0喜欢 / 0评论 2020-09-01

python字符串和编码

采用"+"号来拼接字符串，但是不能直接与其他数据类型拼接，需要str（）来转换。Python的字符串类型是str，在内存中以Unicode表示，一个字符对应若干个字节。bytes类型的数据用带b前缀的单引号或双引号表示；要注意区分‘AB

liusarazhang 0喜欢 / 0评论 2020-06-28

Go语言json编码驼峰转下划线、下划线转驼峰的实现

golang默认的结构体json转码出来，都是根据字段名生成的大写驼峰格式，但是一般我们最常用的json格式是小写驼峰或者小写下划线，因此，我们非常需要一个统一的方法去转换，而不想挨个写json标签，例如。输出来的json结构是大写驼峰的，肯定非常别扭的，

TammyJi 0喜欢 / 0评论 2020-06-14

Golang中的Unicode与字符串示例详解

在我们使用Golang进行开发过程中，总是绕不开对字符或字符串的处理，而在Golang语言中，对字符和字符串的处理方式可能和其他语言不太一样，比如Python或Java类的语言，本篇文章分享一些Golang语言下的Unicode和字符串编码。被转换的整数值

89411051 0喜欢 / 0评论 2020-06-14

请不要用php进行base64编码文件上传【转】

领导：小A同学，我们要做一个样本上传进行分析的功能，你看下是否使用base64编码加进去，这样客户端的同学就不需要用form-data方式来上传了，直接使用json格式就可以上报，可以让格式上报统一。本身的流程是一个很简单的文件转换成base64上传，再服

JF0 0喜欢 / 0评论 2020-06-13

Windows 程序设计（三）关于字符串

C语言/C++语言，使用的字符串指针就是 char* 类型，C++中的字符串是 string，内部也是对 char* 的封装。操作系统的国际化，比如：Windows 系统不仅有英文的，也有中文的，韩文的，日文的，所以原来用一个 char 来表示一个英文字符

88384957 0喜欢 / 0评论 2020-06-12

mysql字符编码以及字符序

character_sets_dir 这个变量是字符集安装的目录。登录mysql后，执行 set names gbk; 实际上就是同时修改的这三个参数。也可以修改配置文件，在 [mysql] 段添加：default-character-set=latin1

FORYAOSHUYUN 0喜欢 / 0评论 2020-06-11

SQL SERVER字符串前加N转换为Unicode编码

SQL SERVER搜索时select name=‘字符串‘时‘字符串‘默认会是ASCII码，而name一般是Unicode码，当‘字符串‘为中英文时，绝大部分ASCII码等于Unicode码，但如果‘字符串‘为中文生僻字，法文，韩文，日文等等情况‘字符串

84590091 0喜欢 / 0评论 2020-06-08

linux字符编码相关知识总结、file命令、iconv命令

现代计算机存储文件有很多种编码方式，各个计算机系统、程序支持的编码格式不尽相同。字符集指字符的集合，不同的字符集支持不同的语言，ASCII字符集就只支持英文。字符集有对应码表，用来查找字符和做编码转换等；不表示最终编码方式。字符编码是指将字符集和二进制数建

88540591 0喜欢 / 0评论 2020-06-01

Python 简明教程 --- 9，Python 编码

当你选择了一种语言，意味着你还选择了一组技术、一个社区。比如，信息的加密解密，这就是信息的一种转换过程，它是信息的明文与密文之间的转换过程。其主要用于表示英文字符，数字和一些标点符号。ASCII 码虽能表示英文，但是无法表示其它语言，比如中文，韩文等。为

cenylon 0喜欢 / 0评论 2020-05-25

python编码问题记录

SyntaxError: Non-ASCII character ‘\xe5‘ in file...这一类问题一般出现在python2中，由脚本字符编码导致。python2的脚本文件，一般都会说明字符编码类型，如#-*- encoding: utf-8 -

CloudXli 0喜欢 / 0评论 2020-05-16

编程必备基础-音视频小白系统入门课

5G 的商用，使高效高清的直播和视频成为刚需，短视频、娱乐直播等都与音视频联系紧密，各大互联网公司都在储备音视频方向的开发者。但是，网络上关于音视频的学习资料非常少，且几乎没有系统讲解音视频的入门课程。于是这门课应运而生。它系统讲解音视频基础原理，并实战如

cherayliu 0喜欢 / 0评论 2020-05-11

redis中的数据结构和编码详解

1>redis在内部使用redisObject结构体来定义存储的值对象。2>每种类型都有至少两种内部编码，Redis会根据当前值的类型和长度来决定使用哪种编码实现。3>编码类型转换在Redis写入数据时自动完成，这个转换过程是不可逆的，转

kaixinfelix 0喜欢 / 0评论 2020-03-27

python中理解编码

UTF-8 是针对Unicode的一种可变长度字符编码对中文字符一个字符占3个字节 24bit位。　　　　　　　　　　整型int 浮点型 float 复数complex . b1 = bytes # bytes类型的变量b1，接收bytes类型字符串

liusarazhang 0喜欢 / 0评论 2020-05-01

Oracle字符集的设置

字符编码是一种法则，在数字与符号之间建立的对应关系。不同的国家有不同的语言，包含的文字、标点符号、图形符号各有不同。例如在ASCII编码中，用数字97表达字符‘a‘与字符集相对应，常见的字符编码有ASCII，GBK，GB18030，Unicode等。字符集

81214051 0喜欢 / 0评论 2020-04-25

CentOS7设置中文字符集

字符编码是一种法则，在数字与符号之间建立的对应关系。不同的国家有不同的语言，包含的文字、标点符号、图形符号各有不同。例如在ASCII编码中，用数字97表达字符‘a‘与字符集相对应，常见的字符编码有ASCII，GBK，GB18030，Unicode等。字符集

84590091 0喜欢 / 0评论 2020-04-22

python编码

将Unicode字符按照编码规则编成字节序列。>>> a = u"测试">>> a.encode‘\xe6\xb5\x8b\xe8\xaf\x95‘。>>> a = b"测

Dimples 0喜欢 / 0评论 2020-04-18

python3 unicod,utf-8,gbk的编码和解码中文显示问题

python3的字符编码让人头疼。这个也不是一篇介绍gbk, utf-8, unicode怎么表示英文，中文字符的基础知识总结。网上有很多类似的文章，目前也不需要升入学习到了解各个bit位表示什么含义。目的：清楚了解为什么在python3不同的编码，解码，

ITxiaobaibai 0喜欢 / 0评论 2020-03-23

Python记录——字符串的常用方法

encode() 是将 Python 内部默认的编码 unicode编码转换成其他编码格式，decode()是将其他编码格式转换成unicode编码，列如：。print #表示将unicode编码的字符串strs转换成gbk编码。replace() 用

银角大王 0喜欢 / 0评论 2020-03-07

Python编码小技巧分享【新手必学】

本次分享了python编程小技巧总结如下，希望对大家有帮助，非常实用哦注意：很多人学Python过程中会遇到各种烦恼问题，没有人帮答疑。为此小编建了个Python全栈免费答疑交流.裙：一久武其而而流一思转换下可以找到了，不懂的问题有老司机解决里面还有最新

youandme 0喜欢 / 0评论 2020-02-19

python3字符串编码转换

编码转换：1、将文本已以二进制方式读取出来；2、将读取的二进制文本已改文本的编码方式进行解码成Unicode3、然后将解码后的Unicode编码成要转换的编码格式。s_gbk = s_unicode.encode # Unicode转换成gbk模式f =

84590091 0喜欢 / 0评论 2020-02-16

字符编码转换

#转为ASCII编码(报错为什么?因为ASCII码表中没有‘天’这个字符集~~). 因为在python2.X中默认是ASCII编码，你在文件中指定编码为UTF-8，但是UTF-8如果你想转GBK的话是不能直接转的，需要Unicode做一个转接站点。

SDUTACM 0喜欢 / 0评论 2020-02-15

字符编码

打开编辑器就打开了启动了一个进程，是在内存中的，所以，用编辑器编写的内容也都是存放与内存中的，断电后数据丢失。总而言之，字符编码是将人类的字符编码成计算机能识别的数字，这种转换必须遵循一套固定的标准，该标准无非是人类字符与数字的对应关系，称之为字符编码表。

Airuio 0喜欢 / 0评论 2020-01-28

前后端交互

json的特点是结构清晰、易拓展，所以经常用来作为前后端交互的格式。而前端有原生方法将json字符串方便地转换为前端可用数据结构，所以你很有必要在后端把集合转为json字符串再传递。json格式在前端中跟js的对象/数组数据结构长得一模一样，除了数据类型不

wwwxuewen 0喜欢 / 0评论 2020-01-19

Python编码练习题（2）

if isinstance: #判断输入的数是否为float类型 isinstance 判断实例是否是这个类或者object是变量。if int>=5: #判断分割后的后半部分数据第一个数是否大于5 ，比较前先转换为int类型。d

zhglinux 0喜欢 / 0评论 2020-01-03

Python print编码转变默认编码

decode就是把其他编码转换为unicode，等同于unicode函数；encode就是把unicode编码的字符串转换为特定编码。a是Str类型的，所以再用encode会报错。Python print编码里默认的encode和decode是strict

winmeanyoung 0喜欢 / 0评论 2014-05-28

PHP iconv()函数字符编码转换的问题讲解_php技巧 - PHP

在php中iconv函数库能够完成各种字符集间的转换，是php编程中不可缺少的基础函数库；但有时候iconv对于部分数据转码会无缘无故的少一些。比如在转换字符"—"到gb2312时会出错。下面一起慢慢看一下这个函数的用法。你没有看错，就

amberom 0喜欢 / 0评论 2019-12-24

python3中的编码与解码原理

两位共可以表示16*16=256个数，即可以表示2^8=2568位的二进制数可以表示的数。再注意到‘\u4e2d\u6587‘直接输出和print都会出现“中文”二字，进一步说明python3中我们通常说的字符其实就是Unicode，将他们看成完全一样的就

GhostLWB 0喜欢 / 0评论 2019-12-15

Python3的unicode编码转换成中文问题

从别的地方搬过来的，担心以后不容易搜索到，就收集过来。我发过去的是utf-8编码，中间有中文，"新A1EY16"，结果发回来的却是："\u65b0A1EY16". 原创蓝一潇、薛定谔的猫发布于2019-02-09 0

88540591 0喜欢 / 0评论 2019-12-10

Python中的Base64编码的加密与解密

由于某些系统中只能使用ASCII字符。Base64就是用来将非ASCII字符的数据转换成ASCII字符的一种方法。在网页图片传输中，一般在处理极小、极简的一些图片的时候可以使用到base64编码将图片直接写入css文件展示到网站上。在Python中你的Ba

katyusha 0喜欢 / 0评论 2019-12-08

Linux使用iconv转换文件编码集

1. 首先，我得知道这个文件具体采用的是什么样的编码，如果是ISO-8859我将会把它转成UTF-8，其他的ASCII这些都先不做处理，这里可以使用file filename或者是enca iconv

守正出奇 0喜欢 / 0评论 2013-08-15

关于Python编码这一篇文章就够了

在使用Python或者其他的编程语言，都会多多少少遇到编码错误，处理起来非常痛苦。在Stack Overflow和其他的编程问答网站上，UnicodeDecodeError和UnicodeEncodeError也经常被提及。本篇教程希望能帮你认识Pytho

typhoonpython 0喜欢 / 0评论 2019-11-19

linux下查看文件编码及修改编码

2. enca 查看文件编码$ enca filenamefilename: Universal transformation format 8 bits; UTF-8CRLF line terminators需要说明一点的是，enca对某些GBK编码的文

wenteryan 0喜欢 / 0评论 2015-01-28

C/C++ 编程中多国语言处理

多国语言的存在、不同语言操作系统的存在，使得针对多语言的设计颇费周章，在编码上所付出的工作量也是可观的。所谓编码的问题，归结起来，就是二进制的编码以何种编码格式进行解析的问题。特别是在硬盘文件和内存数据的相互转化、即读写过程中，如果采用了错误的编码格式，就

DreamsofJAVAD 0喜欢 / 0评论 2010-04-19

[Python函数]encode,decode

我们知道，计算机是以二进制为单位的，也就是说计算机只识别0和1,也就是我们平时在电脑上看到的文字，只有先变成0和1，计算机才会识别它的意思。这种数据和二进制的转换规则就是编码。计算机的发展中，有ASCII码，GBK，Unicode，utf-8编码。我们先从

typhoonpython 0喜欢 / 0评论 2019-11-13

error C2665: “outtextxy”: 2 个重载中没有一个可以转换所有参数类型

一些程序在 VC6 下运行好好地，但是放到 VC2008 及更高版本 VC下编译却报错误，例如使用如下语句：。error C2665: ‘outtextxy‘ : none of the 2 overloads could convert all the

84590091 0喜欢 / 0评论 2019-11-09

python基础字符编码转换

#python2上所有的字符编码都需要先decode到unicode,再从unicode encode到目标编码。#二进制转换为字符串，使用decode，此处二进制的编码格式如果填写错误可能会导致二进制无法转换为字符串，导致程序报错。#python3上默认

JakobHu 0喜欢 / 0评论 2019-11-09

工作中-错误总结

字符串在Python内部的表示是unicode编码，因此，在做编码转换时，通常需要以unicode作为中间编码，即先将其他编码的字符串解码成unicode，再从unicode编码成另一种编码。Decode的作用是将其他编码的字符串转换成unicode编码，

千锋 0喜欢 / 0评论 2019-11-04

字符集详解

encoding 是 charset encoding 的简写，即字符集编码，简称编码。编号不涉及具体使用多少字节来表示、是用定长还是变长方案等细节问题。编号仅仅是一个抽象的概念，将具体字符映射到一个唯一的code上，是把字符数字化的一个过程。Unicod

80467305 0喜欢 / 0评论 2019-11-04

Android编码规范

　　7.styles.xml：将layout中不断重现的style提炼出通用的style通用组件，放到styles.xml中;　　服务端响应数据是否有效判断;　　3.使用线程池，分为核心线程池和普通线程池，下载图片等耗时任务放置在普通线程池，避免耗时任务阻

chenjinlong 0喜欢 / 0评论 2014-03-21

关于常见的编码的定义、关系以及使用场景（UTF-X Unicode ASCII GBK等）

*作为新手，初上手写代码，在开发过程中逐渐发现对于各种编码的属性和意义都有了更深入的理解，随之也更加不清楚各种编码之间的关系以及如何转换。本文章通过整理总结各种编码，帮助自己了解在各种环境下应该使用何种编码，希望以后不会再迷惑。所以UTF-X就是为了解决这

butterflyfly00 0喜欢 / 0评论 2019-11-04

Redis内存模型及应用解读读后随笔

这一部分在日常开发中不会经常用到，除非redis出现一些读写问题时可以结合本章排查。主要介绍了redis底层存储数据的结构、jemalloc内存分配器简介、RedisObject这个redis基本对象的字段含义以及SDS的结构和优势

qingmuluoyang 0喜欢 / 0评论 2019-10-31

从Go语言编码角度解释实现简易区块链

人们可以用许多不同的方式解释区块链技术，其中通过加密货币来看区块链一直是主流。大多数人接触区块链技术都是从比特币谈起，但比特币仅仅是众多加密货币的一种。从金融学相关角度来看，区块链是一种存储数据的方式，去中心化的数据库，应用到比特币也就是去中心化账本；从密

lookat 0喜欢 / 0评论 2019-10-27

Python中字符的编码与解码

　　我们都知道字符串，就是由一些字符组成的序列构成串，那么字符又是什么呢？计算机只能识别二进制的东西，那么计算机又为什么会显示我们的汉字，或者是某个字母呢？　　随机计算机的普遍，各国有不同的语言，每个国家为了普及计算机的使用，那么如何将各自国家的语言表达在

wklken的笔记 0喜欢 / 0评论 2019-10-27

一篇文章搞懂python2、3编码

　　编码问题一直困扰着每一个程序员的编程之路，如果不将它彻底搞清楚，那么你的的这条路一定会走的格外艰辛，尤其是针对使用python的程序员来说，这一问题更加显著，　　因为python有两个版本,这两个版本编码格式却完全不同，但我们却经常需要兼顾这两个版本，

88384957 0喜欢 / 0评论 2019-10-26

unicode和utf-8编码区别

以前使用Python2，一直为中文烦恼，也不知道为什么开头就要声明#coding=utf-8，后来用了Python3，发现就不用这样了，还是想彻底弄懂下这是为什么。如果在Python3中，它默认就是Unicode编码，就可以直接encode成utf-8格式

88540591 0喜欢 / 0评论 2019-10-24

oralce 修改编码

如果发现你select 出来的数据是乱码，请把client端的字符集配置成与linux操作系统相同的字符集。如果还是有乱码，则有可能是数据库中的数据存在问题，或者是oracle服务端的配置存在问题。其它字符集设置同上

zbcaicai 0喜欢 / 0评论 2019-10-23

18个Python脚本可加速你的编码速度

Python的可读性和设计简单性是其广受欢迎的两个主要原因。一些常见的Python技巧可以帮助你提高编码速度。以下代码段可用于查找字符串中的所有唯一元素。这是使用title()字符串类的方法完成的。以下代码段使用Python切片操作来反转字符串。在我们的情

Phoenixor 0喜欢 / 0评论 2019-10-17

5 个 JS 不良编码习惯，你占几个呢？

你几乎不明白代码的作用?代码使用了很多 JavaScript 技巧?命名和编码风格太过随意?这些都是不良编码习惯的征兆。在这篇文章中，我描述了JavaScript中常见的5种不良编码习惯。重要的是，本文会给出一些可行的建议，如何的摆脱这些习惯。JavaSc

jipengx 0喜欢 / 0评论 2019-10-15