正文

Nodejs进阶：服务端字符编解码&乱码处理

IP云
IP云V管理员/12 阅读
08/20
提示：扫一扫查出行
【扫一扫了解最新限行尾号】
复制提示

写在前面

在web服务端开发中，字符的编解码几乎每天都要打交道。编解码一旦处理不当，就会出现令人头疼的乱码问题。

不少从事node服务端开发的同学，由于对字符编码码相关知识了解不足，遇到问题时，经常会一筹莫展，花大量的时间在排查、解决问题。

文本先对字符编解码的基础知识进行简单介绍，然后举例说明如何在node中进行编解码，最后是服务端的代码案例。本文相关代码示例可在这里找到。

关于字符编解码

在网络通信的过程中，传输的都是二进制的比特位，不管发送的内容是文本还是图片，采用的语言是中文还是英文。

举个例子，客户端向服务端发送"你好"。

客户端 --- 你好 ---> 服务端

这中间包含了两个关键步骤，分别对应的是编码、解码。

  1. 客户端：将"你好"这个字符串，编码成计算机网络需要的二进制比特位。
  2. 服务端：将接收到的二进制比特位，解码成"你好"这个字符串。

总结一下：

  1. 编码：将需要传送的数据，转成对应的二进制比特位。
  2. 解码：将二进制比特位，转成原始的数据。

上面有些重要的技术细节没有提到，答案在下一小节。

  • 客户端怎么知道"你好"这个字符对应的比特位是多少？
  • 服务端收到二进制比特位之后，怎么知道对应的字符串是什么？

关于字符集和字符编码

上面提到字符、二进制的转换问题。既然两者可以互相转换，也就是说存在明确的转换规则，可以实现字符<->二进制的相互转换。

这里提到的转换规则，其实就是我们经常听到的字符集&字符编码。

字符集是一系列字符（文字、标点符号等）的集合。字符集有很多，常见的有ASCII、Unicode、GBK等。不同字符集主要的区别在于包含字符个数的不同。

了解了字符集的概念后，接下来介绍下字符编码。

字符集告诉我们支持哪些字符，但具体字符怎么编码，是由字符编码决定的。比如Unicode字符集，支持的字符编码有UTF8(常用)、UTF16、UTF32。

概括一下：

  • 字符集：字符的集合，不同字符集包含的字符数不同。
  • 字符编码：字符集中字符的实际编码方式。
  • 一个字符集可能有多种字符编码方式。

可以把字符编码看成一个映射表，客户端、服务端就是根据这个映射表，来实现字符跟二进制的编解码转换。

举个例子，"你"这个字符，在UTF8编码中，占据三个字节0xe4 0xbd 0xa0，而在GBK编码中，占据两个字节0xc4 0xe3。

字符编解码例子

上面已经提到了字符编解码所需的基础知识。下面我们看一个简单的例子，这里借助了icon-lite这个库来帮助我们实现编解码的操作。

可以看到，在字符编码时，我们采用了gbk。在解码时，如果同样采用gbk，可以得到原始的字符。而当我们解码时采用utf8时，则出现了乱码。

var iconv = require('iconv-lite');var oriText = '你';var encodedBuff = iconv.encode(oriText, 'gbk');
console.log(encodedBuff);
// <Buffer c4 e3>var decodedText = iconv.decode(encodedBuff, 'gbk');
console.log(decodedText);
// 你var wrongText = iconv.decode(encodedBuff, 'utf8');
console.log(wrongText);
// ��

实际例子：服务端编解码

通常我们需要处理编解码的场景有文件读写、网络请求处理。这里距网络请求的例子，介绍如何在服务端进行编解码。

假设我们运行着如下http服务，监听来自客户端的请求。客户端传输数据时采用了gbk编码，而服务端默认采用的是utf8编码。

如果此时采用默认的utf8对请求进行解码，就会出现乱码，因此需要特殊处理。

服务端代码如下（为简化代码，这里跳过了请求方法、请求编码的判断）

var http = require('http');
var iconv = require('iconv-lite');// 假设客户端采用post方法，编码为gbk
var server = http.createServer(function (req, res) {
var chunks = []; req.on('data', function (chunk) {
chunks.push(chunk)
}); req.on('end', function () {
chunks = Buffer.concat(chunks); // 对二进制进行解码
var body = iconv.decode(chunks, 'gbk');
console.log(body); res.end('HELLO FROM SERVER');
});});server.listen(3000);

对应的客户端代码如下：

var http = require('http');
var iconv = require('iconv-lite');var charset = 'gbk';// 对字符"你"进行编码
var reqBuff = iconv.encode('你', charset);var options = {
hostname: '127.0.0.1',
port: '3000',
path: '/',
method: 'POST',
headers: {
'Content-Type': 'text/plain',
'Content-Encoding': 'identity',
'Charset': charset // 设置请求字符集编码
}
};var client = http.request(options, function(res) {
res.pipe(process.stdout);
});client.end(reqBuff);

相关链接

Nodejs学习笔记

https://github.com/chyingp/nodejs-learning-guide

iconv-lite

https://github.com/ashtuchkin/iconv-lite

Nodejs进阶：服务端字符编解码&乱码处理的更多相关文章

  1. NodeJS学习笔记 进阶 &lpar;1&rpar;Nodejs进阶：服务端字符编解码&amp&semi;乱码处理&lpar;ok&rpar;

    个人总结:这篇文章主要讲解了Nodejs处理服务器乱码及编码的知识,读完这篇文章需要10分钟. 摘选自网络 写在前面 在web服务端开发中,字符的编解码几乎每天都要打交道.编解码一旦处理不当,就会出现 ...

  2. 借助Nodejs在服务端使用jQuery采集17173游戏排行信息

    Nodejs相关依赖模块介绍 Nodejs的优势这里就不做介绍啦,这年头相信大家对它也不陌生了.这里主要介绍一下用到的第三方模块. async:js代码中到处都是异步回调,很多时候我们需要做同步处理, ...

  3. 1&period;Cocos2dx 3&period;2中vector&comma;ValueMap&comma;Touch触摸时间的使用&period;iconv字符编解码

     Cocos2dx3.2以后使用Vector<T>代替了CCArray.案例如下: 头文件:T02Vector.h #ifndef __T02Vector_H__ #define __ ...

  4. mui plus&period;uploader&period;createUpload 上传文件服务端获取文件名中文乱码问题

    客户端上传文件需要做一次url编码:encodeURIComponent(fileName) 服务端:URL解码 var fileName = HttpUtility.UrlDecode(hfc.Fi ...

  5. 示例 - 25行代码等价实现 - 借助Nodejs在服务端使用jQuery采集17173游戏排行信息

    今天在园子里看到一篇文章: 借助Nodejs在服务端使用jQuery采集17173游戏排行信息 感觉用SS来实现相同功能更加简洁, 于是写了一下, 发现25行代码就搞定了 (包括自动翻页), 于是跟大 ...

  6. nodejs实现服务端重定向

    nodejs实现服务端重定向:https://www.jianshu.com/p/5a1500fcd713

  7. vuejs&plus;nodejs支持服务端渲染的博客系统

    感悟 历时两个多月,终于利用工作之余完成了这个项目的1.0版本,为什么要写这个项目?其实基于vuejs+nodejs构建的开源博客系统有很多,但是大多数不支持服务端渲染,也不支持动态标题,只是做到了前 ...

  8. nodejs 开发服务端 child&lowbar;process 调试方法&lpar;1&rpar;

    由于最近正在做一个服务端项目,采用了nodejs引擎开发,主要是master-worker工作机制;主进程可以直接调试,但是子进程调试好像有点麻烦,我没有找到好的方法; worker这里,我分拆成了几 ...

  9. nodejs 上传图片&lpar;服务端输出全部代码&rpar;

    下面代码,全部都是nodejs端的,不用客户端代码.也就是,选择图片的form表单以及上传完毕预览图片的html,都是由node服务端输出的. 1 启动代码:(node upload.js) var ...

随机推荐

  1. Oracle 查询表中字段里数据是否有重复

    1.查找单个字段 select 字段名,count(*) from table group by 字段名 having count(*) > 1 2.查找组合字段: SELECT TEST_NA ...

  2. GEF - 制作一个简单图形化编辑框架笔记1

    在首先来看看GEF是什么,GEF的全称是Graphical Editing Framework,图形化框架,可以利用此框架做图形化编.他的基本原理是采用MVC开发模式. 以下是一些例子 GEF里面包含 ...

  3. IOS多线程知识总结&sol;队列概念&sol;GCD&sol;主队列&sol;并行队列&sol;全局队列&sol;主队列&sol;串行队列&sol;同步任务&sol;异步任务区别（附代码）

    进程:正在进行中的程序被称为进程,负责程序运行的内存分配;每一个进程都有自己独立的虚拟内存空间 线程:线程是进程中一个独立的执行路径(控制单元);一个进程中至少包含一条线程,即主线程 队列 dispa ...

  4. JS判断上传图片格式是否正确

    <!DOCTYPE html> <html> <head lang="en"> <meta charset="UTF-8&quo ...

  5. Monkeyrunner入门示例

    准备工作1.安装Android SDK2.熟悉MonkeyRunner的API(http://article.yeeyan.org/view/37503/164523)3.一部Android手机或模拟 ...

  6. VLAN 模式下的 OpenStack 管理 vSphere 集群方案

    本文不合适转载,只用于自我学习. 关于为什么要用OpenStack 管理 vSphere 集群,原因可以有很多,特别是一些传统企业,VMware 的使用还是很普遍的,用 OpenStack 纳管至少会 ...

  7. JS实现div的抖动：缓动式抖动

    代码如下: <!DOCTYPE html> <html> <head> <meta charset="UTF-8"> <tit ...

  8. jdbc 日期处理问题

    1.从结果集中取得日期部分 resultSet.getDate();  --2013-01-07 2.从结果集中取得时间部分 resultSet.getTime()   --22:08:09 3.从结 ...

  9. EasyUI学习总结&lpar;四&rpar;——parser源码分析

    parser模块是easyloader第一个加载的模块,它的主要作用,就是扫描页面上easyui开头的class标签,然后初始化成easyui控件. /** * parser模块主要是解析页面中eas ...

  10. 无法连接 MKS&colon;套接字连接尝试次数太多正在放弃

    我的电脑 -> 右键 -> 管理 -> 服务和应用程序 -> 服务: 开启下面的服务: 服务启动成功后,重启虚拟机; 或者先挂起虚拟机,等服务启动后,继续运行挂起的虚拟机: