linux下c语言利用iconv函数实现utf-8转unicode

提示：扫一扫查出行
【扫一扫了解最新限行尾号】
复制提示

iconv是linux下的编码转换的工具，它提供命令行的使用和函数接口支持

man手册iconv命令用法如下：

iconv -f encoding -t encoding inputfile

有如下选项可用:

输入/输出格式规范：

-f, --from-code=名称原始文本编码
-t, --to-code=名称输出编码

信息：

-l, --list 列举所有已知的字符集

输出控制：

-c 从输出中忽略无效的字符
-o, --output=FILE 输出文件
-s, --silent 关闭警告
--verbose 打印进度信息

示例：下面的命令是将一个utf8编码的文件转换为一个unicode编码的文件

iconv -f utf- -t unicode utf8file.txt> unicodefile.txt

iconv函数族的头文件是iconv.h,使用前需包含之。

#include <iconv.h>

iconv函数族有三个函数,原型如下:

iconv_t iconv_open(const char *tocode, const char *fromcode);

此函数说明将要进行哪两种编码的转换,tocode是目标编码,fromcode是原编码,该函数返回一个转换句柄,供以下两个函数使用。

size_t iconv(iconv_t cd,char **inbuf,size_t *inbytesleft,char **outbuf,size_t *outbytesleft);

此函数从inbuf中读取字符,转换后输出到outbuf中,inbytesleft用以记录还未转换的字符数,outbytesleft用以记录输出缓冲的剩余空间。

注意：inbuf和outbuf都必须是有存储空间的不能定义为常量，如：char *inbuf = "abc" 或者是char *outbuf = "123"这样定义都是错误的。另外inbuf，inbytesleft，outbuf，outbytesleft这几个参数在使用过程中都会改变，最好是先保存一下原值，然后再使用

int iconv_close(iconv_t cd);

此函数用于关闭转换句柄,释放资源。

基本使用举例：

#include <stdio.h>
#include <stdlib.h>
#include <string.h>
#include <iconv.h>int main(int argc, char **argv)
{
/* 目的编码, TRANSLIT：遇到无法转换的字符就找相近字符替换
* IGNORE ：遇到无法转换字符跳过*/
//char *encTo = "UNICODE//TRANSLIT";
char *encTo = "UNICODE//IGNORE";
/* 源编码 */
char *encFrom = "UTF-8"; /* 获得转换句柄
*@param encTo 目标编码方式
*@param encFrom 源编码方式
*
* */
iconv_t cd = iconv_open (encTo, encFrom);
if (cd == (iconv_t)-)
{
perror ("iconv_open");
} /* 需要转换的字符串 */
char inbuf[] = "abcdef哈哈哈哈行";
size_t srclen = strlen (inbuf);
/* 打印需要转换的字符串的长度 */
printf("srclen=%d\n", srclen); /* 存放转换后的字符串 */
size_t outlen = ;
char outbuf[outlen];
memset (outbuf, , outlen); /* 由于iconv()函数会修改指针，所以要保存源指针 */
char *srcstart = inbuf;
char *tempoutbuf = outbuf; /* 进行转换
*@param cd iconv_open()产生的句柄
*@param srcstart 需要转换的字符串
*@param srclen 存放还有多少字符没有转换
*@param tempoutbuf 存放转换后的字符串
*@param outlen 存放转换后,tempoutbuf剩余的空间
*
* */
size_t ret = iconv (cd, &srcstart, &srclen, &tempoutbuf, &outlen);
if (ret == -)
{
perror ("iconv");
}
printf ("inbuf=%s, srclen=%d, outbuf=%s, outlen=%d\n", inbuf, srclen, outbuf, outlen);
int i = 0;
for (i=; i<strlen(outbuf); i++)
{
printf("%x\n", outbuf[i]);
}
/* 关闭句柄 */
iconv_close (cd); return ;
}

下面做了一下函数的封装：

/*
* =====================================================================================
*
* Filename: iconv.c
*
* Description: j
*
* Version: 1.0
* Created: 08/05/2015 05:51:47 PM
* Revision: none
* Compiler: gcc
*
* Author: YOUR NAME (),
* Organization:
*
* =====================================================================================
*/#include <stdio.h>
#include <stdlib.h>
#include <string.h>
#include <stdbool.h>
#include <iconv.h>
bool unicode_to_utf8 (char *inbuf, size_t *inlen, char *outbuf, size_t *outlen)
{
/* 目的编码, TRANSLIT：遇到无法转换的字符就找相近字符替换
* IGNORE ：遇到无法转换字符跳过*/
char *encTo = "UTF-8//IGNORE";

/* 源编码 */
char *encFrom = "UNICODE"; /* 获得转换句柄
*@param encTo 目标编码方式
*@param encFrom 源编码方式
*
* */
iconv_t cd = iconv_open (encTo, encFrom);
if (cd == (iconv_t)-)
{
perror ("iconv_open");
} /* 需要转换的字符串 */
printf("inbuf=%s\n", inbuf); /* 打印需要转换的字符串的长度 */
printf("inlen=%d\n", *inlen); /* 由于iconv()函数会修改指针，所以要保存源指针 */
char *tmpin = inbuf;
char *tmpout = outbuf;
size_t insize = *inlen;
size_t outsize = *outlen; /* 进行转换
*@param cd iconv_open()产生的句柄
*@param srcstart 需要转换的字符串
*@param inlen 存放还有多少字符没有转换
*@param tempoutbuf 存放转换后的字符串
*@param outlen 存放转换后,tempoutbuf剩余的空间
*
* */
size_t ret = iconv (cd, &tmpin, inlen, &tmpout, outlen);
if (ret == -)
{
perror ("iconv");
} /* 存放转换后的字符串 */
printf("outbuf=%s\n", outbuf); //存放转换后outbuf剩余的空间
printf("outlen=%d\n", *outlen); int i = ; for (i=; i<(outsize- (*outlen)); i++)
{
//printf("%2c", outbuf[i]);
printf("%x\n", outbuf[i]);
} /* 关闭句柄 */
iconv_close (cd); return ;
}bool utf8_to_unicode (char *inbuf, size_t *inlen, char *outbuf, size_t *outlen)
{ /* 目的编码, TRANSLIT：遇到无法转换的字符就找相近字符替换
* IGNORE ：遇到无法转换字符跳过*/
char *encTo = "UNICODE//IGNORE";
/* 源编码 */
char *encFrom = "UTF-8"; /* 获得转换句柄
*@param encTo 目标编码方式
*@param encFrom 源编码方式
*
* */
iconv_t cd = iconv_open (encTo, encFrom);
if (cd == (iconv_t)-)
{
perror ("iconv_open");
} /* 需要转换的字符串 */
printf("inbuf=%s\n", inbuf); /* 打印需要转换的字符串的长度 */
printf("inlen=%d\n", *inlen); /* 由于iconv()函数会修改指针，所以要保存源指针 */
char *tmpin = inbuf;
char *tmpout = outbuf;
size_t insize = *inlen;
size_t outsize = *outlen; /* 进行转换
*@param cd iconv_open()产生的句柄
*@param srcstart 需要转换的字符串
*@param inlen 存放还有多少字符没有转换
*@param tempoutbuf 存放转换后的字符串
*@param outlen 存放转换后,tempoutbuf剩余的空间
*
* */
size_t ret = iconv (cd, &tmpin, inlen, &tmpout, outlen);
if (ret == -)
{
perror ("iconv");
} /* 存放转换后的字符串 */
printf("outbuf=%s\n", outbuf); //存放转换后outbuf剩余的空间
printf("outlen=%d\n", *outlen); int i = ; for (i=; i<(outsize- (*outlen)); i++)
{
//printf("%2c", outbuf[i]);
printf("%x\n", outbuf[i]);
} /* 关闭句柄 */
iconv_close (cd); return ;
}int main ()
{
/* 需要转换的字符串 */
//char inbuf[1024] = "abcdef哈哈哈哈行";
char *text = "汉"; char inbuf[] = {};
strcpy (inbuf, text);
size_t inlen = strlen (inbuf); /* 存放转换后的字符串 */
char outbuf[] = {};
size_t outlen = ; utf8_to_unicode (inbuf, &inlen, outbuf, &outlen);
printf ("print outbuf: %s\n", outbuf); size_t outsize = strlen(outbuf);
size_t insize = ;
char instr[] = {};
unicode_to_utf8 (outbuf, &outsize, instr, &insize);
printf ("print buf: %s\n", instr);
return ;
}