分布式环境中，模块数据交互协议分析 (百度brpc)

提示：扫一扫查出行
【扫一扫了解最新限行尾号】
复制提示

1. 背景

之前听到同事说，要为自己的模块考虑写个数据协议。今天有空想了一下。写出来，方便后续使用。

开源代码brpc 中可以支持多种协议，nshead、redis、mongo等20多种协议。

2. 什么是数据交互协议？

这里说的协议，不是tcp/ip这些网络协议。

在分布式环境中，我们需要将模块的数据通过网络bit流传给上、下游模块，就会涉及到数据 完整性 、 正确性 校验。

为了能够校验数据，就需要定义数据交换协议。

3. 代码brpc中的实现

每种协议类型，都需要实现自己的parser类，进行消息的验证。

3.1 bprc 中nshead协议的校验

nshead_t 结构体

static const unsigned int NSHEAD_MAGICNUM = 0xfb709394;  //特殊数字

struct nshead_t {

    unsigned short id;

    unsigned short version;

    unsigned int   log_id;

    char           provider[16];

    unsigned int   magic_num;

    unsigned int   reserved;

    unsigned int   body_len;  //实际传输的包体长度

};

校验过程：magic_num是否正确，是否包体超长，是否包体收到数据不足等。

ParseResult ParseNsheadMessage(butil::IOBuf* source,

                               Socket*, bool /*read_eof*/, const void* /*arg*/) {

    char header_buf[sizeof(nshead_t)];

    const size_t n = source->copy_to(header_buf, sizeof(header_buf));

    if (n < offsetof(nshead_t, magic_num) + 4) {

        return MakeParseError(PARSE_ERROR_NOT_ENOUGH_DATA);

    }   

    const void* dummy = header_buf + offsetof(nshead_t, magic_num);

    const unsigned int magic_num = *(unsigned int*)dummy;

    if (magic_num != NSHEAD_MAGICNUM) {

        RPC_VLOG << "magic_num=" << magic_num

                 << " doesn't match NSHEAD_MAGICNUM=" << NSHEAD_MAGICNUM;

        return MakeParseError(PARSE_ERROR_TRY_OTHERS);

    }

    if (n < sizeof(nshead_t)) {

        return MakeParseError(PARSE_ERROR_NOT_ENOUGH_DATA);

    }   

    const nshead_t* nshead = (const nshead_t *)header_buf;

    uint32_t body_len = nshead->body_len;

    if (body_len > FLAGS_max_body_size) {

        return MakeParseError(PARSE_ERROR_TOO_BIG_DATA);

    }

    else if (source->length() < sizeof(header_buf) + body_len) {

        return MakeParseError(PARSE_ERROR_NOT_ENOUGH_DATA);

    }   

    policy::MostCommonMessage* msg = policy::MostCommonMessage::Get();

    source->cutn(&msg->meta, sizeof(header_buf));

    source->cutn(&msg->payload, body_len);

    return MakeMessage(msg);

}

3.2 bprc 中redis协议的校验

先看看redis中的协议，比如下面主从复制时需要的select db的情形。表示有2行(*2)，第一行len:6, vak:SELECT, 第二行len:2, val:10

*2\r\n

$6\r\n

SELECT\r\n

$2\r\n

10\r\n

校验过程：字符串处理，switch ...case...

bool RedisReply::ConsumePartialIOBuf(butil::IOBuf& buf, butil::Arena* arena) {

    // Notice that all branches returning false must not change `buf'.

    const char* pfc = (const char*)buf.fetch1();

    if (pfc == NULL) {

        return false;

    }

    const char fc = *pfc;  // first character

    switch (fc) {

    case '-':   // Error          "-<message>\r\n"

    case '+': { // Simple String  "+<string>\r\n"

    ......