Как решить ошибку «R0 invalid mem access 'inv'» при загрузке объекта файла eBPF - PullRequest
Новая
       32

Как решить ошибку «R0 invalid mem access 'inv'» при загрузке объекта файла eBPF

0 голосов
/ 04 ноября 2018

Я пытаюсь загрузить объект eBPF в ядре с libbpf, но безуспешно, получая ошибку, указанную в заголовке. Но позвольте мне показать, насколько прост мой БПФ *_kern.c. 

SEC("entry_point_prog")
int entry_point(struct xdp_md *ctx)
{
    int act = XDP_DROP;
    int rc, i = 0;
    struct global_vars *globals;
    struct ip_addr addr = {};
    struct some_key key = {};
    void *temp;

    globals = bpf_map_lookup_elem(&globals_map, &i);
    if (!globals)
        return XDP_ABORTED;

    rc = some_inlined_func(ctx, &key);

    addr = key.dst_ip;
    temp = bpf_map_lookup_elem(&some_map, &addr);

    switch(rc)
    {
    case 0:
        if(temp)
        {
            // no rocket science here ...
        } else
            act = XDP_PASS;
        break;
    default:
        break;
    }

    return act;  // this gives the error
    //return XDP_<whatever>;  // this works fine
}

Точнее, журнал ошибок libbpf выглядит следующим образом: 

105: (bf) r4 = r0
106: (07) r4 += 8
107: (b7) r8 = 1
108: (2d) if r4 > r3 goto pc+4
 R0=inv40 R1=inv0 R2=inv(id=0,umax_value=4294967295,var_off=(0x0; 0xffffffff)) R3=pkt_end(id=0,off=0,imm=0) R4=inv48 R5=inv512 R6=inv1 R7=inv17 R8=inv1 R10=fp0,call_-1 fp-16=0 fp-32=0 fp-40=0
109: (69) r3 = *(u16 *)(r0 +2)
R0 invalid mem access 'inv'

Я действительно не вижу здесь никаких проблем. Я имею в виду, это так просто, и все же это ломается. Почему это не должно работать? Что мне не хватает? Либо верификатор сошел с ума, либо я делаю что-то очень глупое.

1 Ответ

0 голосов
/ 05 ноября 2018

Итак, через 3 дня, точнее, 3 x 8 часов = 24 часа, стоит охоты на код, я думаю, что я наконец-то нашел проблему с зудом.

Проблема была в some_inlined_func() все время, она была более сложной, чем сложной. Я записываю здесь шаблон кода, объясняющий проблему, чтобы другие могли увидеть и, надеюсь, потратить менее 24 часов головной боли; Я прошел через ад, так что оставайся сосредоточенным. 

__alwais_inline static
int some_inlined_func(struct xdp_md *ctx, /* other non important args */)
{
    if (!ctx)
        return AN_ERROR_CODE;

    void *data = (void *)(long)ctx->data;
    void *data_end = (void *)(long)ctx->data_end;

    struct ethhdr *eth;
    struct iphdr *ipv4_hdr = NULL;
    struct ipv6hdr *ipv6_hdr = NULL;
    struct udphdr *udph;
    uint16_t ethertype;

    eth = (struct ethhdr *)data;
    if (eth + 1 > data_end)
        return AN_ERROR_CODE;

    ethertype = __constant_ntohs(eth->h_proto);
    if (ethertype == ETH_P_IP)
    {
        ipv4_hdr = (void *)eth + ETH_HLEN;
        if (ipv4_hdr + 1 > data_end)
            return AN_ERROR_CODE;

        // stuff non related to the issue ...
    } else if (ethertype == ETH_P_IPV6)
    {
        ipv6_hdr = (void *)eth + ETH_HLEN;
        if (ipv6_hdr + 1 > data_end)
            return AN_ERROR_CODE;

        // stuff non related to the issue ...
    } else
        return A_RET_CODE_1;

    /* here's the problem, but ... */
    udph = (ipv4_hdr) ? ((void *)ipv4_hdr + sizeof(*ipv4_hdr)) :
            ((void *)ipv6_hdr + sizeof(*ipv6_hdr));
    if (udph + 1 > data_end)
        return AN_ERROR_CODE;

    /* it actually breaks HERE, when dereferencing 'udph' */
    uint16_t dst_port = __constant_ntohs(udph->dest);

    // blablabla other stuff here unrelated to the problem ...

    return A_RET_CODE_2;
}

Итак, почему он ломается в этот момент? Я думаю, это потому, что верификатор предполагает, что ipv6_hdr потенциально может быть NULL, что совершенно НЕПРАВИЛЬНО, потому что, если выполнение когда-либо достигнет этой точки, это только потому, что был установлен либо ipv4_hdr, либо ipv6_hdr (т.е. выполнение умирает до этого момента, если это касается ни IPv4, ни IPv6). Таким образом, по-видимому, верификатор не может сделать вывод. Тем не менее, здесь есть одна загвоздка, и она рада, если допустимость ipv6_hdr явно проверена, например: 

if (ipv4_hdr)
    udph = (void *)ipv4_hdr + sizeof(*ipv4_hdr);
else if (ipv6_hdr)
    udph = (void *)ipv6_hdr + sizeof(*ipv6_hdr);
else return A_RET_CODE_1;  // this is redundant

Это также работает, если мы делаем это: 

// "(ethertype == ETH_P_IP)" instead of "(ipv4_hdr)"
udph = (ethertype == ETH_P_IP) ? ((void *)ipv4_hdr + sizeof(*ipv4_hdr)) :
        ((void *)ipv6_hdr + sizeof(*ipv6_hdr));

Итак, мне кажется, что здесь есть что-то странное в верификаторе, потому что он недостаточно умен (может быть, и не должен быть?), Чтобы понять, что если он когда-нибудь дойдет до этого, то только потому, что ctx относится либо к пакет IPv4 или IPv6.

Как все это объясняет жалобу на return act; в entry_point()? Просто, просто терпите меня. some_inlined_func() не меняется ctx, а остальные аргументы не используются ни entry_point(). Таким образом, в случае возврата act, поскольку это зависит от результата some_inlined_func(), выполняется some_inlined_func(), с проверяющим, жалующимся в этой точке. Но в случае возврата XDP_<whatever> в качестве тела switch-case, а также some_inlined_func() не изменит внутреннего состояния программы / функции entry_point(), компилятор (с O2) достаточно умен, чтобы Поймите, что нет смысла производить сборку для some_inlined_func() и всего switch-case (это оптимизация O2 здесь). Таким образом, чтобы сделать вывод, что в случае возврата XDP_<whatever>, верификатор был доволен, так как проблема на самом деле лежит в some_inlined_func(), но в фактически произведенной сборке BPF ничего такого нет, поэтому верификатор не проверял some_inlined_func() потому что не было никого в первую очередь. Имеет смысл?

Известно ли такое "ограничение" БНФ? Есть ли какой-нибудь документ, в котором бы указывались такие известные ограничения? Потому что я не нашел ни одного.

...