Размер буфера в трубе 4к или 64к? - PullRequest
Новая
       23

Размер буфера в трубе 4к или 64к?

47 голосов
/ 07 января 2011

Я прочитал в нескольких местах, что размер буфера по умолчанию для канала составляет 4 КБ (например, здесь ), и мой ulimit -a стремится подтвердить это утверждение: 

$ ulimit -a
core file size          (blocks, -c) 0
data seg size           (kbytes, -d) unlimited
scheduling priority             (-e) 0
file size               (blocks, -f) unlimited
pending signals                 (-i) 15923
max locked memory       (kbytes, -l) 64
max memory size         (kbytes, -m) unlimited
open files                      (-n) 1024
pipe size            (512 bytes, -p) 8 // 8 * 512B = 4kB
POSIX message queues     (bytes, -q) 819200
real-time priority              (-r) 0
stack size              (kbytes, -s) 10240
cpu time               (seconds, -t) unlimited
max user processes              (-u) 1024
virtual memory          (kbytes, -v) unlimited
file locks                      (-x) unlimited

Но когда я использую небольшую программу для проверки размера буфера (записывая в канал до блоков write ()), я вижу ограничение в 64 КБ!

Смотрите эту программу: 

#include <stdio.h>
#include <unistd.h>
#include <limits.h>

int main(void)
{
    int tube[2];
    char c = 'c';
    int i;

    fprintf(stdout, "Tube Creation\n");
    fprintf(stdout, "Theoretical max size: %d\n", PIPE_BUF);
    if( pipe(tube) != 0)
    {
        perror("pipe");
        _exit(1);
    }
    fprintf(stdout, "Writing in pipe\n");
    for(i=0;; i++)
    {
        fprintf(stdout, "%d bytes written\n", i+1);
        if( write(tube[1], &c, 1) != 1)
        {
            perror("Write");
            _exit(1);
        }
    }
    return 0;
}

И его вывод: 

$ ./test_buf_pipe 
Tube Creation
Theoretical max size: 4096
Writing in pipe
1 bytes written
2 bytes written
3 bytes written
4 bytes written
[...]
65535 bytes written
[blocks here]

Настоятельно рекомендуется, чтобы размер буфера канала на самом деле составлял 64 КБ! Что здесь происходит ??

Ответы [ 5 ]

48 голосов
/ 07 января 2011

Другие ответы говорят о том, что размер канала составляет 64 КБ.Причина, по которой PIPE_BUF равен 4 КБ, заключается в том, что PIPE_BUF - это самый большой размер, для которого записи гарантированно будут атомарными.Смотри http://pubs.opengroup.org/onlinepubs/9699919799/functions/write.html

13 голосов
/ 17 декабря 2012

Теперь можно программировать

Начиная с Linux 2.6.35, вы можете использовать fcntl (2) с операцией F_SETPIPE_SZ, чтобы установить буфер канала на /proc/sys/fs/pipe-max-size. Это по умолчанию 1 МБ; см. proc (5).

4 голосов
/ 07 мая 2012

По моему опыту, тест с одной записью дал общий размер 65536, но когда я писал 2700 за раз, я мог писать только 16 раз, и тогда следующая попытка останавливается.Я полагаю, что «атомарная» запись должна быть в пределах одного блока 4K, и что для каждой из моих записей она переходит к следующему полному блоку, чтобы удовлетворить запрос.Таким образом, полезный размер канала зависит от размера ваших записей.

3 голосов
/ 07 января 2011

Похоже, ядро ​​использует до 16 буферов, что в сумме составляет 64 КБ.См. Эту ссылку для объяснения вывода ulimit против фактического размера буфера

0 голосов
/ 07 января 2011

Это верно.Начиная с ядра 2.6.11, размер pipe в Linux составляет 64 КБ.Почему ulimit сообщает о 4Kb, я не уверен, но это неправильно.

...