Килобайты или кибибайты во время GNU? - PullRequest
Новая
       82

Килобайты или кибибайты во время GNU?

0 голосов
/ 23 апреля 2020

Мы проводим некоторые измерения производительности, включая измерения объема памяти. Мы занимаемся этим со временем GNU. Но я не могу сказать, измеряются ли они в килобайтах (1000 байт) или в кибибайтах (1024 байт).

Страница руководства моей системы говорит о ключе формата %M (который мы используем для измерения пиковых значений). использование памяти): «Максимальный размер резидентного набора процесса в течение его времени жизни, в килобайтах.»

Я предполагаю, что K здесь означает префикс SI «Kilo», и, следовательно, килобайт. Но, посмотрев несколько других измерений памяти различных вещей с помощью различных инструментов, я верю этому предположению, как если бы я доверял голодному льву присматривать за моими собаками во время недельного отпуска.

Мне нужно знать, потому что для наших тестов 1000 против 1024 Кбайт составляют разницу почти в 8 гигабайт, и я хотел бы думать, что я могу сократить потенциальную ошибку в наших измерениях на несколько миллиардов.

1 Ответ

0 голосов
/ 05 мая 2020

Используя приведенную ниже настройку тестирования, я определил, что время GNU в моей системе измеряется в Кибибайтах.

Приведенная ниже программа (allocator. c) распределяет данные и касается каждого из них по 1 КиБ за раз чтобы гарантировать, что все это будет разбито на страницы. Примечание. Этот тест работает только в том случае, если вы можете просматривать страницы во всех выделенных данных, в противном случае измерение времени будет только самым большим резидентным набором памяти.

allocator. c: 

#include <stdio.h>
#include <stdlib.h>
#include <string.h>

#define min(a,b) ( ( (a)>(b) )? (b) : (a) )

volatile char access;
volatile char* data;

const int step = 128;

int main(int argc, char** argv ){

  unsigned long k = strtoul( argv[1], NULL, 10 );
  if( k >= 0 ){
    printf( "Allocating %lu (%s) bytes\n", k, argv[1] );
    data = (char*) malloc( k );

    for( int i = 0; i < k; i += step ){
      data[min(i,k-1)] = (char) i;
    }

    free( data );
  } else {
    printf("Bad size: %s => %lu\n", argv[1], k ); 
  }
  return 0;
}

скомпилировать с: gcc -O3 allocator.c -o allocator

Бегун Bash Сценарий: 

kibibyte=1024
kilobyte=1000
mebibyte=$(expr 1024 \* ${kibibyte})
megabyte=$(expr 1000 \* ${kilobyte})
gibibyte=$(expr 1024 \* ${mebibyte})
gigabyte=$(expr 1000 \* ${megabyte})

for mult in $(seq 1 3);
do
  bytes=$(expr ${gibibyte} \* ${mult} )
  echo ${mult} GiB \(${bytes} bytes\)
  echo "... in kibibytes: $(expr ${bytes} / ${kibibyte})"
  echo "... in kilobytes: $(expr ${bytes} / ${kilobyte})"
  /usr/bin/time -v ./allocator ${bytes}
  echo "===================================================="
done

Для меня это дает следующий вывод: 

1 GiB (1073741824 bytes)
... in kibibytes: 1048576
... in kilobytes: 1073741
Allocating 1073741824 (1073741824) bytes
    Command being timed: "./a.out 1073741824"
    User time (seconds): 0.12
    System time (seconds): 0.52
    Percent of CPU this job got: 75%
    Elapsed (wall clock) time (h:mm:ss or m:ss): 0:00.86
    Average shared text size (kbytes): 0
    Average unshared data size (kbytes): 0
    Average stack size (kbytes): 0
    Average total size (kbytes): 0
    Maximum resident set size (kbytes): 1049068
    Average resident set size (kbytes): 0
    Major (requiring I/O) page faults: 0
    Minor (reclaiming a frame) page faults: 262309
    Voluntary context switches: 7
    Involuntary context switches: 2
    Swaps: 0
    File system inputs: 16
    File system outputs: 8
    Socket messages sent: 0
    Socket messages received: 0
    Signals delivered: 0
    Page size (bytes): 4096
    Exit status: 0
====================================================
2 GiB (2147483648 bytes)
... in kibibytes: 2097152
... in kilobytes: 2147483
Allocating 2147483648 (2147483648) bytes
    Command being timed: "./a.out 2147483648"
    User time (seconds): 0.21
    System time (seconds): 1.09
    Percent of CPU this job got: 99%
    Elapsed (wall clock) time (h:mm:ss or m:ss): 0:01.31
    Average shared text size (kbytes): 0
    Average unshared data size (kbytes): 0
    Average stack size (kbytes): 0
    Average total size (kbytes): 0
    Maximum resident set size (kbytes): 2097644
    Average resident set size (kbytes): 0
    Major (requiring I/O) page faults: 0
    Minor (reclaiming a frame) page faults: 524453
    Voluntary context switches: 4
    Involuntary context switches: 3
    Swaps: 0
    File system inputs: 0
    File system outputs: 8
    Socket messages sent: 0
    Socket messages received: 0
    Signals delivered: 0
    Page size (bytes): 4096
    Exit status: 0
====================================================
3 GiB (3221225472 bytes)
... in kibibytes: 3145728
... in kilobytes: 3221225
Allocating 3221225472 (3221225472) bytes
    Command being timed: "./a.out 3221225472"
    User time (seconds): 0.38
    System time (seconds): 1.60
    Percent of CPU this job got: 99%
    Elapsed (wall clock) time (h:mm:ss or m:ss): 0:01.98
    Average shared text size (kbytes): 0
    Average unshared data size (kbytes): 0
    Average stack size (kbytes): 0
    Average total size (kbytes): 0
    Maximum resident set size (kbytes): 3146220
    Average resident set size (kbytes): 0
    Major (requiring I/O) page faults: 0
    Minor (reclaiming a frame) page faults: 786597
    Voluntary context switches: 4
    Involuntary context switches: 3
    Swaps: 0
    File system inputs: 0
    File system outputs: 8
    Socket messages sent: 0
    Socket messages received: 0
    Signals delivered: 0
    Page size (bytes): 4096
    Exit status: 0
====================================================

В записи «Максимальный размер резидентного набора» я вижу значения, наиболее близкие к значению в кибибайтах, которое я ожидаю из этого необработанного числа байтов. Существует некоторое различие, потому что возможно, что некоторая память выгружается (в случаях, когда она ниже, чего нет ни у одного из них здесь) и потому, что используется больше памяти, чем то, что выделяет программа (а именно, стек и фактическая само двоичное изображение).

Версии в моей системе: 

> gcc --version
gcc (GCC) 6.1.0
Copyright (C) 2016 Free Software Foundation, Inc.
This is free software; see the source for copying conditions.  There is NO
warranty; not even for MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.

> /usr/bin/time --version
GNU time 1.7

> lsb_release -a
LSB Version:    :base-4.0-amd64:base-4.0-noarch:core-4.0-amd64:core-4.0-noarch:graphics-4.0-amd64:graphics-4.0-noarch:printing-4.0-amd64:printing-4.0-noarch
Distributor ID: CentOS
Description:    CentOS release 6.10 (Final)
Release:    6.10
Codename:   Final
...