Как отслеживать операции ввода-вывода для каждого файла в Linux? - PullRequest
Новая
       29

Как отслеживать операции ввода-вывода для каждого файла в Linux?

10 голосов
/ 08 марта 2012

Мне нужно отслеживать системные вызовы read для определенных файлов, и в настоящее время я делаю это, анализируя вывод strace. Поскольку read работает с файловыми дескрипторами, я должен отслеживать текущее отображение между fd и path. Кроме того, необходимо отслеживать seek, чтобы поддерживать текущую позицию в курсе.

Есть ли лучший способ получить трассировку ввода-вывода для каждого приложения или пути к файлу в Linux?

Ответы [ 6 ]

8 голосов
/ 08 марта 2012

Вы можете подождать, пока файлы откроются, чтобы вы могли узнать fd и присоединить strace после запуска процесса следующим образом:

strace -p pid -e trace= file -e read = fd

5 голосов
/ 18 марта 2012

systemtap - своего рода переопределение DTrace для Linux - здесь может помочь.

Как и в случае с strace, у вас есть только fd, но благодаря возможности написания сценариев его легко поддерживать.имя файла для fd (если не с такими забавными вещами, как dup).Вот пример сценария iotime, который illustates it. 

#! /usr/bin/env stap

/*
 * Copyright (C) 2006-2007 Red Hat Inc.
 * 
 * This copyrighted material is made available to anyone wishing to use,
 * modify, copy, or redistribute it subject to the terms and conditions
 * of the GNU General Public License v.2.
 *
 * You should have received a copy of the GNU General Public License
 * along with this program.  If not, see <http://www.gnu.org/licenses/>.
 *
 * Print out the amount of time spent in the read and write systemcall
 * when each file opened by the process is closed. Note that the systemtap 
 * script needs to be running before the open operations occur for
 * the script to record data.
 *
 * This script could be used to to find out which files are slow to load
 * on a machine. e.g.
 *
 * stap iotime.stp -c 'firefox'
 *
 * Output format is:
 * timestamp pid (executabable) info_type path ...
 *
 * 200283135 2573 (cupsd) access /etc/printcap read: 0 write: 7063
 * 200283143 2573 (cupsd) iotime /etc/printcap time: 69
 *
 */

global start
global time_io

function timestamp:long() { return gettimeofday_us() - start }

function proc:string() { return sprintf("%d (%s)", pid(), execname()) }

probe begin { start = gettimeofday_us() }

global filehandles, fileread, filewrite

probe syscall.open.return {
  filename = user_string($filename)
  if ($return != -1) {
    filehandles[pid(), $return] = filename
  } else {
    printf("%d %s access %s fail\n", timestamp(), proc(), filename)
  }
}

probe syscall.read.return {
  p = pid()
  fd = $fd
  bytes = $return
  time = gettimeofday_us() - @entry(gettimeofday_us())
  if (bytes > 0)
    fileread[p, fd] += bytes
  time_io[p, fd] <<< time
}

probe syscall.write.return {
  p = pid()
  fd = $fd
  bytes = $return
  time = gettimeofday_us() - @entry(gettimeofday_us())
  if (bytes > 0)
    filewrite[p, fd] += bytes
  time_io[p, fd] <<< time
}

probe syscall.close {
  if ([pid(), $fd] in filehandles) {
    printf("%d %s access %s read: %d write: %d\n",
           timestamp(), proc(), filehandles[pid(), $fd],
           fileread[pid(), $fd], filewrite[pid(), $fd])
    if (@count(time_io[pid(), $fd]))
      printf("%d %s iotime %s time: %d\n",  timestamp(), proc(),
             filehandles[pid(), $fd], @sum(time_io[pid(), $fd]))
   }
  delete fileread[pid(), $fd]
  delete filewrite[pid(), $fd]
  delete filehandles[pid(), $fd]
  delete time_io[pid(),$fd]
}

Работает только до определенного количества файлов, поскольку размер хеш-карты ограничен по размеру.

5 голосов
/ 08 марта 2012

Во-первых, вам, вероятно, не нужно отслеживать, потому что отображение между fd и path доступно в /proc/PID/fd/.

Во-вторых, возможно, вам следует использовать трюк LD_PRELOAD и перегрузку в системных вызовах C open, seek и read. Здесь есть статьи здесь и там о том, как перегрузить malloc / free.

Полагаю, не так уж и отличается применение такого же трюка к этим системным вызовам. Он должен быть реализован на C, но он должен занимать гораздо меньше кода и быть более точным, чем анализ strace output.

1 голос
/ 08 марта 2012

Я думаю, перегрузка open, seek и read - хорошее решение. Но просто к вашему сведению, если вы хотите программно проанализировать и проанализировать вывод данных strace, я сделал нечто подобное раньше и поместил свой код в github: https://github.com/johnlcf/Stana/wiki

(Я сделал это, потому что мне нужно проанализировать результаты выполнения программы, запущенной другими, что нелегко попросить их выполнить LD_PRELOAD.)

0 голосов
/ 21 августа 2012

Парсинг утилит командной строки, таких как strace, громоздок;вместо этого вы можете использовать системный вызов ptrace ().Подробнее см. man ptrace.

0 голосов
/ 21 августа 2012

Вероятно, наименее уродливый способ сделать это - использовать fanotify.Fanotify - это средство ядра Linux, которое позволяет дешево наблюдать за событиями в файловой системе.Я не уверен, разрешает ли он фильтрацию по PID, но он передает PID вашей программе, чтобы вы могли проверить, интересует ли вас это.

Вот хороший пример кода: http://bazaar.launchpad.net/~pitti/fatrace/trunk/view/head:/fatrace.c

Тем не менее, на данный момент он недооценен.Все документы, которые я мог найти: http://www.spinics.net/lists/linux-man/msg02302.html и http://lkml.indiana.edu/hypermail/linux/kernel/0811.1/01668.html

...