Перенаправить стандартный вывод в файл в Python? - PullRequest
268 голосов
/ 13 января 2011

Как перенаправить стандартный вывод в произвольный файл в Python?

Когда долгоиграющий скрипт Python (например, веб-приложение) запускается изнутри сеанса ssh и запускается в фоновом режиме, а сеанс ssh закрывается, приложение вызывает IOError и завершается ошибкой в ​​тот момент, когда оно пытается выполнить запись в стандартный вывод. Мне нужно было найти способ, чтобы приложение и модули выводили в файл, а не в stdout, чтобы предотвратить сбой из-за IOError. В настоящее время я использую nohup для перенаправления вывода в файл, и это делает работу, но мне было интересно, есть ли способ сделать это без использования nohup, из любопытства.

Я уже пробовал sys.stdout = open('somefile', 'w'), но, похоже, это не мешает некоторым внешним модулям по-прежнему выводить на терминал (или, возможно, строка sys.stdout = ... вообще не сработала). Я знаю, что он должен работать из более простых скриптов, на которых я тестировал, но у меня еще не было времени для тестирования веб-приложения.

Ответы [ 10 ]

346 голосов
/ 13 января 2011

Если вы хотите сделать перенаправление внутри скрипта Python, установите sys.stdout для файлового объекта, выполняя хитрость:

import sys
sys.stdout = open('file', 'w')
print('test')

Гораздо более распространенный метод - использование перенаправления оболочки при выполнениив Windows и Linux):

$ python foo.py > file
138 голосов
/ 16 марта 2014

В Python 3.4 есть contextlib.redirect_stdout() функция :

from contextlib import redirect_stdout

with open('help.txt', 'w') as f:
    with redirect_stdout(f):
        print('it now prints to `help.text`')

Это похоже на:

import sys
from contextlib import contextmanager

@contextmanager
def redirect_stdout(new_target):
    old_target, sys.stdout = sys.stdout, new_target # replace sys.stdout
    try:
        yield new_target # run some code with the replaced stdout
    finally:
        sys.stdout = old_target # restore to the previous value

, который можно использовать в более ранних версиях Python. Последняя версия не для повторного использования . При желании его можно сделать одним.

Он не перенаправляет стандартный вывод на уровне дескрипторов файлов, например ::11014.

import os
from contextlib import redirect_stdout

stdout_fd = sys.stdout.fileno()
with open('output.txt', 'w') as f, redirect_stdout(f):
    print('redirected to a file')
    os.write(stdout_fd, b'not redirected')
    os.system('echo this also is not redirected')

b'not redirected' и 'echo this also is not redirected' не перенаправляются в файл output.txt.

Для перенаправления на уровне дескриптора файла можно использовать os.dup2():

import os
import sys
from contextlib import contextmanager

def fileno(file_or_fd):
    fd = getattr(file_or_fd, 'fileno', lambda: file_or_fd)()
    if not isinstance(fd, int):
        raise ValueError("Expected a file (`.fileno()`) or a file descriptor")
    return fd

@contextmanager
def stdout_redirected(to=os.devnull, stdout=None):
    if stdout is None:
       stdout = sys.stdout

    stdout_fd = fileno(stdout)
    # copy stdout_fd before it is overwritten
    #NOTE: `copied` is inheritable on Windows when duplicating a standard stream
    with os.fdopen(os.dup(stdout_fd), 'wb') as copied: 
        stdout.flush()  # flush library buffers that dup2 knows nothing about
        try:
            os.dup2(fileno(to), stdout_fd)  # $ exec >&to
        except ValueError:  # filename
            with open(to, 'wb') as to_file:
                os.dup2(to_file.fileno(), stdout_fd)  # $ exec > to
        try:
            yield stdout # allow code to be run with the redirected stdout
        finally:
            # restore stdout to its previous value
            #NOTE: dup2 makes stdout_fd inheritable unconditionally
            stdout.flush()
            os.dup2(copied.fileno(), stdout_fd)  # $ exec >&copied

Тот же самый пример теперь работает, если вместо redirect_stdout() используется stdout_redirected():

import os
import sys

stdout_fd = sys.stdout.fileno()
with open('output.txt', 'w') as f, stdout_redirected(f):
    print('redirected to a file')
    os.write(stdout_fd, b'it is redirected now\n')
    os.system('echo this is also redirected')
print('this is goes back to stdout')

Вывод, который ранее был напечатан на stdout, теперь передается в output.txt, пока активен менеджер контекста stdout_redirected().

Примечание: stdout.flush() не смывает C stdio буферы на Python 3, где ввод / вывод осуществляется непосредственно при системных вызовах read() / write(). Чтобы очистить все открытые потоки вывода C stdio, вы можете явно вызвать libc.fflush(None), если какое-то расширение C использует ввод / вывод на основе stdio:

try:
    import ctypes
    from ctypes.util import find_library
except ImportError:
    libc = None
else:
    try:
        libc = ctypes.cdll.msvcrt # Windows
    except OSError:
        libc = ctypes.cdll.LoadLibrary(find_library('c'))

def flush(stream):
    try:
        libc.fflush(None)
        stream.flush()
    except (AttributeError, ValueError, IOError):
        pass # unsupported

Вы можете использовать параметр stdout для перенаправления других потоков, а не только sys.stdout, например, для объединения sys.stderr и sys.stdout:

def merged_stderr_stdout():  # $ exec 2>&1
    return stdout_redirected(to=sys.stdout, stdout=sys.stderr)

Пример:

from __future__ import print_function
import sys

with merged_stderr_stdout():
     print('this is printed on stdout')
     print('this is also printed on stdout', file=sys.stderr)

Примечание: stdout_redirected() смешивает буферизованный ввод / вывод (обычно sys.stdout) и небуферизованный ввод / вывод (операции с дескрипторами файлов напрямую). Осторожно, может быть буферизация выпусков .

Чтобы ответить, ваше редактирование: вы можете использовать python-daemon, чтобы демонизировать ваш скрипт и использовать модуль logging (как предложено @ erikb85 ) вместо операторов print и просто перенаправьте стандартный вывод для вашего долго работающего скрипта Python, который вы сейчас запускаете с помощью nohup.

88 голосов
/ 07 мая 2011

Вы можете попробовать это намного лучше

import sys

class Logger(object):
    def __init__(self, filename="Default.log"):
        self.terminal = sys.stdout
        self.log = open(filename, "a")

    def write(self, message):
        self.terminal.write(message)
        self.log.write(message)

sys.stdout = Logger("yourlogfilename.txt")
print "Hello world !" # this is should be saved in yourlogfilename.txt
29 голосов
/ 24 июля 2012

Другие ответы не охватывали случай, когда вы хотите, чтобы разветвленные процессы поделились вашим новым stdout.

Для этого:

from os import open, close, dup, O_WRONLY

old = dup(1)
close(1)
open("file", O_WRONLY) # should open on 1

..... do stuff and then restore

close(1)
dup(old) # should dup to 1
close(old) # get rid of left overs
26 голосов
/ 05 февраля 2013

Цитируется из PEP 343 - Оператор "with" (добавлен оператор импорта):

Временно перенаправить стандартный вывод:

import sys
from contextlib import contextmanager
@contextmanager
def stdout_redirected(new_stdout):
    save_stdout = sys.stdout
    sys.stdout = new_stdout
    try:
        yield None
    finally:
        sys.stdout = save_stdout

Используется следующим образом:

with open(filename, "w") as f:
    with stdout_redirected(f):
        print "Hello world"

Конечно, это не потокобезопасно, но и этот танец не выполняется вручную. В однопоточных программах (например, в скриптах) это популярный способ работы.

11 голосов
/ 13 января 2011
import sys
sys.stdout = open('stdout.txt', 'w')
3 голосов
/ 17 мая 2015

Вам необходим терминальный мультиплексор, например tmux или Экран GNU

Я удивлен, что небольшой комментарий Райана Амоса к исходному вопросу - единственное упоминание о решении, гораздо более предпочтительном, чем все остальные, предлагаемые, независимо от того, насколько хитрым может быть обман с питоном и сколько голосов они высказывают. мы получили. В дополнение к комментарию Райана, tmux - хорошая альтернатива экрану GNU.

Но принцип тот же: если вы когда-нибудь захотите оставить работу терминала во время выхода из системы, отправляйтесь в кафе за сэндвичем, загляните в ванную, пойдите домой (и т. Д.), А потом, переподключитесь к сеансу терминала из любого места или с любого компьютера, как если бы вас никогда не было, терминальные мультиплексоры - ответ . Думайте о них как о VNC или удаленном рабочем столе для терминальных сессий. Все остальное - обходной путь. В качестве бонуса, когда к вам придет босс и / или партнер и вы случайно нажмете ctrl-w / cmd-w в окне терминала, а не в окне браузера с его хитрым контентом, вы не потеряете обработку за последние 18 часов. !

2 голосов
/ 30 января 2015

Исходя из этого ответа: https://stackoverflow.com/a/5916874/1060344, вот еще один способ, который я выяснил, который я использую в одном из моих проектов.Что бы вы ни заменяли sys.stderr или sys.stdout на, вы должны убедиться, что замена соответствует интерфейсу file, особенно если это то, что вы делаете, потому что stderr / stdout используются в какой-то другой библиотеке, которая не находится подваш контроль.Эта библиотека может использовать другие методы файлового объекта.

Проверьте этот путь, где я все еще позволяю все делать stderr / stdout (или любой файл в этом отношении), а также отправляю сообщение в файл журнала, используя Pythonсредство ведения журнала (но вы действительно можете сделать что-нибудь с этим):

class FileToLogInterface(file):
    '''
    Interface to make sure that everytime anything is written to stderr, it is
    also forwarded to a file.
    '''

    def __init__(self, *args, **kwargs):
        if 'cfg' not in kwargs:
            raise TypeError('argument cfg is required.')
        else:
            if not isinstance(kwargs['cfg'], config.Config):
                raise TypeError(
                    'argument cfg should be a valid '
                    'PostSegmentation configuration object i.e. '
                    'postsegmentation.config.Config')
        self._cfg = kwargs['cfg']
        kwargs.pop('cfg')

        self._logger = logging.getlogger('access_log')

        super(FileToLogInterface, self).__init__(*args, **kwargs)

    def write(self, msg):
        super(FileToLogInterface, self).write(msg)
        self._logger.info(msg)
1 голос
/ 08 июня 2013

Программы, написанные на других языках (например, C), должны выполнять особую магию (называемую двойным разветвлением), чтобы явно отсоединиться от терминала (и предотвратить процессы зомби). Поэтому я думаю, что лучшим решением будет подражать им.

Плюс повторного выполнения вашей программы является то, что вы можете выбирать перенаправления в командной строке, например, /usr/bin/python mycoolscript.py 2>&1 1>/dev/null

См. Этот пост для получения дополнительной информации: В чем причина выполнения двойного форка при создании демона?

0 голосов
/ 19 февраля 2018

Вот вариант Юда Правира ответ:

  • реализовать flush() и все атрибуты файла
  • записать его как менеджер контекста
  • захват stderr также

.

import contextlib, sys

@contextlib.contextmanager
def log_print(file):
    # capture all outputs to a log file while still printing it
    class Logger:
        def __init__(self, file):
            self.terminal = sys.stdout
            self.log = file

        def write(self, message):
            self.terminal.write(message)
            self.log.write(message)

        def __getattr__(self, attr):
            return getattr(self.terminal, attr)

    logger = Logger(file)

    _stdout = sys.stdout
    _stderr = sys.stderr
    sys.stdout = logger
    sys.stderr = logger
    try:
        yield logger.log
    finally:
        sys.stdout = _stdout
        sys.stderr = _stderr


with log_print(open('mylogfile.log', 'w')):
    print('hello world')
    print('hello world on stderr', file=sys.stderr)

# you can capture the output to a string with:
# with log_print(io.StringIO()) as log:
#   ....
#   print('[captured output]', log.getvalue())
...