Как макетировать и тестировать открытый питон и панды to_pickle - PullRequest
Новая
       27

Как макетировать и тестировать открытый питон и панды to_pickle

0 голосов
/ 27 февраля 2019

Я пытаюсь протестировать эту функцию, которая берет строку кадра данных pandas, которую он использует для выполнения вызова ftp, сохраненного в csv, открывает этот файл csv, форматирует его и сохраняет его как рассол.

Iхотите проверить следующее:

  1. builtins.open вызывается один раз с (path_to_raw, 'wb') *
  2. to_pickle вызывается один раз с (LOCAL_PKL.format (row.name))

Патчирование buildins.open, похоже, не работает, так как оно вызывается косвенно to_pickle, поэтому тесты не выполняются, так как buildins.open вызывается дважды.

Функция для тестирования: 

def download_file(row):
    path_from = row['source']
    path_to_raw = LOCAL_RAW.format(row.name)

    self.connection = FTP(self.url)
    self.connection.login(self.username, self.password)
    with open(path_to_raw, 'wb') as f:
        self.connection.retrbinary('RETR ' + path_from, f.write)
    self.connection.quit()

    data = pd.read_csv(path_to_raw)
    data.columns = ['a','b','c']
    data.to_pickle(LOCAL_PKL.format(row.name))

Модульные тесты: 

import pandas as pd
import unittest.mock as mock
from unittest.mock import patch, mock_open, MagicMock, call
import maintain

@patch('builtins.open', create=True)
@patch('maintain.pd.read_csv')
def test_download_path(self, mock_open, mock_pd_read_csv):

    mock_pd_read_csv.return_value = pd.DataFrame()      

    @mock.create_autospec
    def mock_pd_to_pickle(self, path):
        pass

    with patch.object(pd.DataFrame, 'to_pickle', mock_pd_to_pickle):

        real = maintain.DataFTP()
        real.connection = MagicMock(name='connection')

        row = pd.Series(data=['a','b'], index=['c','d'])
        row.name = 'anything'

        print(mock_open.assert_called_once_with(maintain.LOCAL_RAW.format(row.name), 'wb'))
        print(mock_pd_to_pickle.assert_called_once_with(maintain.LOCAL_PKL.format(row.name)))

Итак ... это явно не так, но я не уверен почему.Этот тест выдает эту ошибку: 

AssertionError: Expected 'read_csv' to be called once. Called 0 times.

Есть ли у кого-нибудь какие-либо предложения или знаете, как решить эту проблему.Спасибо!

1 Ответ

0 голосов
/ 27 февраля 2019

Наконец-то у меня получилось: 

@patch('builtins.open', new_callable=mock_open)
@patch('maintain.pd.read_csv', return_value=pd.DataFrame())
@patch.object(pd.DataFrame, 'to_pickle')
def test_download_path(self, mock_to_pickle, mock_read_csv, mock_open):

    real = maintain.EODDataFTP()
    real.connection = mock.Mock(name='connection')

    row = pd.Series(data=['','nyse'], index=['source','exchange'])
    row.name = 'anything'

    real.download_file(row)

    mock_open.assert_called_once_with(maintain.LOCAL_RAW.format(row.name), 'wb')
    mock_read_csv.assert_called_once()
    mock_to_pickle.assert_called_once_with(maintain.LOCAL_PKL.format(row.name))
...