Простые вычисления TensorFlow, не воспроизводимые в разных системах (macOS, Colab, Azure) - PullRequest
Новая
       38

Простые вычисления TensorFlow, не воспроизводимые в разных системах (macOS, Colab, Azure)

0 голосов
/ 01 февраля 2019

Я изучаю воспроизводимость кода в TensorFlow на моем компьютере с macOS, в Google Colab и в Azure с Docker.Я понимаю, что могу установить начальное число на уровне графов и начальное число на уровне операций.Я использую нетерпеливый режим (поэтому нет оптимизации параллелизма) и никаких графических процессоров.Я использую случайные отрисовки 100x100 из единицы нормалей и вычисляю их среднее и стандартное отклонение.

Приведенный ниже тестовый код подтверждает, что я не использую графический процессор, что я использую Tensorflow 1.12.0 или предварительный просмотр TensorFlow 2, что тензор, если Float32, первый элемент случайного тензора (который имеет другое значение, если я установил только начальное число на уровне графа или также начальное число на уровне операции), их среднее значение и их стандартное отклонение.Я также установил случайное начальное число NumPy, хотя здесь я его не использую: 

import numpy as np
import tensorflow as tf


def tf_1():
    """Returns True if TensorFlow is version 1"""
    return tf.__version__.startswith("1.")


def format_number(n):
    """Returns the number string-formatted with 12 number after comma."""
    return "%1.12f" % n


def set_top_level_seeds():
    """Sets TensorFlow graph-level seed and Numpy seed."""
    if tf_1():
        tf.set_random_seed(0)
    else:
        tf.random.set_seed(0)
    np.random.seed(0)

def generate_random_numbers(op_seed=None):
    """Returns random normal draws"""

    if op_seed:
        t = tf.random.normal([100, 100], seed=op_seed)
    else:
        t = tf.random.normal([100, 100])  

    return t    

def generate_random_number_stats_str(op_seed=None):
    """Returns mean and standard deviation from random normal draws"""

    t = generate_random_numbers(op_seed = op_seed)

    mean = tf.reduce_mean(t)
    sdev = tf.sqrt(tf.reduce_mean(tf.square(t - mean)))

    return [format_number(n) for n in (mean, sdev)]


def generate_random_number_1_seed():
    """Returns a single random number with graph-level seed only."""
    set_top_level_seeds()
    num = generate_random_numbers()[0, 0]
    return num


def generate_random_number_2_seeds():
    """Returns a single random number with graph-level seed only."""
    set_top_level_seeds()
    num = generate_random_numbers(op_seed=1)[0, 0]
    return num


def generate_stats_1_seed():
    """Returns mean and standard deviation wtih graph-level seed only."""
    set_top_level_seeds()
    return generate_random_number_stats_str()


def generate_stats_2_seeds():
    """Returns mean and standard deviation with graph and operation seeds."""
    set_top_level_seeds()
    return generate_random_number_stats_str(op_seed=1)


class Tests(tf.test.TestCase):
    """Run tests for reproducibility of TensorFlow."""

    def test_gpu(self):
        self.assertEqual(False, tf.test.is_gpu_available())

    def test_version(self):
        self.assertTrue(tf.__version__ == "1.12.0" or
                        tf.__version__.startswith("2.0.0-dev2019"))

    def test_type(self):
        num_type = generate_random_number_1_seed().dtype
        self.assertEqual(num_type, tf.float32)

    def test_eager_execution(self):
        self.assertEqual(True, tf.executing_eagerly())

    def test_random_number_1_seed(self):
        num_str = format_number(generate_random_number_1_seed())
        self.assertEqual(num_str, "1.511062622070")

    def test_random_number_2_seeds(self):
        num_str = format_number(generate_random_number_2_seeds())
        self.assertEqual(num_str, "0.680345416069")

    def test_arithmetic_1_seed(self):
        m, s = generate_stats_1_seed()

        if tf_1():
            self.assertEqual(m, "-0.008264393546")
            self.assertEqual(s, "0.995371103287")
        else:
            self.assertEqual(m, "-0.008264398202")
            self.assertEqual(s, "0.995371103287")

    def test_arithmetic_2_seeds(self):
        m, s = generate_stats_2_seeds()

        if tf_1():
            self.assertEqual(m, "0.000620653736")
            self.assertEqual(s, "0.997191190720")
        else:
            self.assertEqual(m, "0.000620646286")
            self.assertEqual(s, "0.997191071510")


if __name__ == '__main__':

    tf.reset_default_graph()

    if tf_1():
        tf.enable_eager_execution()
        tf.logging.set_verbosity(tf.logging.ERROR)

    tf.test.main()

На моей локальной машине тесты проходят с TensorFlow 1.12.0 или предварительной версией TensorFlow 2 в виртуальной среде.где я установил Tensorflow с pip install tensorflow==1.12.0 или pip install tf-nightly-2.0-preview.Обратите внимание, что первая случайная ничья одинакова в обеих версиях, поэтому я предполагаю, что все случайные числа одинаковы, но среднее значение и стандартное отклонение отличаются после 9 десятичных знаков.Поэтому TensorFlow реализует вычисления немного по-разному в разных версиях.

В Google Colab я заменяю последнюю команду на import unittest; unittest.main(argv=['first-arg-is-ignored'], exit=False) (см. , эта проблема ).Все тесты пропускают один проход: одинаковые случайные числа, одинаковое среднее значение и стандартное отклонение с начальным числом на уровне графика.Неудачный тест - это среднее арифметическое с начальным и начальным уровнями на уровне графов, с разницей, начинающейся с девятого десятичного знака: 

.F.......
======================================================================
FAIL: test_arithmetic_2_seeds (__main__.Tests)
----------------------------------------------------------------------
Traceback (most recent call last):
  File "<ipython-input-7-16d0afebf95f>", line 109, in test_arithmetic_2_seeds
    self.assertEqual(m, "0.000620653736")
AssertionError: '0.000620654086' != '0.000620653736'
- 0.000620654086
?           ^^^
+ 0.000620653736
?           ^^^


----------------------------------------------------------------------
Ran 9 tests in 0.023s

FAILED (failures=1)

В Azure с машиной Standard_NV6 сNVIDIA GPU Cloud Image и следующий Dockerfile 

FROM tensorflow/tensorflow:latest-py3
ADD tests.py .
CMD python tests.py

тесты не выполняются для арифметики в обоих случаях только для начального уровня на уровне графа и начального уровня на уровне графа и на уровне операции: 

FF.......
======================================================================
FAIL: test_arithmetic_1_seed (__main__.Tests)
----------------------------------------------------------------------
Traceback (most recent call last):
  File "tests.py", line 99, in test_arithmetic_1_seed
    self.assertEqual(m, "-0.008264393546")
AssertionError: '-0.008264395408' != '-0.008264393546'
- -0.008264395408
?              ^^
+ -0.008264393546
?            +  ^


======================================================================
FAIL: test_arithmetic_2_seeds (__main__.Tests)
----------------------------------------------------------------------
Traceback (most recent call last):
  File "tests.py", line 109, in test_arithmetic_2_seeds
    self.assertEqual(m, "0.000620653736")
AssertionError: '0.000620655250' != '0.000620653736'
- 0.000620655250
+ 0.000620653736


----------------------------------------------------------------------
Ran 9 tests in 0.016s

FAILED (failures=2)

Когда тесты не выполняются в Google Colab или Azure, они не соответствуют согласованным фактическим значениям среднего, поэтому я считаю, что проблема не в каком-то другом случайном начальном значении, которое я мог бы установить.

Чтобы увидетьесли проблема заключается в реализации TensorFlow на разных системах, я тестирую на Azure с другим изображением для TensorFlow (tensorflow/tensorflow:latest, без тега -py3), и случайные числа с начальным числом верхнего уровня также различаются: 

FF..F....
======================================================================
FAIL: test_arithmetic_1_seed (__main__.Tests)
----------------------------------------------------------------------
Traceback (most recent call last):
  File "tests.py", line 99, in test_arithmetic_1_seed
    self.assertEqual(m, "-0.008264393546")
AssertionError: '0.001101632486' != '-0.008264393546'

======================================================================
FAIL: test_arithmetic_2_seeds (__main__.Tests)
----------------------------------------------------------------------
Traceback (most recent call last):
  File "tests.py", line 109, in test_arithmetic_2_seeds
    self.assertEqual(m, "0.000620653736")
AssertionError: '0.000620655250' != '0.000620653736'

======================================================================
FAIL: test_random_number_1_seed (__main__.Tests)
----------------------------------------------------------------------
Traceback (most recent call last):
  File "tests.py", line 89, in test_random_number_1_seed
    self.assertEqual(num_str, "1.511062622070")
AssertionError: '-1.398459434509' != '1.511062622070'

----------------------------------------------------------------------
Ran 9 tests in 0.015s

Как обеспечить воспроизводимость вычислений TensorFlow в разных системах?

1 Ответ

0 голосов
/ 02 февраля 2019

Точность в вычислениях с плавающей точкой будет зависеть от параметров компиляции библиотеки и деталей архитектуры системы.

Есть довольно много статей, написанных о трудностях надежного сравнения чисел с плавающей запятой на равенство.Поиск «равенства с плавающей запятой» приведет к их появлению.Одним из примеров является https://randomascii.wordpress.com/2012/02/25/comparing-floating-point-numbers-2012-edition/

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.

Похожие темы

...