Мне нужно вычислить результат случайных функций Фурье в этой статье . В частности, c, я должен вычислить результат функции отображения в Разделе 3 статьи:
cos(<w,x>+b)
Учитывая, что w - это матрица 4096x512, b - вектор 4096-измерения, а x - 512 вектор Все элементы этих векторов и матриц являются числами float_32. У меня есть 3 разных TXT-файлов W, B и X. Первые два файла хранят 1000 массивов разных w и b. Третий файл хранит более 0,5 миллиона различных векторов x. Каждый вектор х нужно умножить на 1000 разных ш и б. И нам нужно l oop этот процесс 0,5 миллиона раз, поскольку количество файлов x.
w и b составляет около 30 000 КБ, а файл x - около 3 ГБ.
My Вопрос в том, как я могу прочитать эти файлы, рассчитать и записать результаты эффективно, используя графический процессор. Мой друг предлагает мне использовать TFRecord. Это правильный путь?
My P C характеристики: CPU: Intel Core i5-8th, GPU: RTX 2080 ti, RAM: 32 ГБ.
Заранее спасибо и извините за мой плохой энгли sh. Вам просто нужно дать мне несколько идей / указаний / или пример кода для решения этой проблемы, после успешной загрузки я буду загружать свой код.