Проверка данных tenorflow приводит к сбою на 4-ядерном компьютере, когда я обрабатываю более 1,5 гигабайт CSV - PullRequest
Новая
       27

Проверка данных tenorflow приводит к сбою на 4-ядерном компьютере, когда я обрабатываю более 1,5 гигабайт CSV

0 голосов
/ 01 декабря 2018

Я пытаюсь запустить функцию проверки данных тензорного потока для наборов данных (CSV)> 2 Gig.Это сбой через некоторое время.Он работает очень хорошо, если набор данных составляет около 1 гига.Как обрабатывать большие наборы данных без использования облачного сервиса потоков данных.

1 Ответ

0 голосов
/ 20 июня 2019

Какова оперативная память вашего ПК и какую функцию вы пытаетесь использовать при проверке данных Tensorflow?

Чтобы использовать все ядра вашего ПК для обработки, вы можете попробовать функцию, указанную ниже: 

tfdv.generate_statistics_from_dataframe(dataframe,   stats_options=options.StatsOptions(), n_jobs= -1)

Если вы установите параметр, n_jobs = -1 будет использовать все 4 ядра процессора вашего ПК.

...