Какой самый быстрый / эффективный способ обработки тысяч текстовых файлов в Matlab? - PullRequest
0 голосов
/ 10 мая 2019

Я работаю над приложением Matlab, которое загружает числовые данные из тысяч структурированных текстовых файлов и затем выполняет небольшой статистический анализ.Мое приложение занимает немного времени для запуска.Я ищу способы сделать это быстрее.

Я подозреваю, что многократный доступ к памяти на жестком диске для чтения файлов занимает больше всего времени.

Как вы думаете, хранение данных из текстовых файлов в базе данных SQLзаставить мое приложение работать быстрее?

PS: Иногда мне нужно запускать приложение в одном и том же наборе данных несколько раз.

Чтобы обойти эту проблему до сих пор, я отдельно обрабатываю текстовые файлы, распаковываюЕдинственная информация, которая мне нужна, упорядочить ее в матрице и сохранить в файле .mat, который будет использоваться в качестве входных данных для моего основного приложения.Часть извлечения все еще занимает время, но я заметил некоторое преимущество в основном приложении.

Проблема с этим подходом: если требуется другая информация из текстовых файлов, файлы .mat устаревают и, следовательно, должны генерировать новые.

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...