Как работать с набором, имеющим много данных временного ряда, каждый из которых имеет среднюю длину 20?

Question

У меня большой набор данных коротких временных рядов (средняя длина коротких временных рядов = 20). Общий объем данных составляет около 6 ГБ. Текущая система работает следующим образом: 1) Загрузите 6 ГБ данных в оперативную память. 2) Обработка данных. 3) Поместите прогнозное значение, соответствующее каждому временному ряду, в excel.

Проблема заключается в том, что каждый раз, когда я запускаю вышеупомянутую систему, в моей 8 ГБ ОЗУ P C уходит почти 1 час. Пожалуйста, предложите лучший способ сократить мое время.

Answer 1

• Используйте более быстрый язык программирования. Например, вы можете предпочесть использовать Julia или C ++ вместо MATLAB или Python.

• Попробуйте сделать ваш код более эффективным. Например, вместо передачи данных в ваши функции путем их копирования (передача по значению), попробуйте передать их как ссылку ( В чем разница между передачей по ссылке и передачей по значению? ). Используйте более эффективные структуры данных.

• Разделите ваш набор данных на более мелкие части. Работа над каждой маленькой частью в отдельности. Затем объедините выходы в конце.