Каким будет эффективный способ переноса 100 ГБ данных из приложения C# в Cassandra или любое подобное хранилище больших данных? - PullRequest
0 голосов
/ 06 февраля 2020

Эти 100 ГБ данных получены с электронного устройства и будут представлены в виде файла. В настоящее время наше приложение выдает 4–6 ГБ данных, которые мы храним в Google Drive. Мы думаем о том, чтобы настроить серверы и вручную загрузить файл из инструмента.

1 Ответ

2 голосов
/ 06 февраля 2020

Я думаю, вы могли бы исследовать ряд возможностей:

1 - возможно ли сжимать данные, прежде чем пытаться загрузить их, особенно если формат файла допускает высокую степень сжатия.

2 - Можно ли применить для очистки к файлу данных избыточную информацию перед сжатием и загрузкой. Если файл содержит значительные повторяющиеся поля данных, возможно, будет возможно только сохранить изменения данных. Примером может служить устройство, сообщающее, работает ли двигатель с интервалами в 10 мс. Если двигатель включается / выключается только один раз в час, то перед загрузкой можно удалить огромное количество информации и без потери информации.

3 - будет ли возможна постоянная потоковая передача данных или, возможно, меньшая непрерывная куски скажем 10 или 100 кб. Потоковые данные могут сделать сквозной поток процесса более отзывчивым, а также более устойчивым к выпадению по сети / inte rnet.

4 - Возможно, прочитайте немного о том, как некоторые шаблоны устройств IoT удается загрузить что важно для облака как в режиме онлайн, так и в автономном режиме.

Если вы предоставите более подробную информацию о настройке, формат файла данных et c. et c - может быть возможно предоставить более конкретные c предложения.

...