У меня очень большой и важный проект, но у меня проблема с выбором способа обработки данных.
- база данных
Если я использую базу данных, я могу отсортировать их и отфильтровать. Вы думаете, что таким образом фильтрация данных будет быстрее, или я должен кодировать это на python? запрос данных или фильтрация или любой другой процесс в базу данных в то же время более чем одним программным обеспечением создаст проблему?
- файл
В настоящее время я использую текстовые файлы для обработки данных и извлекаю из них данные, но у меня так много потоков и многопроцессорных функций, которые должны открывать один и тот же файл. Поэтому иногда возникает ошибка с сообщением «Ошибка: отказано в разрешении», что является разумным.
Таким образом, моему программному обеспечению необходимо много обрабатывать и фильтровать данные (используя некоторые условия), а иногда открывать и получать к ним доступ одновременно с помощью такого количества функций или других сценариев Python, что в файлах возникает ошибка ( В доступе отказано).
Итак, как я могу фильтровать и обрабатывать данные без каких-либо ошибок. какие инструменты я должен использовать?
Мне нужен быстрый способ сделать все это.
Примечание: каждые 10 секунд данные будут обновляться