Хорошо, у меня есть массивный CSV-файл 2.5G, который составляет около 25 миллионов записей с 20 столбцами. Я пытаюсь использовать GO, чтобы обработать этого монстра и выполнить некоторое форматирование, а затем вставить его в базу данных.У меня есть базовая настройка кода с каналами, потому что я решил, что это будет быстрее всего при использовании подпрограмм go и таких: здесь
Проблема в том, что, поскольку он блокируется, мой канал просто забиваетсябезумное количество данных, и, прежде чем я это знаю, моя память вышла из-под контроля.Поэтому, прежде чем любая обработка или вставка будет завершена, она завершится неудачей.
Может ли кто-нибудь помочь мне с этим кодом и посмотреть, смогу ли я одновременно создать очередь из чтения файла, пока он обрабатывает и вставляет?