Я хотел бы объединить два файла CSV на основе одного поля. Один из этих файлов имеет ~ 1 ТБ (250 млн записей, 2080 столбцов). Другой меньше, имеет несколько столбцов и 20 миллионов записей. Я пытался использовать пакет Python для этой конкретной задачи, но не могу справиться с фазой присоединения, которая действительно потребляет. К сожалению, я должен сделать это, используя компьютер с Windows и 120 ГБ памяти, поэтому Hadoop здесь не вариант. У меня есть Python, R и SQL Server.
Заранее спасибо за помощь, так как я застрял!