Я прошу прощения, если заголовок не ясен, но мне было трудно сформулировать заголовок.Вероятно, будет лучше, если я просто покажу, что я хотел бы сделать.
У меня есть кадр данных, который выглядит следующим образом
В основном имена столбцов и значения в этом конкретном столбце совпадают.
Теперь я пытаюсь уменьшить размер кадра данных следующим образом:
Я попытался сгруппировать по идентификатору и столбцу обратной засыпки, удалив дубликаты, но, поскольку у меня около 10 миллионов записей, это неэффективно с точки зрения вычислений.Буду очень признателен, если смогу найти лучшее решение для следующей проблемы.