У меня есть следующий код, который читает в CSV-файл (в dataset DataFrame) и преобразовать его в список (в transactions список) для обработки с помощью алгоритма apriori.
import pandas as pd
dataset = pd.read_csv('datasetFile.csv')
transactions = []
num_rows = 8000
num_cols = 20
for i in range(0, num_rows):
transactions.append([str(dataset.values[i,j]) for j in range(0, num_cols)])
Формат файла .csv - 8000 строк, максимум 20 товаров в строке:
bread, butter
bread, milk, eggs, fruit
milk
eggs, milk, bread
Приведенный выше код Python работает для этого небольшого набора данных. Тем не менее, мой текущий набор данных имеет около 300 тыс. Строк и 300 столбцов. Как я могу улучшить этот кусок кода Python, чтобы преобразовать большой DataFrame в список?