Вам необходимо:
tokenized_data = tokenized_data.str.join(' ')
Или:
tokenized_data = tokenized_data.apply(' '.join)
Проблема вашего решения заключается в том, что цикл tokenized_data[i]
не может выбирать значения диапазона, поскольку значения индекса Series разные.
tokenized_data = pd.Series([['would','have','hard'], ['worth','seek']], index=[77,101])
for i in range(len(tokenized_data)):
print (i)
#cannot select index 0, because not exist (indices are `77` and `101`)
print (tokenized_data[i])
Выбор по позиции должен работать здесь, но лучше использовать Series.str.join
:
for i in range(len(tokenized_data)):
tokenized_data.iloc[i] = ' '.join(tokenized_data.iloc[i])