Основная идея состоит в том, чтобы использовать итератор для циклического перемещения по строкам, open
записывая каждый файл и записывая значение, что-то вроде:
import pandas as pd
df = pd.read_excel('test.xlsx')
for i, value in enumerate(df['column']):
with open(f'row-{i}.txt', 'w') as fd:
fd.write(value)