Чтение непосредственно через панд
df = pandas.read_csv(filename, sep='\t', lineterminator='\r')
Или попробуйте использовать кодеки - помогает в скорости и надежности
import codecs
import pandas
data = codecs.open('file','rU','UTF-16')
df = pandas.read_csv(data, sep='\t')
Удаление последнего столбца
df = df.iloc[:, :-1]
Затем преобразоватьвернуться к текстовому файлу
Использовать кодировку utf-8 при написании csv и useText (разделитель табуляции) при сохранении его в виде текста