Вы уверены, что получаете правильный столбец и значения. Поскольку запуск
time = pd.to_datetime("13:30:35.805")
Дает
Timestamp('2020-04-20 13:30:35.805000')
как вывод, как ожидалось. Если вы не можете решить проблему с помощью pandas напрямую, вы всегда можете вручную разбить строку на часы, минуты и секунды с помощью
h, m, s = map(float, x.split(':'))
и использовать эти значения для создания метки времени