Если вы просто ищете одну временную метку и хотите получить все соответствующие температуры:
timestamp = '27-04-2020 05:31'
mask = df.Temperature_TimeStamp.eq(timestamp)
df.loc[mask, 'Temperature']
Если вы хотите выбрать диапазон времени
# Make sure df['Temperature_TimeStamp'] is in datetime format
df['Temperature_TimeStamp'] = pd.to_datetime(df['Temperature_TimeStamp'])
start_time = pd.to_datetime('27-04-2020 05:30')
end_time = pd.to_datetime('27-04-2020 05:32')
mask = (df['Temperature_TimeStamp'] > start_time) & (df['Temperature_TimeStamp'] <= end_time)
df.loc[mask, 'Temperature']