Да, это возможно в пандах, и это намного быстрее, чем что-либо в Excel
df_result = pd.merge(FirstTable, SecondTable, how='left', on='col4')
при этом будут рассмотрены обе таблицы для столбца "col4", поэтому в обеих таблицах он должен быть назван таким образом.
Также следует учитывать тот факт, что если во второй таблице есть несколько значений для одного значения в первой таблице, в результате будет получено столько же строк, сколько во второй таблице.
для чтения Excel вы можете использовать:
import pandas as pd
xl=pd.ExcelFile('MyFile.xlsx')
FirstTable = pd.read_excel(xl, 'sheet_name_FIRST_TABLE')
для более подробного описания см. документацию