Просто добавьте оператор if, чтобы проверить, является ли он пустым: (Я не уверен, какое значение вы имеете для «пусто», так что вот несколько вариантов)
# if by blank you mean None
data['Actual Completion Date'] = [datetime.datetime.date(d) for d in data['Actual Completion Date'] if d is not None]
# if by blank you mean empty string
data['Actual Completion Date'] = [datetime.datetime.date(d) for d in data['Actual Completion Date'] if d != ""]
# if by blank you don't know if you mean None or empty string
data['Actual Completion Date'] = [datetime.datetime.date(d) for d in data['Actual Completion Date'] if d]