Они оба используют один и тот же ThreadPool. ThreadPool.QueueUserWorkItem
тоже.
Однако Delegate.BeginInvoke
имеет дополнительные издержки по сравнению с Task.Factory.StartNew и не использует преимущества многих функций ThreadPool, таких как кража работы или новые функции отладки. Я бы порекомендовал рефакторинг, чтобы использовать новые функции Задачи, если позволяет время.