Должно быть быстрее с оконной функцией ROW_NUMBER:
WITH AcdTran AS (
SELECT SequenceNo,
ReqID,
PolNumber,
transaction_id,
application_data,
trans_type,
retries,
status,
direction,
ROW_NUMBER() OVER(PARTITION BY transaction_id ORDER BY ReqID, SequenceNo, transaction_id) N
FROM dbo.acord_transaction_benchmark with (nolock)
WHERE direction = 'OUT')
SELECT *
FROM AcdTran
WHERE (status = 'New'
OR status = 'Resubmit')
AND retries > 0
AND N = 1;
Поскольку у меня нет ни структуры вашей таблицы, ни данных, я, очевидно, не проверял ее, поэтому вам, возможно, придется немного изменить запрос, но у вас есть идея.