Вам нужно несколько скобок:
mergeX [] b res = b ++ res
mergeX a [] res = a ++ res
mergeX (a:as) (b:bs) res
| a > b = mergeX as (b:bs) (a:res)
| otherwise = mergeX (a:as) bs (b:res)
Причина в том, что :
имеет более низкий приоритет, чем приложение функции, поэтому mergeX a:as b:bs res
будет проанализирован как:
(mergeX a):(as b):(bs res)
что является ошибкой.