Просто A - B, а затем добавьте или вычтите 360, если необходимо.
Формула, которая работает для всех случаев:
((A mod 360) - (B mod 360)+ 720) мод 360
Отредактировано: добавьте 720 вместо 360, если A отрицательный, а B положительный, и в результате вы получите менее -360.