Подпадает под строительство
\ OctalDigit OctalDigit
... сопровождаемый '0'. Это не подпадает под
\ ZeroToThree OctalDigit OctalDigit
... так что это не двусмысленно или вне диапазона. См. раздел 3.10.6 Спецификации языка Java для получения более подробной информации.
Обратите внимание, что вы не можете использовать его как символ литерал именно по этой причине:
char x = '\377'; // Fine
char y = '\400'; // Error: unclosed character literal