Вот байты Java, отсортированные по двоичному представлению (от 00000000 до 11111111):
0, 1, 2, .., 126, 127, -128, -127, .., -2, -1
00000000 равно 0, 11111111 равно -1
Инвертированный 0 - это -1, инвертированный 1 - это -2, ..., инвертированный 127 - это -128.
Таким образом, если вы хотите инвертировать биты байта Java, вы должны получить свой байт с противоположным знаком и вычесть один:
byte myByte = 123;
byte myInvertedByte = -myByte-1;