Вам необходимо использовать по модулю (в частности, по модулю 256), чтобы операция была обратимой. В качестве альтернативы вы можете использовать побитовую операцию, XOR является распространенным выбором.
Операция по модулю 256 проста для реализации для байтов, вам просто нужно привести результат, как в:
ImageBytes[k] = (unsigned byte) ((unsigned byte) ImageBytes[k] + x)
Остерегайтесь, однако, что такое "шифрование" довольно слабое. Способ повышения надежности такого шифрования состоит в добавлении отдельного значения для каждого байта, например, путем добавления добавленного значения в кольцевой буфер (т.е. с последовательностью, которая в конечном итоге повторяется). Лучше всего использовать значения, легко декодируемые как часть операндов.