Чтобы преобразовать 8-битное значение [0 - 255] в 3-битное [0, 7], 0 не является проблемой, но помните, что 255 следует преобразовать в 7, поэтому формула должна быть Red3 = Red8 * 7 / 255.
Чтобы преобразовать 24-битный цвет в 8-битный (RRRGGGBB),
8bit Color = (Red * 7 / 255) << 5 + (Green * 7 / 255) << 2 + (Blue * 3 / 255)