Нет, сглаживание не работает с 8-bpp. Если вам нужны более быстрые обновления, подумайте о том, чтобы рисовать с помощью чего-то вроде OpenGL вместо GDI. В OpenGL рисование обычно выполняется исключительно графическим оборудованием, поэтому даже при 32 битах в секунду рисование обычно будет быстрее, чем в GDI со скоростью 8 бит в секунду.
Стоит также отметить, что в любом случае вам, вероятно, будет лучше с 32-бпп, чем с 8- или 24-бпп. GDI может использовать (некоторое) аппаратное ускорение, но обычно оно лучше всего с 32 битами в секунду.