На самом деле, чтобы получить сглаживание для работы, вам, вероятно, просто нужно включить смешивание.Попробуйте добавить:
glEnable(GL_BLEND);
glBlendFunc(GL_SRC_ALPHA, GL_ONE_MINUS_SRC_ALPHA);
Я знаю, что это необходимо для сглаживания линий, и я почти уверен, что то же самое относится и к точкам.