Я бы пошел так:
Возьмите самую верхнюю точку треугольника (ту, которая имеет наибольшую координату Y). Есть две «склоны», начиная с этой точки. Это не общее решение, но для простоты визуализации подумайте о том, что одно из них «идет влево» (с уменьшением координат х), а другое «идет вправо».
Из этих двух уклонов и любой заданной координаты Y, меньшей, чем самая высокая точка, вы сможете вычислить количество целочисленных точек, которые появляются в пределах границ, установленных уклонами. Перебирая уменьшающиеся координаты Y, сложите все эти количества точек вместе.
Остановитесь, когда ваши убывающие координаты Y достигнут второй по высоте точки треугольника.
Теперь вы посчитали все точки «выше второй по величине точки», и теперь у вас осталась проблема «подсчета всех точек в каком-то (гораздо меньшем !!!) треугольнике, из которого вы знаете, что его верхний боковые параллели оси X.
Повторите ту же процедуру, но теперь с взятием "самой левой точки" вместо "самой верхней" и продолжением "путем увеличения x" вместо "уменьшения y".
После этого у вас остается проблема подсчета всех целых точек в треугольнике, еще раз значительно меньшем, из которого вы знаете, что его верхняя сторона параллельна оси X, а его левая сторона параллельна Y- ось.
Продолжайте повторяться (повторяться), пока в треугольнике, в котором вы остались, нет точек.
(Я уже сделал для тебя домашнее задание?)