Если у вас есть контурные линии шириной 1 пиксель, то вы можете посчитать количество соседей для каждой точки *. Если каждая точка данного контура имеет 2 соседей, то контур является замкнутым . Если есть 2 точки с только 1 соседом в каждой, то контур равен открытый .
Если ваши контуры толще, вы можете применить алгоритм скелетонизация , чтобы сделать их ровно на 1 пиксель тонкими. Интересный случай, когда у вас есть боковые ветви на контуре, но в этом случае должны быть точки ветвления с 3 соседями, чтобы подобные ситуации можно было легко обработать.
* Подсчет соседей очень просто: используйте исходное изображение! Выберите одну точку контура случайным образом, проверьте соседние 8 пикселей и сосчитайте те, которые являются частью контура. Затем повторяйте проверку соседей для них и так далее, пока все пиксели контура не будут проверены.