Лучший способ разобрать скриншот скрэббл игры со структурой данных?

Question

Я хочу преобразовать скриншот онлайн-игры в скрэббл в структуру данных, чтобы я мог запустить ее через решатель, чтобы получить лучший ход.У меня нет опыта в компьютерном зрении, но у меня есть некоторые базовые знания по ОД через университетские курсы.Будем благодарны за любые идеи!

Я пробовал гуглить вокруг "как разобрать образ игры" и связанные с этим темы, у меня был некоторый опыт работы с библиотеками OCR, но самое сложное - как-то узнать, какразделить изображение таким образом, чтобы OCR мог определять символы.

Answer 1

Я немного подумал о вашей проблеме.Основная цель здесь - найти горизонтальные и вертикальные промежутки между всеми случаями сетки.

Вот изображение, полученное путем пропускания горизонтального градиента через изображение.

Здесь я заметил, что горизонтальные линии между случаями, которые не содержат вертикальных краев, выглядят полностью черными.Таким образом, способ найти их состоит в том, чтобы вычислить среднее значение этого изображения, строка за строкой, и принять самые низкие значения.

Вот график, полученный вычислением среднего значения этой строки по строке:

Я все еще работаю над способом разделения всех строк благодаря этому второму изображению.