Зеленым штрихом обозначены границы фотографии (файла), оранжевый - это форма внутри фотографии, а внутри оранжевой - другая синяя форма (пространство между ними просто пустое).
Если есть способполучить синюю квадратную вертикальную левую линию, чтобы она была параллельной с левой зеленой вертикальной линией (граница изображения)
Видел много кода для коррекции перспективы, но изображение получено с плоского сканера
Что касается аффинного преобразования, пример, который я видел, содержит некоторые ручные вводы координат точек.
Использование Python3 и Opencv2 для других операций над изображением.