Поскольку вы просто применяете перевод, вы можете просто применить этот перевод к границам геометрии, чтобы ваше решение было правильным. Это жесткое преобразование, поэтому каждая часть сетки будет сохранять свои относительные позиции по отношению ко всем другим частям сетки.
На самом деле это верно и для поворотов, масштабирования и даже перекосов. Вам нужно только пересчитать границы, если вы деформируете сетку.