Я закончил тем, что делал это, надеюсь, это кому-нибудь поможет, или, если у кого-то есть лучшее предложение, я приму его.
1) Я использовал pyrender , чтобы отобразить две сетки из известных поз в двух мирах, чтобы получить точные соответствия
2) Затем я использовал анализ procustes, чтобы выяснить масштабированиефактор, вычисляя преобразование одной сетки в другую. Вы можете получать от здесь
Я могу получить коэффициент масштабирования, который находится в приемлемом диапазоне.