В виньетке lme4 с именем Вычислительные методы (если эта ссылка не работает, перейдите сюда и затем нажмите "Вычислительные методы") Даг Бейтс упоминает, что разложение Холецкого XtX можно взять с CHOLMOD без формирования XtX (то есть просто используя Xt)
(стр. 18, сразу после уравнения 54). Эта функциональность видна пользователям? Я посмотрел в пакете Matrix и не увидел его, но есть две (другие) функции Холецкого.
Обычно человек теряет около половины цифр точности, образуя перекрестный продукт (XtX), а затем продолжает работать оттуда. CHOLMOD каким-то образом поддерживает точность, если вы передаете его только Xt?