Значение любого сравнения сводной статистики полностью зависит от ваших целей вывода.Используете ли вы эту модель для прогнозирования на будущее и заботитесь о точности прогноза?Или вы смотрите на исследование данных, пытаясь количественно оценить регрессионные коэффициенты для целей анализа отношений и величин эффекта?Не существует изолированного, единственного способа сравнения моделей, не зная ваших конкретных целей логического вывода.
Если ваши цели в большей степени ориентированы на предсказание, у вас есть несколько вариантов.Вы можете использовать подогнанные параметры из вашей модели OLS, чтобы делать прогнозы для удержания или тестового набора, а затем смотреть на среднеквадратичную ошибку или корреляцию или R-квадрат между целевыми значениями тестового набора и прогнозами (нокак правило, это не R-квадрат для данных, используемых для подгонки модели).
Для байесовской модели вы можете выбрать оценку параметров по одной точке, такую как оценка MAP, а затем повторить тот же набор тестовоценка как для OLS.Это концептуально проще, но не использует тот факт, что байесовская модель дает вам апостериорное распределение по параметрам.
Чтобы использовать апостериор, вы можете использовать инструмент, такой как pymc или stanнарисовать много образцов подобранного вектора коэффициента из апостериорного распределения.Затем для каждого образца рассчитайте свою метрику производительности на тестовых данных, как вы делали для OLS.Тогда это даст вам распределение по статистике тестов, так что вы сможете увидеть среднее и стандартное отклонение производительности на тестовом наборе - то, что вы не можете так легко получить из стандартных моделей OLS.
Есливас больше интересуют величины эффекта или дискуссии по поводу объяснительного анализа коэффициентов, тогда вы можете отдельно посмотреть на p-значения для частых (NHST), которые вы получаете для параметров OLS, и стандартную ошибку регрессии (стандартная ошибка остатков)).Если вам небезразличны понятия статистической значимости, эти метрики дают вам эту информацию.
Хотя вы можете вычислить байесовские p-значения и вероятные интервалы (высокой плотности) для коэффициентов в байесовской модели, вы должны бытьБудьте осторожны, чтобы не сравнивать это с частыми аналогами.Байесовское p-значение говорит вам кое-что об относительной конечности результата в апостериорном распределении , что неявно включает ваше предположение о априорах и структуре модели.Частота р-значения говорит вам кое-что об относительной конечности исхода , предполагая нулевую гипотезу - что является другой вещью и не эквивалентно апостериорному распределению.
Вы, вероятно, такжеВы хотите убедиться, что ваши переменные были стандартизированы полезным способом, чтобы сделать коэффициенты сопоставимыми по моделям.Например, вы, вероятно, захотите получить z-оценку ваших входных предикторов или даже подумать о нормализации вдвое стандартного отклонения, если вы категоризируете переменные (это делает коэффициенты непосредственно интерпретируемыми в единицах стандартного отклонения в подобранной модели).
Наконец, вы упоминаете иерархическую модель в байесовском случае, которая предполагает, что вы моделируете различные возможные эффекты лечения для разных групп наблюдений.
Очень сложно создать прямой эквивалент для этого в частомустановка.Вы можете добавить переменные индикатора для членства в другой группе, а затем попытаться интерпретировать другие коэффициенты как базовый эффект в группе «по умолчанию», а коэффициенты индикаторов - как дополнительный дополнительный эффект, когда базовый предиктор имеет среднее значение.Но эта интерпретация становится действительно запутанной, особенно с увеличением числа групп.
Вы также можете попытаться использовать механизм, разработанный для моделирования случайных эффектов и смешанных эффектов из эконометрики, но он сводится к множеству тех же методов, основанных на переменных показателях, а также становится чрезвычайно сложным для интерпретации и обеспечения вас.правильно моделируете корреляцию ошибок (что может потребовать кластерных стандартных ошибок).
Честно говоря, я думаю, что если у вас есть основания подозревать, что иерархическая модель полезна для байесовского подхода, то просто полностью игнорируйте подходы OLS,Возможно, попытайтесь выбрать «неинформативные априорные значения» для ваших метапараметров, если эти априорные значения не могут быть основаны на предыдущих исследованиях.А затем просто сконцентрируйтесь на стандартных методах интерпретации байесовских p-значений, апостериорных прогностических проверок, метрик точности тестовой выборки и байесовских достоверных интервалов.Ваши усилия, вероятно, будут лучше потрачены таким образом, чем умственная гимнастика, чтобы спорить о некоторой связи интерпретируемости с моделями смешанных эффектов.