Если рассчитывается относительная частота отклонений, как измерить, если значительно отличается от уровней значимости? (Тесты нормальности в R)

Question

специалистов и студентов,

У меня есть уровни значимости 10%, 5% и 1%, и я вычислил относительную частоту отклонений благодаря ответу на мой предыдущий вопрос.

replicate_sw10 = replicate(1000,shapiro.test(rnorm(10)))
table(replicate_sw10["p.value",]<0.10)/1000

> FALSE  TRUE 
> 0.909 0.091

Но если бы я сделал это для разных размеров выборки (T = 10,30,50,100,500) и сохранил их вручную через excel. Может быть, есть когда-нибудь более простой способ вычислить это в функции / списке.

Однако как мне измерить, значительно ли он отличается от уровней значимости? (Намек следующий: отказ от теста можно смоделировать как случайную величину Бернулли)

С уважением

Answer 1

Итак, самый простой способ сделать это ... так что если вы выполните 1000 тестов, вы ожидаете, что примерно 0,1 вашего теста будет иметь значение <0,1. Это как испытание Бернулли, как вы сказали, и вы можете использовать биномиальный тест, чтобы увидеть вероятность чего-то столь же экстремального, как ваш результат: </p>

set.seed(100)
replicate_sw10 = replicate(1000,shapiro.test(rnorm(10)))
obs_significant = sum(replicate_sw10["p.value",]<0.1)

binom.test(obs_significant,n=1000,p=0.1)

    Exact binomial test

data:  obs_significant and 1000
number of successes = 118, number of trials = 1000, p-value = 0.06479
alternative hypothesis: true probability of success is not equal to 0.1
95 percent confidence interval:
 0.09865252 0.13962772
sample estimates:
probability of success 
                 0.118