Skip to main content

Table 2 Empirical type I error rates of homogeneity tests for γ1 = γ2 = γ0 based on 10,000 simulations (K = 2 balanced sample size)

From: Homogeneity score test of AC1 statistics and estimation of common AC1 in multiple or stratified inter-rater agreement studies

Balanced π conditions

Unbalanced π conditions

n1 = n2

γ0

π1 = π2

SCORE

GOF

n1 = n2

γ0

π1

π2

SCORE

GOF

20

0.1

0.5

0.045

0.067

20

0.1

0.5

0.35

0.049

0.097

0.3

0.046

0.067

0.3

0.049

0.096

0.5

0.048

0.062

0.5

0.050

0.083

0.7

0.033

0.041

0.7

0.037

0.049

0.9

0.002

0.003

0.9

0.003

0.005

0.1

0.35

0.052

0.121

0.1

0.65

0.35

0.050

0.120

0.3

0.054

0.126

0.3

0.051

0.120

0.5

0.052

0.103

0.5

0.051

0.101

0.7

0.039

0.064

0.7

0.039

0.065

0.9

0.004

0.006

0.9

0.004

0.007

0.7

0.2

0.047

0.132

0.7

0.5

0.2

0.038

0.090

0.9

0.008

0.029

0.9

0.005

0.013

50

0.1

0.5

0.050

0.058

50

0.1

0.5

0.35

0.048

0.117

0.3

0.047

0.054

0.3

0.051

0.087

0.5

0.050

0.054

0.5

0.049

0.072

0.7

0.051

0.053

0.7

0.050

0.060

0.9

0.026

0.027

0.9

0.024

0.027

0.1

0.35

0.051

0.172

0.1

0.65

0.35

0.051

0.168

0.3

0.051

0.126

0.3

0.049

0.117

0.5

0.052

0.092

0.5

0.051

0.092

0.7

0.052

0.072

0.7

0.052

0.071

0.9

0.028

0.033

0.9

0.028

0.033

0.7

0.2

0.053

0.162

0.7

0.5

0.2

0.051

0.104

0.9

0.037

0.061

0.9

0.032

0.042

80

0.1

0.5

0.047

0.052

80

0.1

0.5

0.35

0.051

0.120

0.3

0.047

0.051

0.3

0.053

0.094

0.5

0.054

0.057

0.5

0.051

0.072

0.7

0.050

0.052

0.7

0.051

0.061

0.9

0.037

0.039

0.9

0.047

0.050

0.1

0.35

0.052

0.173

0.1

0.65

0.35

0.052

0.172

0.3

0.054

0.123

0.3

0.054

0.124

0.5

0.053

0.089

0.5

0.055

0.090

0.7

0.051

0.069

0.7

0.051

0.069

0.9

0.044

0.051

0.9

0.045

0.052

0.7

0.2

0.052

0.152

0.7

0.5

0.2

0.050

0.103

0.9

0.051

0.073

0.9

0.048

0.059