Skip to main content

Table 3 Results for the comparison of different distributed generative models

From: Deep generative models in DataSHIELD

RMSE of log odds ratios d(xgen, xval): Median (5% quantile - 95% quantile)
  1 site 2 sites 5 sites 20 sites
DBM 0.98 (0.82 – 1.21) 1.00 (0.78 – 1.19) 1.03 (0.74 – 1.65) 1.42 (0.89 – 3.85)
GAN 2.17 (1.86 – 3.36) 3.28 (2.12 – 6.33) 3.82 (2.41 – 6.41) 4.00 (2.41 – 6.88)
IM 3.96 (2.33 – 6.95) 3.95 (2.32 – 6.95) 3.97 (2.32 – 6.95) 3.90 (2.30 – 6.84)
MICE 3.72 (2.87 – 6.04) 3.41 (2.76 – 5.13) 3.05 (2.47 – 4.61) 2.84 (1.93 – 4.22)
VAE 1.05 (0.72 – 1.85) 1.02 (0.68 – 1.72) 0.90 (0.61 – 1.50) 0.89 (0.53 – 1.53)
Proportion of overfitting: Median (5% quantile - 95% quantile)
  1 site 2 sites 5 sites 20 sites
DBM 0.11 (-0.016 – 0.24) -0.14 (-0.44 – 0.27) -0.15 (-0.39 – 0.24) 0.38 (0.11 – 0.69)
GAN 0.068 (0.013 – 0.17) 0.12 (0.018 – 0.31) 0.22 (0.15 – 0.34) 0.4 (0.29 – 0.55)
IM 0.055 (-0.0045 – 0.099) 0.12 (0.058 – 0.18) 0.22 (0.15 – 0.31) 0.45 (0.30 – 0.63)
MICE 0.031 (0.0022 – 0.08) 0.10 (0.0048 – 0.32) 0.18 (-0.019 – 0.45) 0.45 (0.09 – 0.85)
VAE 0.19 (0.057 – 0.32) 0.27 (0.062 – 0.45) 0.29 (0.064 – 0.56) 0.48 (-0.20 – 0.82)