Is interpolation benign for random forest regression? - Archive ouverte HAL Access content directly
Preprints, Working Papers, ... Year :

Is interpolation benign for random forest regression?

(1) , (1, 2) , (3)
1
2
3

Abstract

Statistical wisdom suggests that very complex models, interpolating training data, will be poor at predicting unseen examples. Yet, this aphorism has been recently challenged by the identification of benign overfitting regimes, specially studied in the case of parametric models: generalization capabilities may be preserved despite model high complexity. While it is widely known that fully-grown decision trees interpolate and, in turn, have bad predictive performances, the same behavior is yet to be analyzed for Random Forests (RF). In this paper, we study the trade-off between interpolation and consistency for several types of RF algorithms. Theoretically, we prove that interpolation regimes and consistency cannot be achieved simultaneously for several non-adaptive RF. Since adaptivity seems to be the cornerstone to bring together interpolation and consistency, we study interpolating Median RF which are proved to be consistent in the interpolating regime. This is the first result conciliating interpolation and consistency for RF, highlighting that the averaging effect introduced by feature randomization is a key mechanism, sufficient to ensure the consistency in the interpolation regime and beyond. Numerical experiments show that Breiman's RF are consistent while exactly interpolating, when no bootstrap step is involved. We theoretically control the size of the interpolation area, which converges fast enough to zero, giving a necessary condition for exact interpolation and consistency to occur in conjunction.
Fichier principal
Vignette du fichier
main.pdf (4.32 Mo) Télécharger le fichier
Vignette du fichier
breiman_combined_consistency.pdf (378.8 Ko) Télécharger le fichier
Vignette du fichier
breiman_consistency_2000t.pdf (22.25 Ko) Télécharger le fichier
Vignette du fichier
breiman_consistency_2000t_all_rf.pdf (29.8 Ko) Télécharger le fichier
Vignette du fichier
breiman_consistency_2000t_models5679.pdf (22.92 Ko) Télécharger le fichier
Vignette du fichier
breiman_consistency_2000t_old_fashion.pdf (17.11 Ko) Télécharger le fichier
Vignette du fichier
breiman_interp_loss_quant_n.pdf (384.35 Ko) Télécharger le fichier
Vignette du fichier
breiman_interp_loss_quant_t.pdf (385.28 Ko) Télécharger le fichier
Vignette du fichier
breiman_mf1_consistency.pdf (376.35 Ko) Télécharger le fichier
Vignette du fichier
breiman_volume.pdf (378.06 Ko) Télécharger le fichier
Vignette du fichier
breiman_volume_d_tierce.pdf (376.12 Ko) Télécharger le fichier
Vignette du fichier
breiman_volume_M_varying.pdf (377.06 Ko) Télécharger le fichier
Vignette du fichier
cart_consistency.png (62.86 Ko) Télécharger le fichier
Vignette du fichier
connection_volume.pdf (33.29 Ko) Télécharger le fichier
Vignette du fichier
high_dim_breiman_mf=1_sigma10-100(1).pdf (13.7 Ko) Télécharger le fichier
Vignette du fichier
high_dim_breiman_mf=d_over_3(1).pdf (13.38 Ko) Télécharger le fichier
Vignette du fichier
interp_volume_d_varying.png (11.62 Ko) Télécharger le fichier
Vignette du fichier
interp_zone.pdf (47.26 Ko) Télécharger le fichier
Vignette du fichier
kerf_consistency.pdf (376.26 Ko) Télécharger le fichier
Vignette du fichier
plot_med_rf_consistency_REAL_cut_above_median_odd.pdf (376.36 Ko) Télécharger le fichier
Vignette du fichier
preuve_lem_5.pdf (32.82 Ko) Télécharger le fichier
Vignette du fichier
RF_interpolation_summary.png (528.88 Ko) Télécharger le fichier
Vignette du fichier
tree_balls.pdf (27.03 Ko) Télécharger le fichier
Vignette du fichier
volume_dim_varying.png (10.72 Ko) Télécharger le fichier
Origin : Files produced by the author(s)
Origin : Files produced by the author(s)

Dates and versions

hal-03560047 , version 1 (07-02-2022)
hal-03560047 , version 2 (29-04-2022)
hal-03560047 , version 3 (20-01-2023)

Identifiers

Cite

Ludovic Arnould, Claire Boyer, Erwan Scornet. Is interpolation benign for random forest regression?. 2023. ⟨hal-03560047v3⟩
177 View
95 Download

Altmetric

Share

Gmail Facebook Twitter LinkedIn More