Optuna

Le framework d'optimisation d'hyperparamètres qui trouve la bonne configuration en moins d'essais.

Optuna définit l'espace de recherche à la volée (define-by-run) : chaque hyperparamètre est échantillonné dans la fonction objectif elle-même, ce qui autorise les espaces conditionnels et imbriqués. Son sampler TPE bayésien propose les prochains essais à partir des précédents, ses pruners (median, Hyperband) coupent tôt les essais peu prometteurs, et les études se parallélisent sur plusieurs machines via un stockage partagé. Compatible avec tout framework, du boosting à PyTorch, c'est notre choix pour remplacer le grid search dès que chaque entraînement coûte plusieurs minutes.