La funzione del kernel RBF è la seguente, per due vettori $ \ mathbf {u} $ e $ \ mathbf {v} $: $$ \ kappa (\ mathbf {u}, \ mathbf {v}) = \ exp (- \ gamma \ | \ mathbf {u} - \ mathbf {v} \ | ^ 2). $$ L'iperparametro $ \ gamma $ è usato per configurare la sensibilità alle differenze nei vettori delle caratteristiche, che a sua volta dipende da varie cose come dimensionalità dello spazio di input e normalizzazione delle caratteristiche.

Se si imposta $ \ gamma $ troppo grande, si finirà per overfitting. Nel caso limite $ \ gamma \ rightarrow \ infty $, la matrice del kernel diventa la matrice unitaria che porta a un adattamento perfetto dei dati di addestramento, sebbene un modello del tutto inutile.

Il valore ottimale di $ \ gamma $ dipende interamente dai tuoi dati, qualsiasi regola pratica dovrebbe essere presa con una libbra di sale. Detto questo, puoi utilizzare librerie specializzate per ottimizzare gli iperparametri per te (ad esempio Optunity (*)), nel caso di SVM con kernel RBF che è $ \ gamma $ e $ C $. Puoi trovare un esempio di ottimizzazione automatica di questi parametri con Optunity e scikit-learn qui.

^{(*) disclaimer: sono lo sviluppatore principale di Optunity.}