Spazio dei parametri
Lo spazio dei parametri, indicato con Θ, è lo spazio di tutti i possibili valori dei parametri che definiscono un particolare modello matematico . A volte viene anche chiamato spazio dei pesi ed è spesso un sottoinsieme dello spazio euclideo di dimensione finita.
In statistica, gli spazi parametrici sono particolarmente utili per descrivere famiglie parametriche di distribuzioni di probabilità . Costituiscono inoltre la base per la stima dei parametri . Nel caso di stimatori estremi per modelli parametrici, una certa funzione obiettivo è massimizzata o minimizzata sullo spazio dei parametri.[1] I teoremi di esistenza e coerenza di tali stimatori richiedono alcune ipotesi sulla topologia dello spazio dei parametri. Ad esempio, la compattezza dello spazio dei parametri, insieme alla continuità della funzione obiettivo, è sufficiente per l'esistenza di uno stimatore estremo.[1]
A volte i parametri vengono analizzati per vedere come influenzano il loro modello statistico. In tale contesto, possono essere visti come argomenti di una funzione, nel qual caso il termine tecnico per lo spazio dei parametri è dominio di una funzione . Gli intervalli valoriali dei parametri possono formare gli assi di uno spazio e particolari risultati del modello possono essere rappresentati su questi assi per illustrare come diverse regioni dello spazio dei parametri producono diversi tipi di comportamento nel modello.
Esempi
[modifica | modifica wikitesto]- Un semplice modello di decaduta di salute dopo aver sviluppato un tumore polmonare potrebbe includere i due parametri sesso[2] e fumatore [o fumatrice]/non fumatore [o non fumatrice]. In questo caso, lo spazio dei parametri sarebbe il seguente insieme con le 4 possibilità: .
- La mappa logistica ha un parametro, r, che può assumere qualsiasi valore positivo. Lo spazio dei parametri è quindi l'insieme dei numeri reali positivi. Per alcuni valori di r, questa funzione ruota attorno a pochi valori o si stabilizza su uno specifico. I valori a lungo termine possono essere graficati contro r in un diagramma di biforcazione per mostrare i differenti comportamenti della funzione al variare di r.
- In un modello a seno, definito come , i parametri sono ampiezza A > 0, frequenza angolare ω > 0, e fase φ ∈ S1. Lo spazio dei parametri sarebbe quindi .
- In dinamica complessa, lo spazio dei parametri corrisponde al piano complesso , dove .
- Il famoso insieme di Mandelbrot è un sottoinsieme di questo spazio dei parametri, consistente dei punti complessi danti un insieme limitato di numeri quando un particolare algoritmo iterativo è ripetutamente applicato da quel punto di partenza. I rimanenti punti che non sono nell'insieme, danno un insieme illimitato di numeri (tendenti all'infinito) quando quest'algoritmo è ripetutamente applicato dal detto punto di partenza.
- In apprendimento automatico, un iperparametro è usato per descrivere modelli. In apprendimento profondo, i parametri di una rete neurale profonda sono chiamati pesi. Stante la struttura a strati delle rete neurali profondi, il loro spazio dei pesi ha una struttura e una geometria complesse.[3][4] Per esempio, nei percettroni multristrato, la stessa funzione viene mantenuta quando si permutano i nodi di un livello nascosto, che equivalgono a matrici di peso della rete permutanti. Questa proprietà è conosciuta come equivarianza alla permutazione degli spazi di peso profondi.[3] lo studio study cerca l'ottimizzazione iperparametrica.
Note
[modifica | modifica wikitesto]- ^ a b Fumio Hayashi, Econometrics, Princeton University Press, 2000, p. 446, ISBN 0-691-01018-8.
- ^ J. Gasperino e Rom, W. N., Gender and lung cancer, in Clinical Lung Cancer, vol. 5, n. 6, 2004, pp. 353–359, DOI:10.3816/CLC.2004.n.013, PMID 15217534.
- ^ a b (EN) Aviv Navon, Aviv Shamsian, Idan Achituve, Ethan Fetaya, Gal Chechik e Haggai Maron, Equivariant Architectures for Learning in Deep Weight Spaces, in Proceedings of the 40th International Conference on Machine Learning, PMLR, 3 luglio 2023, pp. 25790–25816.
- ^ Robert Hecht-Nielsen, ON THE ALGEBRAIC STRUCTURE OF FEEDFORWARD NETWORK WEIGHT SPACES, in Rolf Eckmiller (a cura di), Advanced Neural Computers, Amsterdam, North-Holland, 1º gennaio 1990, pp. 129–135, ISBN 978-0-444-88400-8. URL consultato il 1º dicembre 2023.