Modelo linear

 Ver artigo principal: Regressão linear

Para o caso da regressão, o modelo estatístico é como segue. Dada uma amostra (aleatória) ${\displaystyle (Y_{i},X_{i1},\ldots ,X_{ip}),i=1,\ldots ,n}$ , a relação entre as observações ${\displaystyle Y_{i}}$  e as variáveis independentes ${\displaystyle X_{ij}}$  é formulada como:

${\displaystyle Y_{i}=\beta _{0}+\beta _{1}\phi _{1}(X_{i1})+\cdots +\beta _{p}\phi _{p}(X_{ip})+\varepsilon _{i}\qquad i=1,\ldots ,n;}$ 

em que ${\displaystyle \phi _{1},\ldots ,\phi _{p}}$  podem ser funções não lineares. Acima, as quantidades ${\displaystyle \varepsilon _{i}}$  são variáveis aleatórias que representam os erros na relação. A parte "linear" da designação se relaciona com o aparecimento dos coeficientes de regressão ${\displaystyle \beta _{j}}$  em uma forma linear na relação acima. Alternativamente, pode-se dizer que os valores previstos correspondentes ao modelo acima, mais precisamente:

${\displaystyle {\hat {Y}}_{i}=\beta _{0}+\beta _{1}\phi _{1}(X_{i1})+\cdots +\beta _{p}\phi _{p}(X_{ip})\qquad (i=1,\ldots ,n),}$ 

são funções lineares dos ${\displaystyle \beta _{j}}$ . Dado que a estimativa é realizada com base em um análise de mínimos quadrados, estimativas dos parâmetros desconhecidos ${\displaystyle \beta _{j}}$  são determinadas ao minimizar uma função de soma de quadrados:

${\displaystyle S=\sum _{i=1}^{n}\left(Y_{i}-\beta _{0}-\beta _{1}\phi _{1}(X_{i1})-\cdots -\beta _{p}\phi _{p}(X_{ip})\right)^{2}.}$ ^[2]

A partir disto, pode-se ver prontamente que o aspecto "linear" do modelo significa o seguinte:

• A função a ser minimizada é uma função quadrática dos ${\displaystyle \beta _{j}}$ , para a qual a minimização é um problema relativamente simples;
• As derivadas da função são funções lineares dos ${\displaystyle \beta _{j}}$ , o que torna mais fácil encontrar os valores minimizantes;
• Os valores minimizantes ${\displaystyle \beta _{j}}$  são funções lineares das observações ${\displaystyle Y_{i}}$ ;
• Os valores minimizantes ${\displaystyle \beta _{j}}$  são funções lineares dos erros aleatórios ${\displaystyle \varepsilon _{i}}$ , o que torna relativamente fácil determinar as propriedades estatísticas dos valores estimados dos ${\displaystyle \beta _{j}}$ .^[3]

Um exemplo de um modelo linear de série temporal é um modelo ARMA. Aqui, o modelo para valores ${\displaystyle \{X_{t}\}}$  em uma série temporal pode ser escrito na forma:

${\displaystyle X_{t}=c+\varepsilon _{t}+\sum _{i=1}^{p}\phi _{i}X_{t-i}+\sum _{i=1}^{q}\theta _{i}\varepsilon _{t-i},}$ 

em que novamente as quantidades ${\displaystyle \varepsilon _{t}}$  são variáveis aleatórias que representam inovações, que são novos efeitos aleatórios que aparecem em um certo tempo, mas que também afetam valores de ${\displaystyle X}$  em tempos posteriores. Neste exemplo, o uso do termo "modelo linear" se refere à estrutura da relação acima ao representar ${\displaystyle X_{t}}$  como uma função linear dos valores passados da mesma série temporal e dos valores presentes e passados das inovações. Este aspecto particular da estrutura significa que é relativamente simples derivar relações para as propriedades de média e covariância da série temporal. Nota-se que aqui a parte "linear" do termo "modelo linear" não está se referindo ao coeficientes ${\displaystyle \varphi _{i}}$  e ${\displaystyle \theta _{i}}$ , como seria no caso de um modelo de regressão, que parece estruturalmente semelhante.^[4]

Há algumas outras instâncias em que "modelo não linear" é usado para contrastar com um modelo linearmente estruturado, embora o termo "modelo linear" não seja usualmente aplicado. Um exemplo disto é a redução de dimensionalidade não linear.^[5]

• Modelo estatístico
• Modelo linear generalizado

•   Portal de probabilidade e estatística