ADALINE

ADALINE (англ. Adaptive Linear Neuron або пізніше англ. Adaptive Linear Element) — адаптивний лінійний нейрон, або адаптивний лінійний елемент. ADALINE по суті є одношаровою нейронною мережею.^{[1][2][3][4][5]} Він був розроблений професором Бернардом Відроу і його студентом Тедом Гоффом у Стенфордському університеті у 1960 році. ADALINE базується на штучному нейроні МакКаллока-Пітса.

Різниця між Адалін і стандартним нейроном МакКаллоха-Пітса полягає в тому, що у фазі навчання ваги Адалін встановлюються відповідно до вагової суми входів (сигнали сітки). В стандартному перцептроні протягом фази навчання сигнали сітки надходять до передавальної функції і її вихід використовується для встановлення ваг.

Багатошарова мережа ADALINE називається Madaline.

ADALINE — це одношарова нейросітка з численними вузлами, кожен з яких має багато входів і генерує вихідний сигнал. Позначимо такі змінні:

• ${\displaystyle x}$ — вхідний вектор
• ${\displaystyle w}$ — ваговий вектор
• ${\displaystyle n}$ — число входів
• ${\displaystyle \theta }$ — деяка константа
• ${\displaystyle y}$ — вихід

Вихід визначається наступною формулою: ${\displaystyle y=\sum _{j=1}^{n}x_{j}w_{j}+\theta }$. Припустимо, що

• ${\displaystyle x_{n+1}=1}$
• ${\displaystyle w_{n+1}=\theta }$

Тоді вихід спрощується до скалярного добутку x і w: ${\displaystyle y=\sum _{j=0}^{n}x_{j}w_{j}}$.

Припустимо:

• ${\displaystyle \eta }$ швидкість навчання (деяка константа)
• ${\displaystyle d}$ бажаний вихід
• ${\displaystyle o}$ поточний вихід

тоді ваги встановлюються таким чином: ${\displaystyle w\leftarrow w+\eta (d-o)x}$. ADALINE сходиться до похибки найменших квадратів: ${\displaystyle E=(d-o)^{2}}$.^[6] Це правило оновлення насправді є стохастичним градієнтним спуском для лінійної регресії.^[7]

• Delta Learning Rule: ADALINE
• Adaline (Adaptive Linear) [Архівовано 15 червня 2010 у Wayback Machine.]
• Perceptron and ADALINE

• MADALINE