Первоистория
Американские ученые Уоррен Маккаллок и Уолтер Питтс впервые попытались создать искусственный нейрон и алгоритмы машинного интеллекта еще в 1943 году, заложив совместно с Норбертом Винером основы новой науки — кибернетики.
Выдающиеся советские математики Андрей Николаевич Колмогоров и Владимир Игоревич Арнольд доказали в 1957 году теорему о том, что любая непрерывная функция нескольких переменных может быть представлена в виде комбинации конечного числа функций меньшего числа переменных, и именно это стало математическим обоснованием для построения нейросетей. Ими было доказано, что соответствие между зависимыми элементами различных множеств или функций может быть представлено нейросетью фиксированной размерности с прямыми связями с определенным количеством «нейронов» входного слоя, увеличенным числом «нейронов» каждого следующего скрытого слоя с определенными функциями активации и «нейронами» выходного слоя с неизвестными функциями активации. Причем нейросети могут настраиваться или «обучаться».