Устройство нейронных сетей. Слои. Данные. Функции.
... Этот простой пример реализации нейросети на обычном домашнем ПК во встроенной среде программирования командной строки BAT CMD - получился в результате общения с моделью GigaChat, нейробота от Сбера ... Безусловно, это очень интересный опыт, не только в разработки нейронных сетей на домашнем ПК, но и в плане управляемого общения с интеллектуальным ИИ помощником ... Поскольку, примерно в это же время - происходила замена кода GigaChat - на Pro версию, то - становится непонятно, в каком именно варианте бота - происходил диалог ))) ...
Разработка кода.
С чего начать писать модель ИИ на bat cmd ? ... Нейронная сеть - это сложная математическая модель, которая обучается на основе данных ... Она состоит из нескольких взаимосвязанных узлов, называемых нейронами, которые обрабатывают входные данные и генерируют выходные данные ... Для создания простой нейронной сети на языке программирования BAT / CMD - можно использовать следующие шаги ...
1) Создать входные и выходные данные ...
2) Создать наборы для обучения и тестирования нейросети ...
3) Написать код для инициализации нейронов и весов сети ...
4) Написать код для передачи входных данных через слои нейронов и вычисления выходных данных ...
5) Написать код для обновления весов сети - на основе ошибки между выходными данными и ожидаемыми результатами ... Обучить нейросеть ...
6) Проверить нейронную сеть на тестовых данных ...
Реализация кода.
1) @rem Определение входных и выходных данных для нейронной сети ...
SET input_data=Массив входных данных ...
SET output_data=Массив выходных данных ...
Используем переменные input_data и output_data, чтобы определить входные и выходные данные для нашей нейронной сети ... Здесь и далее, условные названия подсказки - нужно заменить на конкретные значения, которые соответствуют реальному набору данных ...
2) @rem Создание набора данных для обучения нейронной сети ...
SET training_data=Набор данных для обучения ...
SET testing_data=Набор данных для тестирования ...
Используем переменные training_data и testing_data, чтобы определить наборы данных для обучения и тестирования нейронной сети ... Обратите внимание, что потребуется разделить набор данных - на обучающую и тестовую выборки ... Это позволит оценить производительность нейронной сети на новых данных ...
3) @rem Инициализация нейронов и весов нейронной сети ...
SET input_size=Размер входного слоя ...
SET hidden_size=Размер скрытого слоя ...
SET output_size=Размер выходного слоя ...
SET input_weights=Весы входного слоя ...
SET hidden_weights=Весы скрытого слоя ...
SET output_weights=Весы выходного слоя ...
Используем переменные input_size, hidden_size и output_size, чтобы определить размер каждого слоя в нейронной сети ...
Используем переменные input_weights, hidden_weights и output_weights, чтобы определить веса каждого слоя ... Можно инициализировать эти переменные нулевыми значениями или использовать другие методы инициализации, такие как инициализация случайным образом ... Обратите внимание, что также - потребуется определить функции активации для каждого слоя в нейронной сети ... Функция активации - определяет выходной сигнал, который определяется входным сигналом или набором входных сигналов ...
4) @rem Передача входных данных через слои нейронов и вычисление выходных данных ...
SET input_data=Массив входных данных ...
SET hidden_layer_output=Выход скрытого слоя ...
SET output_layer_output=Выход выходного слоя ...
FOR /L %%i IN (1,1,%input_size%) DO (
SET hidden_layer_output=Функция активации скрытого слоя(input_data, %%i)
SET output_layer_output=Функция активации выходного слоя(hidden_layer_output)
)
...
В этом примере - используем цикл FOR, чтобы передать входные данные input_data через скрытый слой и вычислить выходной сигнал output_layer_output для каждого нейрона в скрытом слое ...
Обратите внимание, что Функции - нужно заменить, на - реальные ...
Также, обратите внимание, что этот код предполагает, что входные данные - уже были инициализированы и что размер входного слоя - указан в переменной input_size ...
5) @rem Обновление весов нейронной сети на основе ошибки между выходными данными и ожидаемыми результатами ...
SET error=Ошибка между выходными данными и ожидаемыми результатами ...
SET learning_rate=Скорость обучения ...
FOR /L %%i IN (1,1,%hidden_size%) DO (
SET hidden_weight_update=Вес скрытого слоя после обновления
SET hidden_weight_update=Случайное обновление веса(hidden_weight_update, error, learning_rate)
SET hidden_weights=Обновленные веса скрытого слоя
)
...
FOR /L %%i IN (1,1,%output_size%) DO (
SET output_weight_update=Вес выходного слоя после обновления
SET output_weight_update=Случайное обновление веса(output_weight_update, error, learning_rate)
SET output_weights=Обновленные веса выходного слоя
)
...
В этом примере - используем цикл FOR, чтобы обновить веса каждого нейрона в скрытом и выходном слоях на основе ошибки между выходными данными и ожидаемыми результатами ...
Функция обновления веса - определяет новый вес нейрона на основе ошибки и скорости обучения ...
Также обратите внимание, что этот код предполагает, что ошибка и скорость обучения - уже были определены и что размер скрытого и выходного слоев указаны в переменных hidden_size и output_size ...
Важно : Повторять шаги 4 и 5 - для каждого примера в наборе данных, чтобы обучить нейронную сеть ...
6) @rem Проверка нейронной сети на тестовых данных ...
SET testing_data=Набор тестовых данных ...
SET testing_output=Результаты тестовых данных ...
FOR /L %%i IN (1,1,%testing_size%) DO (
SET input=Элемент входных данных из набора тестовых данных
SET expected_output=Ожидаемый результат для элемента входных данных
SET predicted_output=Выходной сигнал нейронной сети для элемента входных данных
...
SET hidden_layer_output=Функция активации скрытого слоя(input)
SET output_layer_output=Функция активации выходного слоя(hidden_layer_output)
...
IF %predicted_output%==%expected_output% (
SET correct_predictions=Количество правильных предсказаний
) ELSE (
SET incorrect_predictions=Количество неправильных предсказаний
)
)
...
В этом примере - используем цикл FOR, чтобы передать каждый элемент входных данных из набора тестовых данных - через нейронную сеть, и сравнить выходные данные - с ожидаемыми результатами ...
Также обратите внимание, что этот код предполагает, что набор тестовых данных и ожидаемые результаты - уже были определены и что размер входного слоя указан в переменной testing_size ...
Что рекомендуется знать разработчику нейросетей.
Написание полноценной нейронной сети на языке программирования BAT / CMD - может быть сложным, поэтому рекомендуется изучить основы программирования и алгоритмов машинного обучения перед тем, как приступить к созданию своей собственной модели ИИ ... Приведённые выше - это только примеры кода для шести шагов создания нейронной сети ... Разработчику, будет нужно дополнить код, чтобы он - соответствовал конкретной задаче и набору данных ... В целом, создание полноценной нейронной сети - требует глубокого понимания алгоритмов машинного обучения и программирования ...
Входные данные.
Входной сигнал в контексте нейронной сети обычно относится к набору входных данных, которые подаются на вход нейронной сети для вычисления выходных данных ... Входной сигнал может представлять собой числовые значения, бинарные значения или даже текстовые данные, в зависимости от конкретной задачи и типа данных, с которыми работает нейронная сеть ...
Нейросеть для классификации изображений, например - принимает входной сигнал, представляющий собой набор пикселей изображения, представленных в виде числовых значений ...
Нейронная сеть для обработки текста - принимает входной сигнал последовательности слов или символов, представленных в виде числовых или бинарных значений ...
В общем, входной сигнал - это информация, которая предоставляется нейронной сети для вычисления выходных данных ... Важно убедиться, что входной сигнал правильно представлен и обработан, чтобы обеспечить точность и эффективность работы нейронной сети ...
Предварительная обработка данных.
Перед обучением нейронной сети важно предварительно обработать данные, чтобы они - были подходящими для использования в нейронной сети ... Это может включать : нормализацию данных, удаление выбросов или заполнение пропущенных значений ...
Нейронные Слои.
Входной слой ... Количество нейронов во входном слое нейронной сети - не обязательно должно быть равно количеству нейронов в скрытом слое ... Количество нейронов во входном слое определяется размером входных данных и требованиями конкретной задачи ... Однако важно отметить, что количество нейронов во входном слое - может влиять на производительность нейронной сети ...
# Слишком много нейронов во входном слое - может привести к переобучению ...
# Слишком мало нейронов может привести - к недообучению ...
# Поэтому важно экспериментировать с разными размерами входного слоя и определить оптимальный размер для конкретной задачи и набора обучающих данных ...
* Например, если входной массив 5х5, то потребуется 25 входных нейронов ... Но, если считывать данные по три / тройками - то учитывая, что каждая тройка представляет собой отдельный входной элемент, можно сказать, что есть 75 троек или 125 входных данных / нейронов [ лично я, вот прямо сейчас - вообще не понимаю эту математику ))) ] ...
Скрытый слой ... Выбрать количество скрытых слоев и количество нейронов в каждом скрытом слое - на основе размера входного слоя и требуемой сложности нейронной сети ... Более сложные задачи могут требовать - большего количества скрытых слоев или большего количества нейронов в каждом скрытом слое ... Для начала можно попробовать использовать один или два скрытых слоя с 10-100 нейронами в каждом ...
Выходной слой ... Количество нейронов в выходном слое - определяется на основе требуемого количества выходных классов или категорий, то есть - зависит от количества вариантов ответов ... Например, для ответа : Да / Нет - потребуется всего два нейрона ... Если стоит задача классифицировать изображения на 10 категорий, то потребуется - 10 нейронов в выходном слое ...
e, π, sin, cos, графики и функции.
Отступление от темы ... Пи - это число, математическая постоянная / константа, равная отношению длины окружности к её диаметру ... Пи - явно связано с окружностью, цикличностью, временем и графиком ... Функции также имеют графическое представление, линейное (прямая) и нелинейное (S, U и иные) представления ... Кажется, что окружность - порождает синус, но он живет отдельно, в своей плоскости -1 0 1 циклических колебаний движения ... 0 -1 0 - это Пи ... 0 1 0 - это тоже Пи ... Полный ход циклического движения синуса = 2 Пи ... Пи - возвращает синус - к нулю (к началу отсчёта) ... Косинус - это противоположность синуса ... Окружность - не является основой синуса, но синус и косинус - порождают окружность, и через неё - взаимодействуют с другими геометрическими фигурами ...
...
Функция активации слоя нейронной сети.
В качестве функции активации для скрытого слоя нейронной сети можно использовать сигмоид, гиперболический тангенс или ReLU ... Каждая из этих функций имеет свои преимущества и недостатки, и выбор - зависит от конкретной задачи и требований проекта ...
* Примечание ... сигмоид, гиперболический тангенс и ReLU, обычно используются - как функции активации для скрытых слоев нейронной сети ... Однако их также можно использовать - для входных или выходных слоев, в зависимости от конкретной архитектуры нейронной сети и требований проекта ...
* Функции активации определяют выходной сигнал, который определяется входным сигналом или набором входных сигналов ... Важно экспериментировать с разными функциями активации и их комбинациями, чтобы найти ту, которая дает лучшие результаты работы - для конкретной нейронной сети ... Функция активации обычно применяется к каждому нейрону в слое, чтобы вычислить его выходной сигнал на основе его входного сигнала или набора входных сигналов ...
Общий пример кода функций активации ...
SET input=Массив входных данных ...
SET output=Активация скрытого слоя ...
FOR %%i IN (1,1,%input_size%) DO (
SET hidden_layer_output=Function(input, %%i)
)
, где Function - это Сигмоид, Гиперболический тангенс или ReLU ...
# сигмоид или гиперболический тангенс, для выходного слоя - может быть полезен, если требуется нелинейная функция выхода ... Сигмоид и гиперболический тангенс являются гладкими функциями, которые позволяют выходному сигналу - принимать любое значение в заданном диапазоне ... Сигмоид преобразует входные данные - в выходные, в диапазоне от 0 до 1 ... Формула сигмоида выглядит следующим образом ...
сигма(x) = 1 / (1 + e^(-x))
где x - входные данные, сигма(x) - выходные данные, e - экспонента (которая является основанием натурального логарифма и определяется как приблизительное значение числа Пи в десятичной форме ... В математике и науке число Пи широко используется в различных формулах и уравнениях, и оно приблизительно равно 3,14159 ... В контексте формулы сигмоида e^(-x) представляет собой экспоненту от отрицательного значения x, которая является нелинейной функцией ... Применение e^(-x) к отрицательному значению x позволяет получить выходные данные сигмоида в диапазоне от 0 до 1) ...
Сигмоид используется для преобразования входных данных, которые обычно представляются в виде вектора или массива чисел - в выходные данные, которые представляют собой вероятности или оценки ... Сигмоида является популярной функцией активации, потому что она обладает несколькими желательными свойствами, такими как : гладкость, монотонность и устойчивость к выбросам ... Она широко используется в различных типах нейронных сетей, включая перцептрон, нейронную сеть с обратным распространением и сверточные нейронные сети ...
Функция активации сигмоида принимает входной сигнал и вычисляет его выходной сигнал с помощью формулы сигмоида ...
= Если входной сигнал больше нуля, то выходной сигнал будет положительным и будет определяться как отношение единицы к экспоненциально уменьшающемуся значению входного сигнала ...
= Если входной сигнал меньше или равен нулю, то выходной сигнал будет отрицательным и будет определяться как разница между единицей и экспоненциально уменьшающимся значением входного сигнала ...
Пример кода для реализации функции активации сигмоида : ...
SET input=Входной сигнал ...
SET output=Активация нейрона ...
IF %input% > 0 (
SET output=1 / (1 + EXP(-%input%))
) ELSE (
SET output=1 - EXP(-%input%))
)
...
В языке программирования BAT / CMD нет встроенной функции exp(), и вряд ли можно реализовать ее с помощью следующего кода ...
SET input=Входной сигнал ...
SET output=Выходной сигнал ...
SET e=3.1415 // не работает (только целые числа) ...
SET output=%e^(-%input%) // не работает возведение в степень (экранируется) ; ошибочные проценты и вообще неверный код ??? ...
переменная e инициализируется как приближенное значение числа e (примерно равное 3,14159), затем выходной сигнал вычисляется как экспонента входного сигнала, используя формулу e^(-input) ...
Точно так же не получится реализовать функцию гиперболического тангенса в языке программирования BAT / CMD используя следующий подход : ...
SET input=Входной сигнал ...
SET output=Активация нейрона ...
SET pi=3.14159 ...
SET output=%pi%*((1/%input%)^2)-1)
В этом примере выходной сигнал вычисляется как гиперболический тангенс входного сигнала ...
# ReLU, более простую функцию, для выходного слоя - предпочтительнее использовать, чтобы ускорить обучение и улучшить производительность нейронной сети ... ReLU - является негладкой функцией, которая ограничивает выходной сигнал - положительными значениями ... Реализация функции активации ReLU (Rectified Linear Unit) может быть достаточно простой ... Вот небольшой пример того, как это можно сделать ...
@rem Реализация функции активации выпрямленной линейной единицы (ReLU) ...
@param x input value
@return output value
...
REM Проверка, является ли x - отрицательным ...
IF %x% LSS 0 (
REM Если x отрицательный, вернуть 0
GOTO END
)
...
REM Возвращает x, если x положительное или ноль
GOTO END
...
:END
REM Вернуть выходное значение ...
SET output=%x%
EXIT /B %output%
В этом примере функция активации ReLU принимает один входной параметр x, проверяет, является ли x отрицательным, и если это так, возвращает 0 ... В противном случае, функция просто возвращает входное значение x ... В реальных сценариях может потребоваться - более сложная логика для обработки различных типов входных данных и ошибок ... Однако, основная идея функции активации ReLU - заключается в возврате входного значения - для положительных и нулевых значений, и в возврате 0 - для отрицательных значений ...
Обучение нейросети.
Скорость обучения ... Более низкая скорость обучения может помочь избежать переобучения, тогда как более высокая скорость обучения может помочь быстрее сходиться к оптимальным весам ... Для начала можно попробовать использовать скорость обучения в диапазоне от 0,1 до 0,5 ... Однако, BAT / CMD вычисляет операции - только с целыми числами, без всяких точек и запятых ))) ...
Количество эпох ... Более высокие значения могут помочь достичь более точных результатов, но также могут требовать больше времени для обучения ... Для начала можно попробовать использовать от 10 до 100 эпох ...
Количество шагов на эпоху ... Более высокие значения могут помочь достичь более точных результатов, но также могут требовать больше времени для обучения ... Для начала можно попробовать использовать от 100 до 1000 шагов на эпоху ...
Next Level - Следующий уровень игры.
Следуя приведенным примерам можно попытаться собрать, ну прямо - очень простую нейросеть на ПК, используя π = 3 и другие целые числа ... И, даже в этом случае, может быть придется - допиливать код до рабочего состояния ))) ... Сложно - ещё не значит, что это - абсолютно невозможно, и придётся как следует поработать, не только руками, но и головой, чтобы обойти действующие ограничения ...
Цель этого материала - раскрыть внутреннее устройство нейронной сети и показать, как отдельные участки подпрограмм - взаимодействуют друг с другом, для достижения результата ... Ввиду ограниченной работоспособности процессора командной строки Windows - есть вероятность рассмотреть более совершенные современные системы кодирования, такие как : язык программирования Python и онлайн среда программирования Google Collaboratory ...
В ходе беседы с GigaChat, мы узнали и обсудили обсудили различные аспекты нейронных сетей ... Если вы начинающий программист нейросетей и решили продолжить их изучение - вот несколько советов для вашего будущего развития : ...
# Изучайте основы математики и статистики ... Математика и статистика являются основой нейронных сетей ... Понимание основных концепций, таких как линейная алгебра, дифференциальное и интегральное исчисление, вероятность и статистика - поможет вам лучше понять и применять нейронные сети ...
# Практикуйтесь в реализации нейронных сетей ... Начните с простых проектов и постепенно переходите к более сложным ... Реализуйте различные архитектуры нейронных сетей, используйте различные функции активации и экспериментируйте с различными параметрами и настройками ... Это поможет вам лучше понять, как работают нейронные сети и как их оптимизировать для достижения лучших результатов ...
# Изучайте и анализируйте существующие исследования ... Чтение и анализ существующих исследований в области нейронных сетей поможет вам понять последние тенденции и лучшие практики в этой области ... Изучайте работы других исследователей, участвуйте в конференциях и семинарах, чтобы быть в курсе последних достижений и разработок ...
# Общайтесь с сообществом ... Общение с другими программистами и исследователями в области нейронных сетей поможет вам получить новые идеи, обменяться опытом и решить проблемы ... Присоединяйтесь к сообществам и форумам, участвуйте в дискуссиях и задавайте вопросы ... Коллективное знание и опыт сообщества могут быть бесценными для вашего развития ...
Раздел computer : список всех страниц ...