Артур Шайхутдинов

https://courses.rcppe.ru | https://t.me/rcppe | https://vk.com/rcppe SGD (Stochastic Gradient Descent) — это стохастический градиентный спуск. Он обновляет параметры не по всему датасету, а по одному примеру или мини-батчу. Поэтому он быстрее и шумнее обычного градиентного спуска (gradient descent), который считает градиент по всем данным сразу.

https://courses.rcppe.ru | https://t.me/rcppe | https://vk.com/rcppe Скалярное произведение — это произведение двух векторов: мы умножаем соответствующие элементы и складываем результаты. Оно используется во всех нейронных сетях. В формуле нейрона веса и входные данные умножаются попарно и суммируются. То есть нейрон сначала вычисляет скалярное произведение входного вектора и вектора весов, а затем пропускает результат через функцию активации.

https://courses.rcppe.ru | https://t.me/rcppe | https://vk.com/rcppe Градиентный спуск (Gradient descent) — это метод оптимизации, который шаг за шагом уменьшает ошибку модели, двигаясь в сторону наибольшего убывания функции потерь. Его часто используют в машинном обучении, чтобы подобрать хорошие веса модели.

https://courses.rcppe.ru | https://t.me/rcppe | https://vk.com/rcppe Autoencoder — это нейросеть, которая учится сжимать данные в скрытое представление и затем восстанавливать их обратно. Обычно используется для уменьшения размерности, удаления шума и поиска важных признаков. Variational autoencoder (VAE) — это генеративный автоэнкодер, который не просто сжимает данные, а учит их вероятностное скрытое представление, чтобы потом генерировать новые похожие примеры.

https://courses.rcppe.ru | https://t.me/rcppe | https://vk.com/rcppe Метод главных компонент (PCA, Principal Component Analysis) — это алгоритм машинного обучения без учителя, используемый для снижения размерности данных при сохранении максимального количества информации (дисперсии, т.е. разброса). Он преобразует коррелированные признаки в набор новых некоррелированных переменных — главных компонент, упорядоченных по степени важности. Позволяет перейти от множества признаков к меньшему их числу.

Google запустил блестящий инструмент с искусственным интеллектом прямо внутри Творческой студии YouTube. "Спросить у Студии" – это AI-инструмент и партнер по созданию видеоконтента, интегрированный в Творческую студию YouTube. Он может пересказывать комментарии к вашим видео и отзывы о них, собирать актуальную статистику по каналу и генерировать идеи и планы для нового контента. Сейчас им можно пользоваться исключительно в браузерах на компьютере. Чтобы воспользоваться нажмите значок "Спросить у Студии" в верхнем углу Творческой студии YouTube. "Спросить у Студии" отвечает на вопросы об эффективности вашего канала и комментариях к вашим видео, а также помогает находить идеи для новых роликов. Вы можете выбрать один из предложенных вариантов, например "Резюмируй комментарии", а затем уточнить его. Вы также можете воспользоваться встроенным руководством "Как "Спросить у Студии" может помо́чь мне?". Ответы генерируются большими языковыми моделями (LLM), которые получают информацию с вашего канала, от YouTube и из интернета. Инструмент "Спросить у Студии" доступен большинству авторов YouTube в Великобритании, Индии, Канаде, Латинской Америке, Новой Зеландии, США и странах Европейской экономической зоны.

https://courses.rcppe.ru | https://t.me/rcppe | https://vk.com/rcppe Федеративное обучение — это способ обучать модель на данных, которые не покидают устройства: вместо самих данных отправляются только обновления модели, которые потом объединяются на центральном сервере. Это полезно для конфиденциальности и когда данные распределены по множеству устройств, например смартфонам или датчикам.

https://courses.rcppe.ru | https://t.me/rcppe | https://vk.com/rcppe Walk-forward оптимизация — это способ проверять и подбирать параметры модели на временных данных по шагам: обучают на прошлом участке, тестируют на следующем, затем окно сдвигают вперёд. Она помогает оценить, насколько модель устойчива и не переобучается на исторических данных. #машинноеобучение #нейросети #нейросеть

https://courses.rcppe.ru | https://t.me/rcppe | https://vk.com/rcppe Друзья, привет! Сегодня я в МГТУ им. Баумана на конференции Технологии виртуальной реальности.

https://courses.rcppe.ru | https://t.me/rcppe | https://vk.com/rcppe Переобучение — это когда модель слишком хорошо запоминает обучающие данные, включая шум и случайные детали, и поэтому хуже работает на новых данных. Недообучение — это когда модель слишком простая и не улавливает закономерности в данных, поэтому плохо работает и на обучающих, и на новых данных. Простейшим способом борьбы с переобучением является ранняя остановка обучения.

https://courses.rcppe.ru | https://t.me/rcppe | https://vk.com/rcppe Conformal prediction — это метод оценки неопределённости, который по данным калибровки строит множество допустимых ответов или интервал, так что истинное значение покрывается с заданной вероятностью, например 95%. Он почти не зависит от конкретной модели и работает при очень слабом предположении о том, что данные приходят из одного и того же распределения. Для классификации он возвращает набор классов, а для регрессии — предсказательный интервал.

https://courses.rcppe.ru | https://t.me/rcppe | https://vk.com/rcppe Softmax — это функция активации, которая применяется ко всему слою, а не к отдельному нейрону. Она превращает набор чисел модели в вероятности, где сумма равна единице. Для её вычисления берут каждое число, возводят в экспоненту, потом делят на сумму всех таких значений. Её обычно используют в последнем слое многоклассовой классификации, чтобы понять, какой класс модель считает наиболее вероятным. Это называется категориальной кросс-энтропией. #машинноеобучение #machinelearning #ии #ai #искусственныйинтеллект #artificialintelligence #neuralnetworks #нейросети #нейронныесети

https://courses.rcppe.ru | https://t.me/rcppe | https://vk.com/rcppe Сравнение интерактивных визуализаций по математике, физике и инженерии. ChatGPT против Gemini. Напишите в комментариях, где вам больше нравится.

https://courses.rcppe.ru | https://t.me/rcppe | https://vk.com/rcppe Дерево решений — это алгоритм машинного обучения, который последовательно задаёт вопросы по признакам данных и ведёт к ответу в виде класса или числового предсказания. Дерево решений строят рекурсивно — в каждом узле выбирают признак и порог, которые лучше всего разделяют данные, и повторяют это до условия остановки.

https://courses.rcppe.ru | https://t.me/rcppe | https://vk.com/rcppe Automated Machine Learning (AutoML) — это автоматизация этапов машинного обучения: выбора модели, подбора параметров, обработки данных и оценки качества. Это способ быстрее и проще строить ML-модели, часто даже без глубокого ручного перебора.

https://courses.rcppe.ru | https://t.me/rcppe | https://vk.com/rcppe Категориальная кросс-энтропия — это функция потерь для многоклассовой классификации. Она измеряет, насколько предсказанные моделью вероятности классов отличаются от истинной метки. Для её вычисления берут вероятности всех классов, смотрят только на вероятность правильного класса, берут её логарифм, меняют знак, и обычно усредняют по примерам. Чем меньше значение, тем лучше модель.

https://courses.rcppe.ru | https://t.me/rcppe | https://vk.com/rcppe Random Forest — это ансамбль множества решающих деревьев. Каждое дерево обучается отдельно, а итог получается голосованием или усреднением. Он обычно снижает переобучение и хорошо работает для классификации и регрессии. Каждое дерево обучается на случайной подвыборке данных и признаков, а затем рекурсивно делит данные по лучшим разбиениям до остановки. #machinelearning #машинноеобучение

Привет, друзья! Седьмого февраля поеду на конференцию Т-Банка под названием tsync для мидл и синьор разработчиков. Меня там интересует естественно направление искусственного интеллекта и машинного обучения. Увидимся на конференции!

AdamW — это вариант оптимизатора Adam, в котором weight decay отделён от шага градиента, чтобы регуляризация весов не искажала адаптивную динамику обучения и улучшала обобщающую способность моделей. Weight decay — это метод регуляризации, при котором веса модели на каждом шаге обучения дополнительно чуть «подтягиваются» к нулю, чтобы они не раздувались и уменьшалось переобучение. Главное отличие: в обычном Adam weight decay реализован как L2‑регуляризация через градиент, из‑за чего он вмешивается в адаптивные шаги; в AdamW weight decay отделен и применяется напрямую к весам, что даёт более корректную регуляризацию и обычно лучшее обобщение, особенно в больших моделях.