Всё, что нужно знать о НЕЙРОСЕТЯХ

Вы получили вот такую записку что там написано не так важно важно что Вы ответите языка и смысл этих символов Вы не знаете да это вам и не нужно Нужно просто дать скажем правильный ответ этого ждёт пользователь Какой ответ будет правильным тот который удовлетворит автора этой записки всё что у вас есть - это сама записка и какое-то количество других текстов на этом языке их можно использовать Давайте возьмём любой символ и посмотрим какой из других символов чаще всего встречается в тексте сразу после него напишем его и делаем так много-много раз пока не получим ответ нужного размера Поздравляю

Вы только что составили цепь Маркова Теперь вы маленькая языковая модель как чат же пти только намного намного меньше этот алгоритм предложил математик Андрей Марков когда анализировал в стихотворениях Пушкина этим методом он статистически создавал новые стихотворения Пушкина Анализируя собрание его стихов Теперь ещё одна загадка это Ford молт Жестяная лизи первый в мире автомобиль серийного производства это СССР одна из важнейших империй изменивших ход всего XX века это теория относительности перевернувшая наше понимание пространства и времени которая теперь является краеугольным каменем для понимания принципов работы всего мира что между ними общего то что когда Марков предложил свою цепь один

из важнейших алгоритмов который до сих пор ежедневно используется в вашем смартфоне Ничего из этого ещё не существовало Это был 1906 год сейчас у нас есть производственные мощности а тогда это можно было сделать ручками сейчас я продемонстрирую это на практике возьмём тексты Евгения Онегина и анализировать будем не по буквам А по словам когда прелестных красавиц новых лиц лай мосик чмокает шум Хохот давка у ворот прощаться с ним сосед сопит перед нею шумит лубит волной своею кипучий тёмный и рады за душа примерно так вы общались бы в китайской комнате Давайте представим что в момент нашего первого эксперимента

вы были изолированы в комнате и никто не знает что происходит внутри Никто не знает человек там машина или аквапарк в соседней комнате сидит человек который говорит на китайском через щель между двумя комнатами Она передаёт записки с иероглифами Вы же отвечаете по строго заданной инструкции по некоему правилу вы всего лишь подбираете подходящий ответ на последовательность символов которую вы получили Но что если инструкция которая была вам Дана была настолько хороша что ваши ответы будут неотличимы От ответов знающего язык если никто не видит что происходит в вашей комнате Важно ли понимаете ли вы китайский язык Если вы не

понимаете что пишите но отвечаете складно и осмысленно Что отличает вас от носителя языка Разумеется алгоритм цепи Маркова такого ощущения у наблюдателя не создаст Но это хорошее начало этот алгоритм был очень распространён и используется даже сейчас например для мобильных клавиатур Где во время написания текста вам предлагается слово которое чаще всего встречается после последних двух-трёх написанных можете попробовать сами так сгенерировать текст поставьте это видео на паузу выберите секцию комментариев под этим видео и откройте свою мобильную клавиатуру введите Артур Шерифов создал видео о и дальше Попробуйте сгенерировать текст относительно того что предлагает вам автокорректор используя цепи Маркова и

вашу историю общения у вас наверняка получится некий Казалось бы осмысленный текст Возможно даже комичный но не стесняйтесь Поделитесь им в комментариях может быть мы найдём хорошие идеи для новых видео Если вы попробовали сечас се сгенерировать хотя бы немного длинный текст Вы можете понять В чём основные слабости алгоритма У меня получилось примерно так Артур Шарифов создал видео о том что я никак не могу уснуть Никак не могу уснуть Никак не и так далее может быть алгоритм цепи Маркова поможет вам ускорить печать сообщения но явно не сгенерирует осмысленно речь из более чем пяти слов этот подход не

учитывает контекст пока мы создаём текст Таким образом мы учитываем только один-два последних слова в предложении а Наша речь состоит значительно больше чем из пары слов возможно нам стоит просто расширить нашу цепь смотреть на больший контекст Давайте будем анализировать Какое слово встречается с наибольшей вероятностью После трёх определённых слов или Даже пяти может быть сотни всего лишь найти достаточно текстов и мы сможем с отличной точностью имитировать любой диалог и подобрать ответ на любой вопрос верно сначала определимся А сколько текстов У нас есть в Интернете Может быть несколько сотен миллиардов слов в книгах которые были оцифрован может быть

ещё 100 млрд Давайте предположим что мы будем использовать около 40 тысяч наиболее популярных слов если мы хотим составить ответ для каждой комбинации из двух слов нам понадобится по млрд уникальных словосочетаний для трёх слов это число возрастёт до 6 триллионов если мы захотим учитывать контекст последних двадцати слов то количество возможных комбинаций становится больше чем частиц во Вселенной Так что если мы захотели бы сойти за китайца прячась в этой злополучной комнате нам пришлось бы действовать хитрее у нас не получится запомнить все комбинации слов иероглифов Значит надо попробовать найти какие-то закономерности между Как нам искать закономерности в том

чего мы даже понять не можем в этом видео Я пошагово и подробно распишу архитектуру и процесс обучения нейронной сети подобной той которой является ча gpt от простой конструкции для подбора слов до всезнающие за год с лишним перекроить и задала много вопросов о нашем текущем мироустройстве языковых моделей очень все они немного различаются и одни могут быть эффективнее других в отдельных задачах Проблема в том что для использования их полную силу нужно платить за каждую по отдельности хорошо Если был бы какой-то агрегатор Где собраны не только языковые модели но и остальные инструменты в одном месте такой есть Синкс

ai я попробовал Синкс ai когда ребята обратились к нам и честно говоря Открыл для себя то о чём Раньше даже не задумывался насколько это может быть удобно работать с разными задачами связанными с и в одном окошке в обычном Telegram чате у них есть доступ к разным инструментам например даже к новой Бетке gpt 4o без ограничений в отличие от openi который сейчас представляют только 50 запросов в неделю жур с полным функционалом Runway с новой функцией стилизации и портретным режимом а также cling 1.5 luma Flux clod sunno и ещё более 40 инструментов в одно месте с удобным

и интуитивным интерфейсом нуно и то что уже давно сложно принимать за данность оплатить можно из любой страны вообще и оплата происходит очень удобно и быстро Если прямо сейчас перейдёте по ссылке в описании у вас будет 15 токенов на то чтобы попробовать и потыкать гарантирую что для мультизадачность это вот прям то решение которое нужно А если подпишитесь в течение 3 дней с момента перехода в бот то получите скидку в 15% ссылка в [музыка] описании кажется уже существует один очень знакомый нам инструмент который умеет находить закономерности где угодно и в чём угодно Посмотрите на это изображение что

вы здесь видите если в этой горски песка на Марсе вы увидели лицо то Поздравляю ваш внутренний механизм поиска лиц работает безупречно сотни тысяч лет наш мозг оптимизировали эволюцией чтобы мгновенно распознавать лица эмоции и намерения других людей на любом расстоянии при любом освещении и любом угле обзора нам хватит трёх небольших линий чтобы уже увидеть в них лицо и распознать на нём эмоцию уже больше 75 лет назад в 1958 году Фрэнк розенблат вдохновил работой нейронов человеческого мозга разработал персептрон первую настоящую математическую модель нейронной сети способную не только решать задачи по поиску закономерностей но и самостоятельно обучаться Так

что в каком-то смысле текущий бум нейронных сетей - это не изобретение последних лет а Наследие работ математиков ещё до времён первых полётов животных в космос нам пришлось искать помощи У природы не просто так классические алгоритмы очень плохо справляются с задачами распознавания когда мы пытаемся написать алгоритм это очень похоже на составление какого-то рецепта по приготовлению какого-то блюда в каком-то смысле рецепт - это и есть алгоритм действий Что надо сделать чтобы получить сладкий пирожок Итак вот у нас есть шаги взять 100 г муки и 50 г сливочного масла смешать их вместе и замесить тесто раскатать тесто на

кружочек и положить в него любую начинку кладём наш пирожок в духовку и выпекаем до готовности Что значит до готовности думаю что вы не раз сталкивались с подобными рецептами у некоторых такие описания приводили к потери любого желания пробовать готовить что-то сложнее макарон с сосисками чтобы определить когда тесто уже готово когда оно нужной консистенции когда начинки достаточно нужен опыт действий которые на самом деле не очень сложные но которые очень сложно задать пошаговой инструкции Вот как раз здесь мы переходим от классических алгоритмов к нейросетям основная особенность искусственных нейронных сетей в том что сама по себе нейросеть ничего не

умеет создатель всего лишь задаёт структуру А дальше одну и ту же нейросеть можно обучить чему угодно ключевое слово здесь обучить потому что на обучение уходит 80% все ресурсов на разработку но зато после процесса обучения мы можем получить нечто приближенное к опыту но только у искусственных машин то что мы создадим будет иметь внутри не пошаговую инструкцию А вот то самое Ощущение что уже готово Давайте объясним то как работают нейронные сети вернувшись к нашей китайской комнате напомню что мы не знаем китайского но зато у нас есть Бездонное количество туры на китайском языке обучить искусственный интеллект китайскому пока

что слишком амбициозная задача но мы можем попробовать нечто попроще возьмём то с чем нейросети справляются лучше всего задачу классификации предположим что мы хотим создать систему которая будет классифицировать книги по жанру будем распределять все книжки которые у нас есть по четырём категориям боевик мелодрама комедия и детектив в данный момент нам мало с чем можно работать так что давайте действовать по такой схеме берём слово из текста и определяем насколько это слово соответствует жанру если слово с большей вероятностью встретится в жанре мы дадим ему положительное значение если с меньшей отрицательное если оно никак не влияет пусть будет обозначаться

значением около нуля Например если мы увидим в тексте слово любовь то с большей вероятностью это книга мелодрама с меньшей вероятностью комедия и так далее В итоге получится Вот такая схема точно так же делаем для всех остальных слов слово выстрел добавит ближе к жанру боевик а поцелуй к мелодраме можем представить Это как нейронные связи связь между нейроном загадка и нейроном детектив будет большой а нейроном боевик например намного меньше возьмём все слова в тексте сложим все значения и посмотрим где будет максимальная это будет выглядеть примерно вот так в математике подобные структуры называются графами А эту собаку называют

бароном не путать Пожалуйста теперь у нас что-то начинает получаться Теперь мы можем подождите Мы же не знаем китайского как мы определим Какое слово К какому жанру относится если мы не понимаем ни одного иероглифа и вот здесь вступает возможность обучать нейронные сети Давайте предположим что по обложке книги которая у нас есть в китайской комнате мы можем определить её жанр Теперь будем давать нашей новорождённой нейросети книгу и спрашивать у неё какого жанра эта книга первые ответы будут не лучше случайным потому что росет не знает какое слово Как соотносится с каждым жанром Но каждый раз когда росет будет

ошибаться мы будем уменьшать связи между словами и жанрами когда росет будет давать правильный ответ мы будем усиливать эти связи увеличивая их прямо как в нашем мозге когда синапсы связи между нейронами расширяются и закрепляются когда мы что-то запоминаем остаётся пройти с нашей росет капельку огромный путь обучения предлагая ей угадывать жанр одной книги за другой пока связи в нашей нейросети не образуются и не закрепят таким образом что ответы будут получаться более-менее правильными ведь ведь получится Так что слова редко встречающиеся в определённых жанрах будут иметь меньшую связь и вес с этим жанром В итоге ни мы ни нейросеть

не знают что это за иероглиф такой но то что он часто встречается в жанре мелодрамы даёт нам весомую подсказку что увеличит шанс правильного ответа резюмируем этот момент нейросеть - это всего лишь математическая конструкция которая хранит в себе кучу чисел каждое число - это й вес связи между двумя нейронами и благодаря такой конструкции мы можем довольно удобно и изменять связи между этими искусственными нейронами в процессе обучения настраивая нашу нейросеть на решение любых задач в итоге мы получим решение даже не имея никакого понятия о том что значат эти иероглифы или числа только давайте вс-таки обратим внимание на

слона в комнате А насколько вообще будет решени этой задачи тот механизм что мы описали выше не звучит как какая-то схема которая будет особенно эффективно определять жанры книг слово любовь может часто встречаться в каком-то боевике и ни разу не встретиться в некоторых мелодрамах та архитектура нейросети что мы сделали очень топорная и очень простая так как ВС же эти современные приложения с нейросетями выполняют куда более слож задачи секрет в том чтобы добавить в нейросеть промежуточные слои мыслящих нейронов в нейросети появится Нейрон для отслеживания слов связанных с действием и передвижением такие как бежать прыгать ехать толкать падать другой

Нейрон будет отвечать за социальные взаимодействия и на него сильнее будут воздействовать слова связанные с общением между персонажами например разговор встреча спор улыбка рукопожатие после будет Нейрон для эмоций Нейрон для прилагательных и Нейрон много чего ещё Мы даже не будем сами знать за что именно эти нейроны отвечают Главное что они будут связаны со всеми словами какими-либо числами назначенными на эту связь А после связаны и со всеми жанрами В итоге Взаимно влияя друг на друга и какими быть эти связи мы выясним в процессе обучения постоянно немного изменяя нашу нейросеть При правильных и неправильных ответах Но ведь на

этом можно не останавливаться добавим ещё слой для более сложных концепций пусть теперь будет ещё слой и наша нейросеть получит ещё шаги для размышлений начнёт определять силу напряжения в сцене интенсивность событий и другие сложные концепции теперь наша нейросеть будет иметь небольшой слой размышлений и Хотя это всё те же простейшие математические операции мы уже сможем не просто выявлять связи между словами и жанром но сначала определим в цифрах то что примерно происходит в сюжете количество таких слоёв и нейронов в них будет определять то насколько сложные задачи сможет решать нейронная сеть безусловно то что мы сейчас описали это очень

упрощённая модель И хотя она будет обучаться и работать Даже в таком виде всё-таки В современных нейронных сетях намного больше слоёв нейронов а также прикручен дополнительные математические конструкции которые ускоряют работу нейронки или лучше упорядочивают данные для того чтобы не россеть грамотнее Решала задачи Итак если резюмировать то 75 лет назад была придумана модель для создания искусственных нейросетей что при обучении могут Научиться решать множество самых разнообразных задач для самой нейросети все эти схемы выглядят Примерно вот так и одна и та же структура при разном обучении может научиться как и охарактеризовать жанры текстов так и определять котиков на картинке

потому что ей Нет разницы в том какие данные ей дают самое главное - это числа которые связывают одни нейроны данных с другими и то как эти числа изменяются в процессе обучения а то за что будут отвечать те или иные нейроны ни мы ни нейросеть не можем знать наверняка например такую картинку котика мы отправим на входные нейроны А нейросеть в процессе обучения научится обрабатывать эти пиксели на контуры горизонтальные и вертикальные линии будет определять ушки шерстистость позу и сотню ещё других параметров о значении которых мы можем всего лишь догадываться так если не россети существовали у уже столько

лет Почему настолько глобальный бум и развитие приложений произошло только в последние годы причины очень просты в интернете накопилось очень много материалов и данных на которых можно обучать нейросети Электроника стала на десятки порядков мощнее и эффективнее и Трансформеры Это Трансформер И это тоже трансформер но для этого видео нам важен только один из них поэтому подробнее поговорим об оптимусе прайме Лидер автоботов воплощение справедливости и стратегического мышления в борьбе против тирании десептиконов Спасибо за внимание Я сам тоже очень горжусь этим сценарный приёмом исполнение тоже было неплохое Теперь давайте всё-таки разберём трансформеры это схема того как внутри устроены модели

gpt bert и другие большие языковые модели эта концепция наконец и будет чем-то новым в науке что мы сегодня будем рассматривать и что помогло создать настолько реалистичных чат-ботов в 2017 году исследователи из Google опубликовали статью Attention is all You Need представив миру новую архитектуру нейросетей назвав её трансформер изначально эта работа фокусировать на нейросетях которые должны были переводить с одного языка на другой но в итоге Трансформер стали основой для современных моделей и таких как gpt Несмотря на то что схема модели выглядит очень пугающей на деле её можно разделить на четыре понятных шага вернёмся в нашу китайскую комнату

и пройдём эти шаги вместе хочу сообщить что третий поток моего курса уже стартовал и продлится 4 недели Спасибо Тем кто решил вписаться и кто перешёл со второго потока на продление в этот раз мы решили поэкспериментировать заказав также рекламу на других YouTube каналах было весело поэтому у нас много свежих ребят на курсе Ну а если вы не успели записаться то придётся ждать в данный момент продажи закрыты Но если вы заинтересованы И хотите не пропустить возможности в будущем можете прямо сейчас оставить заявку на нашем сайте по ссылке в описании и мы сообщим вам Когда будет возможность вписаться

на четвёртый поток Спасибо шаг первый мбенг Давайте вспомним На чём мы остановились в нашей мастерской по созданию искусственного интеллекта Мы создали механизм которому можно представить некоторый текст и он определит с какой вероятностью текст относится к тому или иному жанру изначально это казалось сторонней и узкой задачей Но на самом деле если немного расширить эту росет она может нам очень сильно пригодиться Давайте по похожему принципу создадим росет которая вместо того чтобы соотносить слова с жанрами будет соотносить слова с их свойствами и не только слова буквы слоги суффиксы цифры такие единицы текста называются токенами чаще всего один токен

равен одному слову и для того чтобы компьютер мог намного лучше понимать текст мы назначим каждому слову ряд значений и ассоциаций насколько слово любовь позитивное насколько сухое насколько ци такое разбиение токена на тысячи ассоциаций называется эмбеддинг этот этап В каком-то смысле напоминает человеческие ассоциации услышав слово мама у вас в голове возникают десятки чувств обрывков воспоминаний и образов для нейросети нам понадобится то же самое для каждого из возможных чувств или свойств каждого токена в человеческом языке и получим мы такую карту ассоциации также как мы определяли принадлежность текста К сценарию долгим и упорным обучением меняя связи между токеном

и ассоциацией с каждым неправильным ответом шаг два механизм внимания этин звучит Гениально просто чтобы машина могла понимать значение человеческого языка надо просто подробнее объяснить значение каждого слова Вот только мы сталкиваемся с двумя проблемами мы не учитываем контекст всего текста и того какой смысл несут словосочетания или предложения мы не можем справиться с омонимами наподобие слов лук или мышь Не говоря уже про местоимение Какие смыслы должно иметь слово этот или Союз или обе эти проблемы решает механизм который называется Attention вниманием механизм внимания получает текст разбитый на множество токенов и изменяет значение ассоциаций что мы установили этим то

используя значение слов вокруг для этого используется несколько математических операций результат которых можно суммировать следующим наглядным примером возьмём предложение Я купил себе мышь нейросети необходимо разобраться в том что происходит в этом предложении для этого мы проворачивания эмбеддинг в каждого токена Взаимно усиливают друг друга в этом примере у значения слова купил очень высоко че ассоциации действия у всех других токенов предложений эмдин с действием начинают возрастать и поскольку токен мыш как существительное лучше всего сочетается с действием россеть успешно связывает глагол купить с мышью и понимает что мы покупаем мышь для человека эта связка кажется очевидной но для компьютера

Это было бы очень сложной задаче если бы не подобный взаимный поиск закономерностей с закодированных в словах но стоит заметить что слово мышь может иметь несколько значений поэтому токен изначально имеет значение ассоциации существо и технология примерно на нуле не в минус и не в плюс ассоциации чтобы разобраться про что именно идёт речь необходим контекст когда его нет значения слова остаётся неопределённым что gpt тоже успешно замечает и может использовать для очень человека подобных ответов отдельно указывая на двойственное значение слова Давайте теперь добавим контекст Я купил себе мышь для работы теперь в предложении есть дополнительный токен связанный с

работой значение технологичности или инструмент Стью этого токена достаточно высокая и они позволяют усилить значение у слова мышь оставляя связанные животными на нуле В итоге gpt без проблем догадывается что мы говорим о компью мыши А если мы скажем Я купил себе пушистую мышь то новый токен переведёт внимание на себя и позволит нейросети понять что мы говорим о животном или игрушке в итоге всё что нам нужно лишь Взаимно перемножать между собой числа а на выходе получается магия где компьютер определяет смысл предложения и разбирается в речи то насколько это одновременно просто и сложно поражает шаг третий полносвязный слой

теперь когда мы связали значение слов друг с другом мы используем классический слой нейросети прямо такой же как мы делали в нашей нейросетей просто огромная куча нейронов что связывается с каждым нейроном токеном что прошёл через механизм внимания этот слой помогает использовать ту информацию что два каких-то токена связаны как токен мышь связан с купить и произвести шаг размышлений обогащении и концептуализации этого момента то есть распространить эту информацию по следующим нейронам что будут отвечать за абстрактные концепции помогающие строить предложения или находить более сложные взаимосвязи качество таких абстракции зависит от количества нейронов и связей а также от того сколько

сил мы потратили на обучение нейросети и сколько взаимосвязей она научилась находить и совмещать когда полносвязный слои закончат своим математические образования получившиеся нейроны мы снова прогоним через механизм внимания который тоже настраивается во время обучения нейросети и теперь наше внимание будет связывать не только одни слова с другими но и сложные концепции друг с другом например разобравшись в связях между словами Я купил и мышь механизм внимания усилит связи между новыми концепциями купил Для чего купил когда как купил это отдалённо напоминает построение такой небольшой картины мира когда из малого количества информации можно догадаться о сторонних событиях или мотивах так

полносвязный слои чередуются со слоями внимания сотни раз вместе образуя огромные математические структуры с сотнями миллиардов нейронов и триллиона связей между ними шаг образование ответа что Ж похоже наша китайска комната постепенно преображается из небольшой комнатки в суперкомпьютер размером со склад Но даже собрав и сконцентрировать такое количество вычислительных ресурсов остаётся вопрос о том как именно Нам обучать всю нашу модель на самом деле у нас бы это получилось даже не зная китайского языка процесс обучения достаточно прост мы берём какой-либо текст на китайском убираем самый последний иероглиф даём этот текст читать сети и спрашиваем её какой иероглиф то есть

токен должен идти следующим пройдя через все слои размышлений и математических преобразований на самом последнем этапе нейросеть должна получить эмбеддинг тот самый огромный набор свойств значений ассоциаций и символов которому должен соответствовать токен что будет продолжать выданный текст Если наша модель угадывает токен и он совпадает с тем токеном который мы брали из текста значит мы должны усилить те связи в нейросети что привели её к правильному ответу если ответ будет неправильный нужно ослабить все участвующие связи этот процесс очень легко автоматизировать берём текст удаляем из него последний токен спрашиваем россеть что должно идти дальше И сравниваем с правильным ответом

ослабляя неправильные связи и усиливая правильные мы ведём нейросеть к наиболее оптимальном способу предугадывать следующий токен в тексте После этого мы можем дать ей уже совершенно любой текст на котором модель не обучалась и она будет грамотно и правдоподобно его продолжать остаётся всего лишь потратить почти миллиард долларов на обучения и вычислительной мощности и наша китайская комната сможет отвечать на китайском А задающие вопросы никогда не догадается что общается с суперкомпьютеров внимательные зрители должны заметить что мы учили нейросеть всего лишь продолжать текст Тогда почему чат gpt может отвечать на ваши вопросы писать код или даже проводить математические вычисления мы

не обучали её специально этим заниматься более того CH gpt не был запрограммирован для выполнения каких-то конкретных функций вроде создания компьютерных программ или решения интегралов Однако на практике Росе просто дополняет текст она понимает наши запросы на уровне который кажется даже выше её изначальных возможностей это явление называется эмерджентность эмерджентность - это когда простые системы порождают сложные неожиданные и трудно предсказуемые результаты Представьте как простой Рой муравьёв каждый из которых выполняет лишь несколько базовых действий может строить сложные структуры хитрыми системами вентиляции и охлаждения как муравейники муравьи не обладают полным планом строительства Но их простые взаимодействия приводят к появлению сложного

поведения то же самое происходит и с нейронными сетями Хотя обучаются они на задаче предсказания следующего слова их структура и объём данных которые они обрабатывают приводят к появлению новых сложных навыков которые изначально не были заложены когда счёт слоёв идёт на сотни а нейронов в них на миллиарды вся система как будто бы эволюционирует развивая способности которые не были явно задуманы так же как Рой муравьёв и пчёл вместе организуют громадные колонии такие результаты не раз удивляли самих инженеров openi нейросеть не просто генерирует следующий токен для того чтобы это сделать Ей пришлось развивать способность анализировать контекст выявлять закономерности и

даже выводить новые знания из уже известных банально из-за того что невозможно запомнить все комбинации цифр а правильные ответы необходимо хоть как-то находить gpt обучаясь находит закономерности в математике и самостоятельно учится производить простые арифметические расчёты давайте рассмотрим несложный пример зададим чат G5 простой математический вопрос но чтобы он точно не был среди тренировочных допустим в м уйму ошибок Сколько будет 5 10 8 пере 32 слои внимания позволяют нейросети разобраться в написанном а нейроны полносвязный слоёв где-то в глубинах нейросети проводят математические вычисления очень похоже на то как это делал бы человек и хочется подчеркнуть вычисления похожие на человека

не на процессоры или калькуляторы в ни Думай медленно решай быстро есть классический пример задачи из поведенческой экономики э задача на скорость Так что Попробуйте максимально быстро на неё ответить Бита и мяч стоят 1 доллар 10 центов бита дороже мяча на О доллар сколько стоит мяч интуитивно многие отвечают 10 центов но правильный ответ 5 центов если мяч стоит п то бита стоит доллар 5 центов и вместе это как раз доллар 10 если решать эту задачу медленно и по шагам правильный ответ найдёт почти Любой человек но если отвечать очень быстро то только 20% из студентов гарварда правильно

отвечают на три таких задачи из трёх Давайте попробуем задать такую же задачку языковой модели только переформулируйте данных на которых она обучалась чат GP справился без проблем но тут мы увидели медленное решение по шагам Что будет если хитростью заставить чат gpt не задумываться и отвечать как бы по интуиции попросим ответить на данный вопрос одним словом чтобы у нерас не было достаточно шагов чтобы глубоко задуматься над задачей мол отвечай сразу не думай Удивительно но ют такую же ошибку как и люди представляя взаимодействие чисел каким-то схожим механизмом возможно Именно поэтому новая модель Open под названием о1 теперь имеет

внутренние рассуждения чтобы перед тем как подойти к любому запросу можно было сначала поразмышлять над более грамотным ответом в любом случае такой эффект происходит потому что эмерджентные свойства могут работать в обе стороны как и в случае с муравейником где муравьи могут ошибаться и строить туннели которые ведут в тупик нейросети тоже могут выдавать неадекватные или ошибочные результаты называемые галлюцинациями в первых версиях языковых моделей такие галлюцинации приводили к разного рода казуса таким как выдумывание прецедентов в американской судебной системе что чуть не лишило адвоката лицензии или книга о грибах с текстом от языковых моделей и картинками полностью сгенерированные ии

что привело к отравлению грибами семьи из Великобритании и моё любимое безумные ответы ии встроенного в поисковик Google как же Open и другие Аа компании справляются с тем чтобы чат gpt не рассказывал рецепты изготовления ядов правильно выполнял арифметические операции и вообще общался и выполнял команды пользователя секрет в сторонних механизмах вне нейросети что удерживает и улучшает её как модель заточенная на продолжение текста понимает что в данный момент ей нужно отвечать на вопросы и вести себя как и помощник ответ очень простой нужно давать на вход модели текст с описанием того что из себя представляет и помощник как он

должен отвечать и какие инструменты использовать После этого мы подаём нейросети вопрос пользователя и начало ответа и помощника выглядит это при Примерно вот так по-простому Представьте себе что gpt пишет книгу о том как умный и помощник общается с пользователям в прологе описано как этот помощник должен себя вести как нужно отвечать И чего говорить нельзя вы пишете свою реплику а gpt придумывает что ответил бы вам ассистент то есть механизм точно такой же инструмент что продолжает текст но gpt ведёт с вами диалог кстати говоря Именно поэтому исследования говорят что когда мы просим Т gpt отыграть некоторую роль например

говорим ему вести себя как профессиональный программист то ответы чат Бота получаются точнее и с меньшим количеством ошибок точных инструкций которые инженер Open дали chpt чтобы он вёл себя как и помощник Никто не знает Мы представляем себе что уча 5 есть какие-то инструкци написанные инженерами openi из-за которых работает он так как работает Сказали бы мы месяц назад если бы не получили письменное разрешение от openi публиковать результаты нашего взлома алгоритмов инструкций внутренних механизмов всего что нужно знать о секретных промтайм моего курса теперь он член нашей команды и он решил попробовать взломать мои защищённые приложения на Chat gpt

используя только промт Инжиниринг то есть только задавая вопросы и он смог это сделать мы посмеялись и я сказал что ну нужно искать более сильную защиту а потом оказалось что эти инструкции ломали не только мои приложения они были настолько грамотно написаны что сломали сам чистый чат gpt достав не только инструкции но и намного больше да вначале мы не понимали что с этим делать всё-таки это своего рода хакерский взлом Да это взлом чистыми инструментами без сторонних программ вирусов но данные вс-таки чувствительные Я предложил вариант сообщить об этом в Open и очень попросить позволить нам об этом рассказать

то есть из хакеров стать как бы белыми хакерами оповестить об уязвимости и попросить плюшки и мы дождались ответа и они разрешили нам использовать результаты этого расследования информация может быть чуть-чуть сложной Но она очень пригодится промт инженерам и тем Кто хохочет освоить ча же пяти целиком Поэтому если вы хотите развиваться в этой сфере не только залетайте на наш курс по ссылке в описании но и обязательно Гляньте Стрим где мы об этом рассказываем на момент записи этого видео стрим ещё не начался но когда видео появится у вас в Ленте Стрим уже висит и его можно посмотреть по

ссылке в описании собственно в этом видео мы рассказываем как нам удалось это взломать мы смотрим Что там за инструкции Что происходит на каждом этапе вашего общения с чатом и делаем из этого выводы пытаемся понять что это значит для промт инжиниринга Ну и не забывайте что мой курс по промт инжинирингу по работе с чат gpt а уже стартовал и вы можете вписаться только до конца этой недели после этого мы закроем продажи и вписаться будет уже нельзя так что успевайте переходите по ссылке в описании А смотрите Стрим на сайте подробно расписано о чём этот курс кому он

подойдёт А вы также увидите содержание этого курса И как только вы совершите покупку мы добавляем вас в личный кабинет и вы уже можете смотреть те уроки которые вышли приходить на вебинары в прямом эфире в общем Заходите на сайт смотрите Всем пока [музыка]