Поисковая система Google объявила о революционной технологии под названием CALM, которая ускоряет большие языковые модели (такие как GPT-3 и LaMDA) без снижения уровня производительности.
А спонсором блога в этом месяце выступает сервис Rookee. Когда требуется комплексное поисковое продвижение, реклама в Telegram или формирование репутации в интернете – на помощь приходят Rookee!
Большие языковые модели (LLM) обучаются на больших объёмах данных. Обучение языковых моделей на больших объёмах данных приводит к тому, что модель приобретает новые способности, которые не всегда изначально запланированы.
Например, добавление в языковую модель дополнительных данных для обучения может неожиданно привести к тому, что она приобретет способность переводить с одного языка на другой, даже если заранее это не планировалось. Такие новые способности называются эмерджентными – возникающими неожиданно.
В научной работе «Эмерджентные способности больших языковых моделей» исследователи пишут следующее:
Хотя имеются десятки примеров эмерджентных способностей, в настоящее время существует мало убедительных объяснений того, почему такие способности возникают именно так, как они возникают.
То есть даже учёные пока не могут достаточно убедительно объяснить, по каким причинам эти способности появляются. Но уже хорошо известно, что увеличение объёма данных для обучения машины позволяет ей приобретать больше способностей.
Недостатком увеличения объёма данных для обучения является то, что для получения результата требуется больше вычислительной мощности, что делает ИИ более медленным в тот момент, когда он генерирует текст (этот момент называется «временем вывода»).
Таким образом, компромисс между тем, чтобы сделать ИИ умнее и увеличением количества данных, заключается в том, что ИИ становится медленнее в момент итоговой обработки информации.
В новой научной статье Google (Confident Adaptive Language Modeling) проблема описывается следующим образом:
Последние достижения в области больших языковых моделей (LLM) на основе трансформеров привели к значительному повышению производительности во многих задачах.
Эти достижения сопровождаются резким увеличением размера моделей, что потенциально может привести к медленному и дорогостоящему использованию во время вывода.
Исследователи из Google нашли интересное решение для ускорения работы языковых моделей при сохранении высокой производительности. Если провести аналогию, это похоже на разницу между ответом на лёгкий вопрос и решением более сложного вопроса.
На простой вопрос, например, какого цвета небо, можно ответить, не задумываясь. Трудный вопрос требует остановиться и хорошенько подумать, чтобы найти правильный ответ на него.
С вычислительной точки зрения, большие языковые модели не делают различия между трудной частью задачи по созданию текста и лёгкой. Они генерируют текст как для лёгкой, так и для трудной части, используя всю свою вычислительную мощь во время вывода.
Нынешнее решение Google называется Confident Adaptive Language Modeling (CALM). Эта новая система позволяет выделять меньше ресурсов на тривиальные части задачи по созданию текста и направлять всю мощность на более сложные части.
В документе по CALM (о котором шла речь выше) решение проблемы сформулировано следующим образом:
На практике, однако, ряд генераций, создаваемых LLM, состоит из различных уровней сложности.
В то время как некоторые расчёты действительно получают преимущество от полной мощности моделей, другие – более тривиальны и могут быть осуществлены с меньшими вычислениями.
…Хотя большие модели в целом работают лучше, для достижения одинаковой производительности, не для каждого ввода данных может потребоваться одинаковый объём вычислений (например, в зависимости от того, лёгкий или трудный это вопрос).
CALM (я бы перевёл, как «Уверенное адаптивное языковое моделирование») работает, динамически распределяя ресурсы, в зависимости от сложности отдельной части задачи, используя алгоритм для предсказания того, нужны ли для чего-то полные или частичные ресурсы.
В научной статье, о которой речь шла выше, сообщается, что исследователи протестировали новую систему для различных задач обработки естественного языка (резюмирование текста, машинный перевод и ответы на вопросы) и обнаружили, что смогли ускорить вывод примерно в три раза (на 300%).
Следующая иллюстрация показывает, насколько хорошо работает система CALM (я изменил цвета картинки, так что не пугайтесь, когда увидите оригинал):
Несколько участков, выделенных тёмно-зелёным цветом, указывают на то, что на данном отрезке задания машина использовала всю свою мощность. Фиолетовые участки – это отрезки, где машина использовала менее половины мощности.
Вот что пишут исследователи по поводу данной иллюстрации:
CALM ускоряет генерацию за счёт раннего выхода, когда это возможно, и выборочного использования полной мощности декодера только для нескольких лексем, продемонстрированного здесь на примере CNN/DM с мерой уверенности на основе softmax. Y (1) early и Y (2) early используют разные пороги уверенности для раннего выхода.
Ниже (sic) текста мы сообщаем об измеренной текстовой и рисковой согласованности каждого из двух выходов, а также о повышении эффективности.
Цвета показывают количество слоёв декодирования, используемых для каждой лексемы – фиолетовые оттенки обозначают менее половины всех слоёв.
Только несколько отобранных токенов используют полную мощность модели (выделены тёмно-зелёным цветом), в то время как для большинства токенов модель завершается после одного или нескольких слоёв декодирования (выделены фиолетовым цветом).
В заключение исследователи отметили, что внедрение CALM требует лишь минимальных модификаций для адаптации большой языковой модели, чтобы она стала быстрее.
Это исследование важно, поскольку оно открывает путь к созданию более сложных моделей ИИ, которые обучаются на значительно больших наборах данных, без снижения скорости, при сохранении высокого уровня производительности.
Тем не менее, возможно, что этот метод также может принести пользу большим языковым моделям, которые обучаются на меньшем количестве данных.
Например, модели InstructGPT, родственником которых является ChatGPT, обучаются примерно на 1.3 миллиардах параметров, но всё равно способны превзойти модели, которые обучаются на значительно большем количестве параметров.
Информация об этой научной работе была опубликована в блоге Google AI 16 декабря 2022 года. Сама исследовательская работа датирована 25 октября 2022 года. Интересно, войдёт ли эта технология в большие языковые модели ближайшего будущего?
Сообщение Google CALM: проблемы технологий больших языковых моделей появились сначала на Блог SEO-аспиранта.
Всем привет! Вот и подходит этот пиздец 2022, который язык не поворачивается назвать годом. Подвожу итоги ниже, а все предыдущие можете найти по ссылкам 2015, 2016, 2017, 2018 , 2019 , 2020 и 2021.
Из путешествий в этом году только Казахстан. Первый раз ездил с друзьями в Актобе делать карты, а второй раз релоцировался в Петропавловск.
Из Петропавловска летал на 3 дня в Астану. Астана – очень красивый и крутой город, но совершенно невыносимый из-за ветра.
В виду террористичности известной фоточной соцсети, скидываю ссылки на посты с фотографиями в Телеграме (который не удивлюсь тоже скоро запретят из-за какой-нибудь херни).
Музей будущего энергетики в Астане:
А вот, уже как родной, Петропавловск:
Вот отзыв после месяца в Петропавловске:
Планы по путешествиям/релокации на 2023 грандиозные. Оставаться жить в Казахстане на постоянке я не хочу, хотя меня тут в принципе все устраивает, кроме климата.
Сейчас на примете несколько стран, куда можно переехать, но определенности пока нет, на январских буду решать с семьей куда податься. Обо всех своих скитаниях буду писать на канале “В релокации…”, подписывайтесь если интересно https://t.me/in_relocation
На данный момент в компании 15 человек. Подробнее о структуре и направлениях Vysokoff & Co можно прочитать по ссылке.
Кстати, в это году отказался от Робокассы для получения денег от физиков, вместо этого перевел все подобные потоки на жену, сделав ее самозанятой.
В год лимит 2,4 миллиона для самозанятых, учитывая среднюю комиссию у Робокассы в районе 4%, можно сэкономить 96 000 рублей в год, это если вы ровно по 200 000 рублей в месяц будете оказывать услуг. Плюс если ИП на УСН платит 7% (6% + 1% с оборотки выше 300 000), то самозанятый 4% с поступивших денег от физлица, т.е. экономим еще 3% или 72 000 рублей. Итого по примерным подсчетам (т.к. множество мини-нюансов может быть) переход от Робокассы к самозанятости может добавить к личным доходам 168 000 в год из воздуха.
Так что, как говорится, держите лайфхак.
Это, конечно, фантастика, но относительно прошлого года обороты выросли на 41% (но не забываем, конечно, что прошлый год был минусовой – минус 9%)! Худший год в любом плане, кроме финансов, чудеса да и только…
Однако, учитывая, те усилия которые государство начинает прилагать для того чтобы насрать всем уехавшим, стабильность в финансовом плане в ближайшее время вряд ли будет.
Для инвестирования 2022 был и пока остается не самым благополучным.
Продолжаю пополнять свой основной портфель Пенсия 2030, который у меня в Interactive Brokers. Делать это становится все сложнее, но способы инвестировать через американского брокера даже из России все еще остаются.
Я, например, пополняю через Райффайзен. С конскими комиссиями и с немалой минимальной суммой перевода, но все же стараюсь исправно отправлять бабосы недругам, которые жаждут развратить и уничтожить скрепную, но при этом сами скоро рухнут под тяжестью своего госдолга.
Кроме того, внутри IB сменил резидентство на Казахстан, что сняло некоторые ограничения в личном кабинете. Вот тут писал об этом ранее и в телеге:
Также у меня есть отдельный портфель для дочери, в котором заморожены ETF FinEx на 200 000+ рублей (3000+ долларов).
Естественно, я после этого не забил и не оставил дочь без будущих финансов. Проект 2038 вначале трансформировался в накопления для дочери:
а в январе 2023 перейдет вновь в инвестиции, т.к. все дочкины деньги будут переведены во Freedom Finance Global и там на них куплю ETF VOO.
При переезде в другую страну максимально ничего не изменилось, кажется, только у дочери. Хорошо быть маленьким ребенком, за тебя думают и делают правильные (наверно) вещи твои родители.
Жене отдельный респект за то что всегда рядом и всегда поддерживает.
Впервые с 2013 года я ни прошел ни одного курса по специальности. Да, я смотрю ютубчик и читаю телеграм-каналы, но именно купить обучалку, этого в 2022 не было.
Зато продолжаю преподавать в GeekBrains, уже второй курс написал и с января будет 2 потока студентов по 4 занятия каждый.
Также выступил в пузатовской Тренажерке:
И в закрытом телеграм-канале SPB SEO Club’a.
Продолжаю делать ставку на развитие личного бренда посредством телеграма. В этот блог, к сожалению, пишу крайне неактивно.
На данный момент есть несколько telegram-каналов, половина для души, половина для бизнеса:
Источник: vysokoff.ru.
Исследования показывают, что собаки больше привлекают людей к товарам, ориентированным на получение выгоды (например, весёлые развлечения, рискованные азартные игры, знакомства с новыми людьми). Кошки же, напротив, увеличивают продажи продуктов, которые позволяют избежать потерь (например, в таких нишах, как безопасность или здоровье).
А спонсором блога в этом месяце выступает сервис Rookee. Когда требуется комплексное поисковое продвижение, реклама в Telegram или формирование репутации в интернете – на помощь приходят Rookee!
В 48% семей США живёт, как минимум, одна собака. У 37% есть хотя бы одна кошка. Об этом свидетельствуют данные Американской ассоциация товаров для домашних животных за 2018 год.
Логично предположить, что эти люди, в то или иное время, будут покупать товары, связанные с их питомцами. А как на счёт всех остальных категорий товаров? Влияет ли то, какое домашнее животное есть у людей, на то, что они покупают? И что будет, если показать кошку в рекламе туристической страховки или собаку в ролике для парка развлечений?
Вот примерно обо всём этом рассказывает исследование, опубликованное в научном журнале «Journal of Marketing» под заголовком «Эффект воздействия домашних животных: Исследование дифференцированного влияния собак и кошек на умонастроения потребителей».
В результате научной работы, исследователи выяснили, что, если ваш продукт ориентирован на то, что человек может получить (например, автомобиль, который интересно водить, зубная паста, которая отбеливает зубы, ресторан, предназначенный для веселья и общения), размещайте в рекламе собак и старайтесь ориентироваться на их владельцев.
Если же ваш продукт направлен на предотвращение потерь (например, очень безопасный автомобиль, зубная паста, предотвращающая кариес, ресторан, ориентированный на здоровое питание), размещайте в рекламе кошек и старайтесь ориентироваться на их владельцев.
Таким образом людям больше понравится ваш товар, и они с большей вероятностью купят его.
На мышление людей влияет то, что они видят собак или кошек (например, в рекламе, общаясь с ними или думая о них):
Активизировавшись, эти умонастроения влияют на поведение людей, в том числе на то, какие товары им кажутся более привлекательными для покупки. Даже если эти товары совершенно не связаны с домашними животными.
В рамках серии из 11 экспериментов это исследование показало, что:
Особо стоит отметить, что данный эффект сохраняется до тех пор, пока собаки или кошки соответствуют общепринятым стереотипам (например, беззаботная собака, независимая кошка). Нестереотипные домашние животные отменяли эффект (например, застенчивая, тихая собака).
На протяжении всей своей жизни люди создают мысленные ассоциации и стереотипы, в том числе о кошках и собаках, либо напрямую (например, наблюдая за своей собакой), либо косвенно (например, из фильмов).
Многие из этих стереотипов соответствуют действительности. Например, исследования показали, что собаки больше стремятся угодить своим хозяевам и играть с другими собаками, в то время как кошки более осторожны, подозрительны и беспокойны в окружении новых людей.
В рамках этих ассоциаций мы с вами связываем их с мышлением «продвижения» и «предотвращения» – двумя хорошо изученными различными способами, с помощью которых мы принимаем решения.
Поэтому, когда мы видим собак или кошек, эти ассоциативные связи активизируются и влияют на наше мышление и поведение, в соответствии с этими стереотипами.
Исследователи не определяли, сильнее или слабее этот эффект у реальных владельцев кошек или собак, по сравнению с другими людьми, имеющими косвенный опыт.
Люди заводят кошку (по сравнению с собакой), потому что они более ориентированы на «предупреждение», или они становятся таковыми после того, как заводят кошку? Мы не знаем.
Это исследование проводилось в основном в США, где люди склонны относиться к своим питомцам, как к членам семьи. Эффект может измениться в культурах, где к домашним животным относятся больше как к имуществу.
Некоторые компании иногда используют домашних животных в своей рекламе, хотя они, вероятно, и не подозревают об этом эффекте.
Например:
1. Рекламная кампания Subaru: «Проверено собакой, одобрено собакой». Была запущена в 2009 году:
2. Рождественская реклама Sainsbury «Кошка Мог» стала очень популярной в 2015 году:
3. Target использует собаку в качестве талисмана своего бренда. У неё даже есть собственный магазин товаров:
Подумайте, какой продукт более привлекателен для людей, настроенных на «продвижение» или «предотвращение». Часто один и тот же продукт может быть описан и так, и так. Например, сковорода для приготовления пищи может быть представлена как «раскройте новый вкус ваших блюд» (посыл продвижения) или «лучший способ приготовления классических блюд – любимый вкус детства» (посыл предотвращения).
Рассмотрите возможность включения собак или кошек в рекламные креативы или маркетинговые коммуникации (например, электронные письма, видеоролики), чтобы активизировать оптимальный образ мышления.
Ориентируйте свою продукцию на владельцев собак или кошек, или используйте разные креативы для этих двух групп.
Успехов!
Источник информации: journals.sagepub.com.
Сообщение Собаки и кошки положительно влияют на продажи (исследование) появились сначала на Блог SEO-аспиранта.
0 
18 
Оригинал 
Блогов 52
Постов 13794
Оценок 111
сложна) очень сложна