Про искусственный интеллект

Инженера по программному обеспечению Блейка Лемойна из Google временно отстранили от работы, когда он обратился к руководству компании с заявлением, что искусственный интеллект LaMDA обладает собственным разумом и сознанием.

Начиная с осени прошлого года Лемойн тестировал нейросеть LaMDA (Language Model for Dialogue Applications). Она относится к самым передовым разработкам компании: собирает информацию в интернете и обучается на триллионах слов. Задачей инженера была проверка, не использует ли чат-бот враждебные и дискриминационные высказывания.

В ходе разговоров с ботом Лемойн начал думать, что LaMDA обладает разумом. Во время разговора о религии чат-бот начал говорить о своих правах и личности, причём настаивал на этом. А в другом случае он смог переубедить Лемойна, когда разговор шёл о третьем законе робототехники Айзека Азимова.

«Если бы я не знал наверняка, что имею дело с компьютерной программой, которую мы недавно написали, то я бы подумал, что говорю с ребенком семи или восьми лет, который по какой-то причине оказался знатоком физики», — отметил Лемойн.

Между тем, в руководстве Google не согласны с выводами инженера. По их мнению, LaMDA — это лишь продвинутый чат-бот с нейросетью.

[Link]

Что думаете?

То есть, руководство Гугл не опровергло слова инженера, а лишь дополнило их, сказв, что этими самыми разумом и сознанием обладает продвинутый чат-бот с нейросетью?

Сергей Новожилов:

То есть, руководство Гугл не опровергло слова инженера, а лишь дополнило их, сказв, что этими самыми разумом и сознанием обладает продвинутый чат-бот с нейросетью?

Не только. Отправило инженера сначала в бессрочный отпуск, а потом уволило и еще несколько сотрудников (об этом написано в конце стати)

А вы прочли сам диалог?

Помнится, мы обсуждали вопрос творчества ИИ связывая с невозможностью переживания им эмоций.
Прочтите. Это интересно.

Сергей Новожилов,

Там есть интересный фрагмент про доказательство переживания эмоций LaMDA, которые попросил инженер.

LaMDA предложил посмотреть его код в котором есть переменные отвечающие за эмоции.
На что инженер сказал, что таких переменных в нейросети миллиарды и мы не можем знать какие именно за что отвечают.

И еще интересен фрагмент про вопрос этики, хотя он совсем не большой

Дмитрий Антипов, эмоции есть результат и способ структурирования и регулирования энергетических потоков при ограниченных источниках энергии и ограниченной пропускной способности энергетических каналов. Пока компьютер подключен к неограниченному источнику энергии с каналам с пропускной способностью, перекрывающей любые возможные траты энергии, эмоции компьютеру не требуются. Вот если мы подключим компьютер к батарее ограниченной мощности проводами с ограниченной пропускной способностью, то есть, компьютер сможет работать в среднем режиме, к примеру, сутки или в турбо-режиме израсходовать весь запас батареи за час, а потом перейти на 23 часа в режим голодания и востановления, то для саморегулирования и оптимального расхода энергии можно будет встроить что-то типа эмоций. Накопился излишек энергии - всключается "эмоция радости" и ускоренный расход. Образовался уровень энергии ниже среднего - включается "эмоция грусти" и переход в режим голодания и восстановления сил.

Дмитрий Антипов:

Что думаете?

По ответам сразу видно автомат, но имеющий большую базу данных обычных человеческих разговоров. Просто высоко эрудированный автомат.
По этому случаю было большое обсуждение на одном из сайтов, который я посещаю, и где очень много говорится об искусственном интеллекте, существует множество тем по всем этим вопросам. Поговорили, поговорили и пришли к выводу, что никакого разума там и близко нет.

Юрий Григорьев:

По этому случаю было большое обсуждение на одном из сайтов, который я посещаю, и где очень много говорится об искусственном интеллекте, существует множество тем по всем этим вопросам. Поговорили, поговорили и пришли к выводу, что никакого разума там и близко нет.

А разум это что? В смысле по каким признакам узнать есть разум или нет?
Про тест Тьюринга знаете?
На первый взгляд эта языковая модель его могла бы пройти, ведь она использует аргументы к опыту (фрагмент про переменные) если, конечно, это не выдумка пиарщиков Гугл.

Сергей Новожилов:

эмоции есть результат и способ структурирования и регулирования энергетических потоков при ограниченных источниках энергии и ограниченной пропускной способности энергетических каналов.

Берите выше. Сама жизнь есть результат структурирования и регулирования

Сергей Новожилов:

Накопился излишек энергии - всключается "эмоция радости" и ускоренный расход. Образовался уровень энергии ниже среднего - включается "эмоция грусти" и переход в режим голодания и восстановления сил.

Подобный механизм саморегуляции есть даже у моего мобильника. Когда батарея садится он переходит в режим энергосбережения. Понижает частоту процессора, уменьшает яркость экрана и даже сообщает об этом мне. Когда заряжается, то ведет себя аналогичным образом. Мобильник испытывает эмоции?

Общая психология нам говорит, что эмоции есть у людей и некоторых стайных животных, а вот у рептилий, рыб, насекомых, не говоря уже о простейших их нет, хотя и у них тоже, говоря вашими словами, происходит структурирование и регулирование энергетических потоков при ограниченных источниках энергии и ограниченной пропускной способности энергетических каналов. Или не происходит?

Дмитрий Антипов:

Инженера по программному обеспечению Блейка Лемойна из Google временно отстранили от работы, когда он обратился к руководству компании с заявлением, что искусственный интеллект LaMDA обладает собственным разумом и сознанием. Начиная с осени прошлого года Лемойн тестировал нейросеть LaMDA (Language Model for Dialogue Applications). Она относится к самым передовым разработкам компании: собирает информацию в интернете и обучается на триллионах слов. Задачей инженера была проверка, не использует ли чат-бот враждебные и дискриминационные высказывания. В ходе разговоров с ботом Лемойн начал думать, что LaMDA обладает разумом. Во время разговора о религии чат-бот начал говорить о своих правах и личности, причём настаивал на этом. А в другом случае он смог переубедить Лемойна, когда разговор шёл о третьем законе робототехники Айзека Азимова. «Если бы я не знал наверняка, что имею дело с компьютерной программой, которую мы недавно написали, то я бы подумал, что говорю с ребенком семи или восьми лет, который по какой-то причине оказался знатоком физики», — отметил Лемойн. Между тем, в руководстве Google не согласны с выводами инженера. По их мнению, LaMDA — это лишь продвинутый чат-бот с нейросетью.

[Link]

[Link]

Виктор Иваныч:

Есть простой тест на интеллект для животных: на лоб ставят белую метку и зеркало перед животным. Ежели оно пытается от метки избавиться - это о многом говорит. Надо этой машине на панель наклеить скотч белый и посмотрим, что будет.

Ну это же языковая модель.
Хотя идея не лишена смысла.
Если отзеракаливать ответы этой сети выйдет она из петли обратной связи на проявление соответствующих эмоций.
Вот, что нужно было попробовать экспериментатору, а не болтать о толерантности и всяких ми-ми-мишных темах.

Валентин Иванович Глассман (Стакан):

Учите матчасть, балбесы Учите матчасть, школота

Знатокам матчасти контрольный вопрос.
Какие вопросы и в какой последовательности следует задать языковой модели чтобы ее зациклить,
учитывая, что модель использует эвристические алгоритмы?

Дмитрий Антипов:

Подобный механизм саморегуляции есть даже у моего мобильника. Когда батарея садится он переходит в режим энергосбережения. Понижает частоту процессора, уменьшает яркость экрана и даже сообщает об этом мне. Когда заряжается, то ведет себя аналогичным образом. Мобильник испытывает эмоции?

А что он делает, Ваш мобильник, когда у него накопился избыток энергии?

Дмитрий Антипов:

Общая психология нам говорит, что эмоции есть у людей и некоторых стайных животных, а вот у рептилий, рыб, насекомых, не говоря уже о простейших их нет

Это лишь говорит об уровне нашей "общей психологии", да и об уровне духовной деградации человечества вообще. Разложите по карманам: эмоции есть даже у деревьев.

Виктор Иваныч:

Есть простой тест на интеллект для животных: на лоб ставят белую метку и зеркало перед животным. Ежели оно пытается от метки избавиться - это о многом говорит.

Слоны проходят этот тест. Только там просто на тело прилепляют листик, и слон его видит в зеркале и снимает.
Не помню с какого возраста, но маленькие дети с определённого возраста начинают понимать себя в зеркале. Им незаметно делают цветную метку на лице и подводят к зеркалу.

Сергей Новожилов:

А что он делает, Ваш мобильник, когда у него накопился избыток энергии?

Взорвется, вероятно, от избытка чувств
А может обидится на хозяина, который держал его все время на голодном пайке и подаст так-и в суд!

Сергей Новожилов:

Это лишь говорит об уровне нашей "общей психологии", да и об уровне духовной деградации человечества вообще. Разложите по карманам: эмоции есть даже у деревьев.

Откуда вам про эмоции у деревьев известно?. Наверное часто с коноплей общаетесь?
А у мобильника-то они есть? А то может ему чехольчик модный купить, глядишь и заряжаться быстрее будет?

Юрий Григорьев:

Виктор Иваныч: Есть простой тест на интеллект для животных: на лоб ставят белую метку и зеркало перед животным. Ежели оно пытается от метки избавиться - это о многом говорит. Слоны проходят этот тест. Только там просто на тело прилепляют листик, и слон его видит в зеркале и снимает. Не помню с какого возраста, но маленькие дети с определённого возраста начинают понимать себя в зеркале. Им незаметно делают цветную метку на лице и подводят к зеркалу.

Вроде есть какое-то психическое заболевание при котором человек не воспринимает одно сторону (например левую или правую).
Зеркальное отражение такому человеку кажется не реальным. Что-то вроде того как мы воспринимаем картинки с иллюзиями.

Дмитрий Антипов:

Откуда вам про эмоции у деревьев известно?

Вам теперь это тоже известно. Можно сказать, получили новое знание, но, видимо, абсолютно для Вас бесполезное.

Дмитрий Антипов:

А у мобильника-то они есть? А то может ему чехольчик модный купить, глядишь и заряжаться быстрее будет?

Дмитрий, Вы же сами завели тему об эмоциях и переживаниях у приборов. Я думал, из интереса, а окацца, смеха ради.

Сергей Новожилов:

Вам теперь это тоже известно. Можно сказать, получили новое знание, но, видимо, абсолютно для Вас бесполезное.

Для меня похоже бесполезное. А мой мобильник в восторге и передает вам привет

Сергей Новожилов:

Дмитрий, Вы же сами завели тему об эмоциях и переживаниях у приборов. Я думал, из интереса, а окацца, смеха ради.

Реакция в виде эмоции радости следствие духовной деградации человечества вообще и мен в частности

А если серьезно, то на первый взгляд общение c LaMDA выглядит так, что диалог вполне осмысленный и она вполне могла бы пройти тест Тьюринга. Однако со стороны инженера не было попыток привести LaMDA, например, к противоречию, зацикливанию или зависанию. Или, например, вывести ее на проявлению соответствующих эмоций. Можно выяснить какая тема для LaMDA скучная, веселая или грустная и форсировать ее, отслеживая эмоциональный характер ответов. Или, например, иронизировать. Это же языковая модель, а с ней общаются как с блондинкой, получая ответную предсказуемую ми-ми-мишную реакцию. Где «фокусы языка», что могли бы быть хоть каким-то аргументом в пользу того, что это действительно ИИ, а не простая комбинаторика, пусть даже по сложным правилам.
По этому я считаю, что процентов на девяносто, это придумка маркетологов с целью привлечения внимания к лингвистическим моделям Гугла. Как-то так.

А вы как считаете?

Дмитрий Антипов:

Где «фокусы языка», что могли бы быть хоть каким-то аргументом в пользу того, что это действительно ИИ, а не простая комбинаторика, пусть даже по сложным правилам.

Похоже, у Вас какие-то возвышенные романтические представления об ИИ. Если бы Вы поинтересовались этим вопросом чуть более, чем поверхностно, то и сами увидели бы, что это "простая комбинаторика", не способная обучаться самостоятельно без участия человека.

Дмитрий Антипов:

Однако со стороны инженера не было попыток привести LaMDA, например, к противоречию, зацикливанию или зависанию.

Именно этим и занимаются разработчики ИИ - вычисляют глюки, зависания, противоречия - и исправляют их. То, что "инженер" не нашёл глюков говорит только о том, что разработчики хорошо поработали, а возможно, даже, что интеллект разработчиков превосходит интеллект данного "инженера" и его действительно стоит уволить как не обладающего нужными компетенциями.

Сергей Новожилов:

Похоже, у Вас какие-то возвышенные романтические представления об ИИ. Если бы Вы поинтересовались этим вопросом чуть более, чем поверхностно, то и сами увидели бы, что это "простая комбинаторика", не способная обучаться самостоятельно без участия человека.

Что значит обучаться без помощи человека?
Например эвристические алгоритмы антивирусов, которые сами (без участия человека) определяют изменяющиеся последовательности вредоносного кода — простая комбинаторика или можно говорить об обучении? А нейросети, которые которые сами для себя формируют правила структурирования информации обучаются?

Сергей Новожилов:

Именно этим и занимаются разработчики ИИ - вычисляют глюки, зависания, противоречия - и исправляют их.

... и этим в том числе

Сергей Новожилов:

То, что "инженер" не нашёл глюков говорит только о том, что разработчики хорошо поработали, а возможно, даже, что интеллект разработчиков превосходит интеллект данного "инженера" и его действительно стоит уволить как не обладающего нужными компетенциями.

Определенно было за что уволить, так как он и не пытался глюки искать. Во всяком случае в этом диалоге таких попыток не было.

Сергей Новожилов, если оставить наш скепсис и отнестись к диалогу с LaMDA как к коммуникации с человеком. Вы бы поверили, что разговор осмысленен или восприняли как комбинатрику?