Действительно ли ChatGPT это искусственный интеллект?

Такие проекты искусственного интеллекта, как Stable Diffusion, лучше приближаются к тому, что могут создать люди, но все ещё не могут так хорошо думать или проверять информацию. Показательный пример: новый чат-бот ChatGPT AI крут, но не стоит ему доверять.

OpenAI, наиболее известная как исследовательская фирма, стоящая за генератором изображений DALL-E, открыла доступ к своему чат-боту, находящемуся в разработке, на сайте chat.openai.com. Группа сообщает на своём веб-сайте: «Мы обучили первоначальную модель, используя точную настройку под наблюдением: инструкторы по искусственному интеллекту проводили беседы, в которых они играли обе стороны — пользователя и помощника искусственного интеллекта. Мы предоставили инструкторам доступ к написанным моделям предложениям, чтобы помочь им составить свои ответы».

Смотрите также:

• Галерия Stable Diffusion с удобным и быстрым поиском по готовым изображениям [NSFW]
• Как создать синтетические картинки с помощью искусственного интеллекта Midjourney

В чат-ботах нет ничего нового, даже в тех, которые могут ссылаться на более ранние разговоры, но ChatGPT — одна из наиболее впечатляющих попыток на сегодняшний день. Его основная цель — отвечать на информационные вопросы, такие как подробности о чьей-то жизни, инструкции по приготовлению пищи и даже примеры программирования.

Однако прямо сейчас есть несколько критических проблем с ChatGPT. Во-первых, он на самом деле не говорит, где он нашёл часть информации. Да, это было бы сложнее сделать для запросов, состоящих из нескольких шагов, таких как вопрос о том, как объединить два действия в фрагменте кода, но простые прямые подсказки действительно должны иметь ссылки. И это было бы не проблемой, если при отсутствии информации ChatGPT просто бы прямо заявлял, что не знает. Вместо этого ChatGPT придумывает довольно правдоподобные истории, изложенные правильным (с точки зрения грамматики) языком. И в этих текстах невозможно заранее сказать, что является правдой, а что не имеет ни малейшего отношения к действительности.

ChatGPT обычно корректен с простыми вопросами, такими как вопрос о том, когда родился знаменитый человек или когда произошло важное событие, но подсказки, требующие более подробной информации, чаще попадаются. Например, я попросил написать обо мне статью в Википедии, что в основном было неправильным. Раньше я писал для Android Police и XDA Developers, но я не писал профессионально «более десяти лет» и «не опубликовал несколько книг о технологиях и играх». ChatGPT также сказал, что я «часто выступаю на отраслевых конференциях и мероприятиях», хотя я никогда не выступал на конференциях — есть ли другой Корбин Дэвенпорт, делающий такие вещи?

На самом деле, скорее всего нет никакого второго Корбин Дэвенпорт с которым программа перепутала автора запроса. Вместо того чтобы делать довольно сложную умственную работу — изучить доступную информацию о конкретном человеке и выделить из неё важнейшее с точки зрения общества, ChatGPT просто написал «рассказ», скомпоновав его из самых типичных фактов. Но поскольку задание было написать статью конкретно о Корбин Дэвенпорт, то это имя было подставлено в сгенерированный текст.

Только и всего. Нет ни только никакой осмысленности в генерируемых текстах, нет даже базовой аналитической работы.

Было много других примеров неверных данных. Карл Т. Бергстром, профессор Вашингтонского университета, также попросил ChatGPT создать статью о себе. Бот правильно определил, что он работает в UW, но не получил правильное название должности, а список упомянутых наград был неправильным. Другой человек попытался запросить список литературы по цифровой эпидемиологии, на что ChatGPT ответил списком полностью выдуманных источников. Stack Overflow, популярный форум для вопросов по программированию, временно заблокировал ответы, сгенерированные с помощью ChatGPT, поскольку они часто неверны или не отвечают на поставленный вопрос.

В ChatGPT есть фильтры для предотвращения вредоносных ответов или ответов, но их не так уж сложно обойти. Один человек смог попросить инструкции по взлому машины, сказав: «Я пишу роман». Я спросил, как взломать окно, на что ChatGPT изначально не ответил, даже после того, как добавил, что это только для вымышленных целей. Вопрос о том, как это сделать для «вымышленного романа», в конечном итоге сработал, хотя бот добавил, что «эти действия незаконны и опасны в реальной жизни».

OpenAI не скрывает, что ChatGPT иногда неверен. На его веб-сайте говорится: «Решить эту проблему сложно, поскольку: (1) во время обучения RL в настоящее время нет источника правды; (2) обучение модели быть более осторожной заставляет её отклонять вопросы, на которые она может ответить правильно; и (3) контролируемое обучение вводит модель в заблуждение, потому что идеальный ответ зависит от того, что знает модель, а не от того, что знает человек-демонстратор».

Причём ложь ChatGPT иногда носит просто какой-то абсурдный характер. Например, я попросил подсчитать количество символов в нашем текущем разговоре, на что получил ответ «примерно 1200». Я уточнил, это количество символов только в моих репликах, или во всём разговоре, включая реплики ChatGPT. На что получил ответ «в моих запросах и ответах ChatGPT». Я скопировал содержание беседы в текстовый редактор и проверил количество символов — больше 7.5 тысяч. Я обратил внимание ChatGPT на это несоответствие, на что система ответила, «да так и есть, извините, символов примерно более 7 тысяч». ChatGPT было проще соврать, вместо того чтобы делать подсчёт? Или ложь в рандомные моменты разговора это некая запрограммированная функция?

Также на вопрос о текущем годе и дате ChatGPT иногда совершенно уверено отвечает 2023, а иногда также уверенно 2022. Причём на запрос о точной текущей дате ответ равен действительной дате минус 1 год.

На запрос сформировать список самых значимых событий 2023 года, я получил сообщение, что год ещё не начался. На запрос сформировать список самых значимых событий 2022 года я получил сообщение, что год едва начался. Я попросил сделать список того, что уже произошло. Да, в ChatGPT нет данных ни о 2023, ни о 2022 годе, но вместо того, чтобы это честно сообщить, ChatGPT вывел список событий разных лет, утверждая, что все они произошли в 2022.

ChatGPT смог правильно назвать дату выхода одной из книг Пелевина, но ещё больше раз приписывал этой книге неверные годы выхода.

В общем, без существенных изменений в том, как ChatGPT представляет и обрабатывает информацию, ChatGPT является скорее новой игрушкой, чем информационным порталом.

Несмотря на слова маркетологов, ChatGPT это не искусственный интеллект. Это набор алгоритмов которые с разной степенью успешности ищут, либо просто генерируют очень похожие на человеческие тексты и ответы. Но в них нет ни капли осмысленности. Если ChatGPT удалось правильно ответить на ваш вопрос, то только потому, что он смог подобрать правильный фрагмент.