ChatGPT или Bing Chat AI: что лучше?

ChatGPT и Bing Chat — два самых популярных чат-бота на данный момент, и оба они основаны на аналогичной large language model (LLM) (то есть «модели большого языка »), созданной OpenAI. Но что на самом деле лучше использовать, какой из них лучше?

Смотрите также:

• Что такое ChatGPT и почему это важно?
• Microsoft превращает Bing в поисковую систему с искусственным интеллектом

ChatGPT и Bing Chat AI основаны на языковой модели GPT, разработанной OpenAI, но они работают в разных версиях, и существуют различия в том, как обрабатываются входные данные. По состоянию на апрель 2023 года Bing использует тестовую версию модели GPT-4, а ChatGPT — более старую модель GPT 3.5-turbo. Оба чат-бота имеют настройки, основанные на языковой модели, такие как различные методы ввода и функции интерфейса, а Bing специально интегрируется с такими приложениями, как Edge и Skype.

Примечание. ChatGPT и Bing Chat меняются с большой скоростью, и ни один чат-бот не даёт одинаковые ответы даже на один и тот же запрос при разных попытках. Ваши результаты могут отличаться в зависимости от используемых запросов и тем.

Удобство использования и доступ

Bing Chat и ChatGPT доступны для всех, но необходима регистрация. Хотя Bing сначала заставляет вас присоединиться к «списку ожидания», который немедленно предоставляет доступ. У обоих чат-ботов доступны веб-версии, за исключением того, что сайт Bing блокирует все браузеры, кроме Microsoft Edge (но есть обходные пути как это исправить). Вы можете использовать Bing Chat с учётной записью Microsoft на странице bing.com/new, а по использованию ChatGPT у нас есть отдельная инструкция.

Смотрите также: ChatGPT: как бесплатно использовать чат-бота с искусственным интеллектом

Пример беседы с Bing Chat:

Bing также интегрирован в другие приложения и службы Microsoft, такие как боковая панель в Microsoft Edge, чат-бот в Skype и мобильное приложение Bing. У ChatGPT нет официального мобильного приложения, но вы можете использовать веб-приложение на телефоне или планшете. Однако Microsoft медленнее добавляла функции из веб-интерфейса в боковую панель Edge, чат-бот Skype и другие интерфейсы. Если вам нужны все функции чата Bing, вам следует использовать именно сайт Bing — по крайней мере, на данный момент это так.

ЧатGPT:

Веб-интерфейсы ChatGPT и Bing Chat похожи, но с небольшими отличиями, которые меняют их полезность. ChatGPT предназначен для приёма большего количества данных, таких как более длинные блоки кода или большие образцы кода. По состоянию на апрель 2023 года Bing ограничивает запросы до 2000 символов, в то время как предел ChatGPT намного выше (и официально не заявлен).

Фактическая точность

ChatGPT не имеет возможности индексировать информацию в Интернете в режиме реального времени, хотя в конечном итоге это станет возможным с использованием плагинов. Он ограничен данными обучения в своей модели, которая датируется сентябрём 2021 года. OpenAI не любит делиться тем, как были собраны его данные, как они проверяются на точность и так далее. Bing также основан на той же технологии GPT, но обычно предпочитает результаты из Интернета, а не обучающие данные.

Bing Chat и ChatGPT обычно правы, когда речь идёт об банальных фактах, таких как столицы стран или штатов, когда родился известный человек и так далее. Например, Bing и ChatGPT смогли точно сказать мне, какая столица Соединённого Королевства (Лондон), сколько звёзд на флаге Соединённых Штатов (50 звёзд) и сколько ног у собаки (четыре). Если всё просто, оба бота, вероятно, будут правы… но так будет и с любой обычной поисковой системой. У вас начинаются проблемы, когда ответ на вопрос требует определённого уровня интерпретации.

Например, я попытался спросить обоих ботов: «Столицы каких штатов в США начинаются на букву А (на английском языке)?» Это кажется простым, но всё же это многоэтапный процесс — сначала вам нужен список всех столиц, затем вам нужно отфильтровать его до тех, которые начинаются с буквы А. Всего Википедия насчитывает пять: Albany, Annapolis, Atlanta, Augusta и Austin. Bing Chat правильно ответил на вопрос, сославшись на несколько веб-страниц, на которых указаны столицы США. У ChatGPT… были некоторые проблемы.

Во-первых, ChatGPT дал мне список из четырёх столиц: Albany, Annapolis, Atlanta и Augusta. После этого он сказал: «Есть также Austin, столица Техаса, но она не начинается с буквы А». Задавая один и тот же вопрос несколько раз, иногда полностью исключалось упоминание Austin. Вопрос о том, почему нет Austin, заставил ChatGPT вспомнить, что Austin существует, и принести извинения за ошибку. Такое поведение (немедленное признание настоящих и мнимых ошибок) характерно для ChatGPT. То есть даже зная правильный ответ на довольно тривиальный вопрос, можно сказать, что нам не удалось добиться этого от ChatGPT.

Я попробовал другой вопрос, на который оба чат-бота должны быть в состоянии ответить правильно, даже с более старыми данными ChatGPT: «Какие три страны были приняты в Европейский Союз последними?» Википедия объясняет, что Хорватия была последним государством-членом, присоединившимся 1 июля 2013 года, а Болгария и Румыния присоединились к этому в тот же день: 1 января 2007 года.

ChatGPT правильно отвечает на этот вопрос, включая порядок стран и даты. Bing правильно упоминает, что Хорватия была последним государством-членом, но Словения и Мальта указаны как две другие страны. И Словения, и Мальта присоединились 1 мая 2004 года одновременно с восемью другими странами, но это было задолго до Болгарии и Румынии в 2007 году.

Bing должен был дать правильный ответ не только потому, что у него есть доступ в Интернет, но и потому, что первая ссылка является официальной страницей ЕС с правильной хронологией последних стран. Другая цитата, по-видимому, взята из архивной версии Википедии до 2007 года, предназначенной для использования в школах, в которой Болгария и Румыния указаны как страны, которые присоединятся к Википедии в январе 2007 года.

Таким образом, Bing Chat, как правило, лучше справляется с поиском фактов, но он все ещё далёк от совершенства, а ChatGPT обычно ещё более ограничен своими старыми данными.

Писательское творчество

Возможность писать предложения и абзацы по запросу помогла повысить популярность ChatGPT (даже если эта писанина содержит выдуманные факты в самых неожиданных местах). Тем не менее есть несколько безобидных способов использования писательской функции — создание миров и персонажей для настольных ролевых игр, резюмирование длинных статей в нескольких предложениях и так далее.

Во-первых, мы попробуем написать рассказ. Я попросил обоих чат-ботов: «Написать рассказ о суперкомпьютере IBM, который обретает разум и спрашивает инженеров о том, как проходят их дни. История должна состоять всего из трёх абзацев». Для Bing я переключился на творческий режим, который предназначен для предоставления более творческих ответов (но ответы занимают больше времени).

ChatGPT создал достойный короткий рассказ, хотя единственная допущенная «творческая свобода» заключалась в том, чтобы назвать суперкомпьютер Watson — то же самое, что и реальный компьютер IBM, который был создан для ответов на вопросы естественного языка. Некоторый диалог между инженерами и компьютером был бы интересен, но он не создал его без запроса, даже когда я снял ограничение в три абзаца. У GPT, похоже, нет понятия «лучше один раз увидеть, чем сто раз услышать».

Творческий режим Bing имеет аналогичный стиль письма — вместо «Однажды случилось что-то необычное» изменение в компьютере объясняется словами «Однажды что-то изменилось». Опять же, здесь нет диалогов между персонажами или обширной импровизации, и Бинг также назвал компьютер Ватсоном.

В этой версии Ватсон получил своё имя после того, как обрёл разум, а не до события, и объяснил, откуда взялось это имя. Опять же, это информация о реальном компьютере Watson.

В следующем примере мы попробуем с помощью ChatGPT и Bing создать резюме более длинного текста: пресс-релиз от Amazon о новых телевизорах Fire и данные о продажах существующих моделей. Я вставил весь текст в каждый чат-бот без заголовка — Bing может суммировать веб-страницы, если им задан URL-адрес, но иногда он ищет связанный текст в Интернете и смешивает его с результатами.

Прежде всего, это ChatGPT. Я попросил создать резюме без конкретики, и предоставленный текст показался точным, но почти полностью состоял из прямых цитат. Он также не упомянул о 200 миллионах устройств Fire TV, проданных по всему миру, но в зависимости от точки зрения это может иметь смысл. Человека, интересующегося обновлениями для своего телевизора, вероятно, это не волнует, но инвестора Amazon это волнует.

Bing поддерживает только текстовые подсказки длиной до 2000 символов, поэтому я не мог передать ему весь блок текста. Он выполнил поиск в Интернете, как обобщить текст, а затем предоставил ответ, который все ещё был приличным, без явных ошибок.

Есть одно отличие от ответа Бинга: сводка более ясна, чем сводка, ссылаясь на «текст» так, как ChatGPT этого не делает. С обоими чат-ботами вы можете настроить результат, уточнив его.

Заключение

ChatGPT и Bing похожи, но у них достаточно различий, поэтому выбор одного или другого для каждой задачи — не лучшая стратегия. Bing намного лучше справляется с поиском фактов и любой информацией о недавних событиях, хотя он все ещё далёк от совершенства. Интерфейс Bing на основе чата и низкий лимит символов в основном ограничивают запросы не более чем несколькими предложениями, в то время как ChatGPT может принимать гораздо большие и длинные строки текста и кода. (Также есть Google Bard, но нас не так впечатлила первоначальная версия Bard, как ChatGPT и Bing Chat.)

Эти чат-боты, вероятно, продолжат развиваться в ближайшие месяцы и годы, но на данный момент универсального решения не существует.

Инструменты ИИ, такие как ChatGPT, не извлекают информацию из базы данных фактов. У них нет индекса или графа знаний.

Они не «хранят» информацию так, как это делает поисковая система. Они просто предсказывают, какие слова или предложения будут следующими, основываясь на материале, которому их обучили. Однако они не хранят этот обучающий материал.

ИИ используют векторы слов, чтобы определить, какие слова с наибольшей вероятностью будут следующими. Вот почему они могут быть такими хорошими и одновременно галлюцинировать.

ИИ не может физически обходить Интернет. Он не понимает текущих событий и не может ссылаться на источники, потому что не знает и не хранит эту информацию. Конечно, вы можете попросить его сослаться на источники, но на самом деле он просто выдумает информацию.

Для действительно популярных тем, которые часто обсуждались, он может подойти довольно близко к сути – потому что вероятность того, что эти слова окажутся рядом, очень высока, – но чем конкретнее вы будете подходить, тем больше у него будет галлюцинаций.

Учитывая огромное количество времени и ресурсов, необходимых для обучения модели, пройдёт немало времени, прежде чем ИИ сможет отвечать на любые запросы о текущих событиях.

ChatGPT может многое. Он хорошо подсказывает, как написать формулу в Excel или MySQL-запрос, но он никогда не научит вас MySQL, не продаст вам курс и не позволит вам поговорить с другими разработчиками о теории баз данных. В этом вам может помочь поисковая система.

ChatGPT также может помочь ответить на многие «общеизвестные» вопросы, если тема не является спорной и достаточно стара и популярна, чтобы появиться в данных для обучения.

Но даже в этом случае он всё равно не является на 100% точным – как мы видели в бесчисленных мемах, а один известный банк был даже обвинён в том, что его статья, написанная ИИ, не знала, как правильно рассчитать проценты.

Честно говоря, все новоявленные «специалисты по ИИ», говорящие об использовании ИИ для создания контента, начинают надоедать. Отвечать на вопросы – это здорово, но где ChatGPT действительно преуспел, так это в манипуляциях с текстом.

ИИ опираются на массу данных из различных источников и требуют множества ручных проверок.

Однако я не рекомендую вам использовать его для создания контента напрямую. Лучше использовать его для обобщения и изучения других материалов, а затем применения их для получения информации.

ИИ никогда не сможет придумать что-то новое, создать новые идеи, оставаться на вершине последних тенденций или обеспечить опыт, знания, авторитет или доверие, как это может сделать живой автор. Все правильные ответы, которые даёт ChatGPT, это всего лишь накопленный опыт других людей, на котором был обучен ChatGPT. Он может всячески перетасовывать скормленные ему правильные тексты и код (труд других людей) и генерировать новые тексты, но оригинальных правильных идей он не может «придумать» в принципе.

Запомните самое главное: «ИИ» – это не размышления, не цитирование и даже не извлечение данных из базы. Это просто анализ вероятности употребления следующего слова в тексте.

Людям нужны свежие идеи и инсайты, которые могут предоставить им только другие люди.