Как запустить ИИ, похожий на ChatGPT, на собственном ПК

Оглавление

1. Что такое Alpaca (Альпака)?

2. Чем Alpaca отличается от ChatGPT?

3. Что нужно для запуска Alpaca (альпаки)?

4. Как запустить Alpaca локально на вашем ПК

4.1 Установите подсистему Windows для Linux 2

4.2 Установите Docker

4.3 Установите Git в Windows

4.4 Установите Serge и Alpaca

5. Как использовать Serge и Alpaca


Главная мысль: Вы можете запустить ИИ, похожий на ChatGPT, на своём ПК с помощью Alpaca, чат-бота, созданного исследователями из Стэнфорда. Он поддерживает Windows, macOS и Linux. Вам просто нужно не менее 8 ГБ ОЗУ и около 30 ГБ свободного места на диске.

Чат-боты сейчас в моде, и каждый хочет участвовать в этом. У Google есть Bard, у Microsoft есть Bing Chat, а ChatGPT от OpenAI на данный момент практически синоним ИИ. Но что, если вы не хотите полагаться на облачный сервис для своего чат-бота? У нас есть ИИ, похожий на ChatGPT, который вы можете скачать — Alpaca.

Смотрите также:

Что такое Alpaca (Альпака)?

Alpaca — это языковая модель (по сути, чат-бот), очень похожая на ChatGPT. Он способен отвечать на вопросы, рассуждать, рассказывать анекдоты и почти всё, что мы привыкли ожидать от чат-ботов. Альпака была создана исследователями из Стэнфорда путём тонкой настройки LLaMA Facebook.

В отличие от ChatGPT и большинства других чат-ботов, доступных сегодня, Alpaca полностью работает на вашем ПК. Это означает, что никто не может следить за вашими разговорами или тем, что вы спрашиваете у Альпаки, и ваши обмены также не могут быть случайно утекли. Это также означает, что вам не нужно платить ежемесячную плату, вы можете дополнительно обучать модель, чтобы она лучше соответствовала вашим потребностям (если у вас есть соответствующие аппаратные мощности), и вы можете интегрировать её в любое приложение, какое захотите. Вы ограничены только своим оборудованием и возможностями программирования.

Тем не менее он также прекрасно работает как обычный старый чат-бот, с которым вы можете поговорить, и мы собираемся показать вам, как запустить его практически на любом ПК.

Чем Alpaca отличается от ChatGPT?

Если коротко: ChatGPT 4 на данный момент умнее и быстрее, чем Alpaca.

Скорость Alpaca в основном ограничена компьютером, на котором она работает — если у вас есть невероятно быстрый игровой ПК с кучей ядер и большим количеством оперативной памяти, вы получите от него хорошую производительность. Более медленным ПК с меньшим количеством ядер потребуется больше времени для генерации ответов. Конечно, сравнивать его с ChatGPT в этом отношении не совсем справедливо и даже неразумно — мы не знаем, на каком компьютере работает ChatGPT, но он, безусловно, мощнее обычного настольного ПК.

В настоящее время существует три основных варианта Alpaca: 7B, 13B и 30B. Вообще говоря, чем больше число, тем умнее будет чат-бот.

Alpaca, особенно модель 7B, заметно «тупее» ChatGPT. Он также не рассуждает и уж точно не пройдёт тест Тьюринга. Однако 7B по-прежнему хорош, если вам нужен рецепт какой-нибудь новой еды.

Смотрите также: Шеф-повар ChatGPT: готовка еды по рецепту, созданному искусственным интеллектом

Совсем другая история с моделями 13B и 30B. 13B способен вести связную человеческую беседу и может отвечать на сложные вопросы. 30B ещё более впечатляет, если у вас есть достаточное аппаратное обеспечение для его запуска, то вы увидите, что он остал не так далеко от ChatGPT. Он будет рассуждать философски или шутить, если вы введёте соответствующий запрос.

Что нужно для запуска Alpaca (альпаки)?

У Alpaca довольно гибкие системные требования. Эти рекомендации превышают необходимый минимум, но являются хорошим базисом для комфортной работы. Мы также собираемся установить это на Windows. Если вы устанавливаете это в системе под управлением Linux или macOS, просто пропустите раздел «Подсистема Windows для Linux» — вам это не понадоибиться.

  • 16 ГБ оперативной памяти
  • 32 ГБ лучше и необходимы, если вы хотите запустить модель 30B.
  • 35 ГБ памяти на SSD, если вам нужны все три модели.
  • 4 ГБ для модели 7B, 8 ГБ для модели 13B и 20 ГБ для модели 30B.
  • 500 МБ для стандартной Ubuntu с WSL2
  • Ещё несколько ГБ для других зависимостей
  • Современный процессор для быстрой работы
  • Любой процессор Райзен
  • Процессор Intel 7-го поколения или новее
  • Подсистема Windows для Linux 2 (WSL2)
  • Git
  • Docker
  • Общественный проект Serge, который даёт Alpaca приятный веб-интерфейс.

Предупреждение: в настоящее время нет причин подозревать, что этот конкретный проект имеет какие-либо серьёзные проблемы с безопасностью или является вредоносным. Мы просмотрели код и сами запустили программное обеспечение и не нашли ничего подозрительного. Это не означает, что он является или останется безопасным. Всегда будьте осторожны с вещами, которые вы находите в Интернете, и периодически возвращайтесь к оценкам безопасности.

Как запустить Alpaca локально на вашем ПК

Важно, чтобы вы выполняли эти шаги в том порядке, в котором они даны. Docker, вероятно, сломается, если вы измените порядок действий, что потребует полной переустановки WSL2 и Docker.

Установите подсистему Windows для Linux 2

Подсистема Microsoft Windows для Linux 2 (WSL2) позволяет запускать программное обеспечение Linux в Windows. Он имеет низкие накладные расходы и действительно удобен во многих случаях. Docker для Windows использует WSL2, поэтому сначала нам нужно установить WSL2.

Смотрите также: WSL (подсистема Windows для Linux): подсказки, инструкции, решения проблем

Примечание. Если у вас уже установлен WSL2, просто запустите в PowerShell, чтобы убедиться, что все обновлено:

wsl --update

Откройте окно PowerShell от имени администратора, затем введите команду:

wsl --install

Смотрите также: Как запустить PowerShell с правами администратора

Загрузка всех файлов WSL2 и Ubuntu займёт некоторое время. После завершения установки необходимо перезагрузить компьютер.

После перезагрузки снова откройте PowerShell (не обязательно от имени администратора) и запустите:

wsl -l -v 

Вы должны увидеть что-то вроде изображения ниже, если все работает правильно. Вам также не обязательно использовать именно Ubuntu. Вы можете установить любой дистрибутив, который вам нравится, Ubuntu используется по умолчанию.

Установите Docker

Docker — это программа, которая позволяет запускать программы в «контейнере». Контейнеры похожи на виртуальные машины, но у них меньше накладных расходов и они более производительны для многих приложений. Serge использует Docker, чтобы сделать установку очень удобной.

Сначала загрузите установщик Docker с веб-сайта Docker. Если вы собираетесь использовать Docker в Linux, то вы можете найти этот пакет в стандартных репозиториях вашего дистрибутива. Пользователи macOS могут скачать установщик с официального сайта Docker.

Примечание. Если вы используете безголовый сервер Linux, вам нужно следовать соответствующим инструкциям для вашего дистрибутива Linux, чтобы запустить Docker.

Запустите установщик и будьте готовы подождать несколько минут. Установка Docker займёт некоторое время и за кулисами будет настроена куча вещей. Как только это будет сделано, нужно перезагрузить компьютер.

После перезагрузки откройте PowerShell и снова запустите

wsl -l -v

На этот раз вы также должны увидеть некоторые записи, связанные с Docker.

Установите Git в Windows

Последней программой, которую мы установим на этапе подготовки, является Git, который мы будем использовать для автоматической загрузки (и обновления) Serge с Github. Это не обязательно, так как вы всегда можете скачать ZIP и распаковать его вручную, но Git лучше.

Перейдите на сайт Git и загрузите версию, подходящую для вашей операционной системы. Пользователям Windows просто нужно запустить исполняемый файл. Обязательно хотя бы просмотрите параметры установки, а не просто быстро щёлкайте по всем параметрам. Один из них, показанный на скриншоте ниже, абсолютно критичен.

После завершения установки Git вы готовы установить Serge и Alpaca.

Установите Serge и Alpaca

Во-первых, убедитесь, что Docker Desktop запущен. Затем откройте PowerShell или Windows Terminal с открытым окном PowerShell (не от имени администратора) и выполните следующую команду:

git clone https://github.com/nsarrazin/serge.git && cd serge

Это загружает файлы с GitHub в папку на вашем ПК, а затем изменяет активный каталог на созданную папку.

Следующая команда, которую вам нужно выполнить:

cp .env.sample .env

Эта строка создаёт копию .env.sample и называет копию «.env». Файл содержит аргументы, относящиеся к локальной базе данных, в которой хранятся ваши разговоры, и к порту, который локальный веб-сервер использует при подключении.

Затем запустите:

docker compose up -d

Docker compose объединяет несколько разных контейнеров в аккуратный пакет. Вы можете проверить файл docker-compose.yml в папке Serge, если хотите более конкретно узнать, что здесь происходит.

Последняя команда инициирует загрузку, и здесь вам нужно сделать выбор, прежде чем продолжить. Вы можете скачать три разных варианта: 7B, 13B и 30B. 7В — самая простая и «тупая» модель, а 30В — самая навороченная и умная. 13В — средний вариант («и так и сяк»).

Вариант Размер загрузки Необходимо свободной RAM Необходимо RAM на Windows Рекомендуется RAM на Linux
7B 4 GB 4 GB 16 GB 8 GB
13B 8 GB 8 GB 16 GB 16 GB
30B 20 20 GB 64 GB (вероятно) 32 GB

Операционные системы Linux (и, вероятно, macOS) смогут обойтись меньшим объёмом системной оперативной памяти, чем ОС Windows — Windows более требовательна. Вероятно, вам следует начать с варианта 7B, так как это наименее требовательный вариант. Вы всегда можете скачать 13B или 30B позже, если хотите.

Выполните следующую команду, чтобы загрузить модель 7B (или замените 13B или 30B).

docker compose exec api python3 /usr/src/app/utils/download.py tokenizer 7B

Будьте готовы ждать, особенно если вы выберете вариант 30B. Сервер Huggingface, по-видимому, работает со скоростью около 20 мегабайт в секунду, поэтому в лучшем случае вы можете рассчитывать на 50 секунд на каждый гигабайт загрузки.

Как использовать Serge и Alpaca

Docker и всё необходимые контейнеры в настоящее время работают, если вы следовали этим инструкциям, однако вам придётся снова включить их, если вы перезагрузите компьютер. Для этого просто откройте Docker Desktop и нажмите маленькие треугольные кнопки. Значки слева от столбца «Name» становятся зелёными, когда контейнеры запущены.

На данный момент всё установлено и готово к работе. Просто откройте браузер и введите «localhost: 8008» в адресную строку, как если бы вы посетили Facebook или любой другой веб-сайт.

Смотрите также: Что такое IP-адрес 127.0.0.1 и как его использовать?

Примечание. Если вы размещаете Alpaca/Serge на другом компьютере, вам нужно будет ввести локальный IP-адрес этого устройства вместо localhost.

На главном экране ваши предыдущие разговоры отображаются слева, а настройки нового чата отображаются посередине.

Доступно довольно много настроек, но есть пять, на которые вы действительно стоит обратить внимание:

  • Temperature (Температура) — определяет, насколько свободно отвечает ИИ. Меньшие числа приводят к более жёстким ответам, в то время как более высокие числа дают более творческий подход.
  • Maximum Generated Text Length in Tokens (Максимальная длина сгенерированного текста в токенах) — насколько длинными могут быть ответы, которые пишет бот.
  • Model Choice (Выбор модели) — выберите между 7B, 13B, 30B и любой другой моделью, которую вы устанавливаете.
  • n_threads — количество потоков, которые Serge/Alpaca может использовать на вашем процессоре. Выделение большего количества повысит производительность
  • Pre-Prompt for Initializing a Conversation (Предварительная подсказка для инициализации разговора) — предоставляет контекст до начала разговора, чтобы повлиять на то, как чат-бот отвечает.

В данном случае мы подняли температуру и потоки, выбрали модель 13B и сказали чат-боту, что теперь он пират.

Вот пример того, как проходил разговор.

С Alpaca вы можете говорить о чем угодно, и вам не нужно беспокоиться о том, что происходит с вашими данными. Он всегда остаётся на вашем устройстве под вашим контролем.

Помните, что ChatGPT, Alpaca и другие чат-боты кажутся надёжными, но на данный момент это не так. Они очень хорошо воплощают в себе мысль: «Если вы не можете ослепить их блеском, поразите их чушью». Их склонность придумывать вещи была названа «галлюцинированием». Не полагайтесь на них ни в чём важном, особенно в том, что критично для вашей работы или здоровья. В настоящее время их следует использовать только в развлекательных или экспериментальных целях.

Однако со временем технология будет только улучшаться — совсем скоро мы увидим, как Alpaca (или другой локальный ИИ) интегрируется в серверы Discord, моды Minecraft и любое количество других творческих приложений. Дальнейшее усовершенствование также приведёт к созданию более быстрых и точных моделей, которые смогут работать на более слабом оборудовании.


Comments

  1. Следующая команда, которую вам нужно выполнить:

    1

    cp .env.sample .env

    Так сделать не удаётся, в виду отсутствия файла в полученном репозитории. Я так понимаю, это достаточно важно? Может быть можете подсказать, содержание файла и его расположение (подходящее для работы), чтобы я добавил? Ну или альтернативу какую

Добавить комментарий

Ваш адрес email не будет опубликован. Обязательные поля помечены *

wp-puzzle.com logo