Text generation web UI — это программа, предназначенная для создания текстов с использованием нейросетей. Написана на питоне. При использовании c использованием Model loader «ctransformers» и модели «tinyllama-1.1b-chat-v0.3.Q2_K.gguf» показала себя хорошо, результат получался через несколько секунд. Текст немного не соответствует персонажу, но считаю, что для наименьшей модели это хороший результат.
Для установки надо зайти на гитхаб, выбрать в релизах последнюю версию, распаковать и там запустить start_linux.sh (./start_linux.sh). Это скачает все необходимые зависимости, какие-то пакеты устанавливать и собирать не понадобится.
После этого следует:
- скачать нужную модель (это делается прямо в настройках, нужно просто указать название);
- подождать пока она загрузится;
- выбрать загрузчик модели совместимый с данной моделью и нажать load;
- подождать завершения загрузки модели.
Затем надо выбрать персонажа. Я нашел расширение «CAI Tools» для firefox и просто скачал с помощью этого расширения персонажа прямо с https://beta.character.ai/
После этого загрузил этого персонажа и выбрал в настройках. Затем зашел на вкладку «Чат», создал новый чат и начал общаться с персонажем. Гитхаб.
И для сравнения. . Та же модель, но максимальная версия. Отличия только в том что я переместил все слои на GPU и выбрал пресет космического пришельца.
>>> Просмотр (1920x1080, 523 Kb)
