Easy-diffusion — это локальная программа, которая генерирует изображения посредством нейросетей. Для запуска необходимо скачать репозитарий с гитхаба — https://github.com/easydiffusion/easydiffusion — и запустить ./start.sh в директории репозитария. Далее установщик позаботится обо всем остальном и скачает все зависимости. В требованиях для запуска необходима карта Nvidia или AMD. Поддерживаются CUDA и ROCM соотвественно. Также поддерживается рендер изображений и на процессоре.
Для генерации изображения необходимо указать следующие параметры:
- промпт — набор слов, указывающий что конкретно необходимо сгенерировать, обязательно;
- отрицательный промпт — набор слов, указывающий что *не надо* генерировать; опционально, но с ним получается контролировать более точно;
- seed — значение, отвечающее за уникальность изображений; можно ввести вручную или выбрать автоматическую генерацию;
- число изображений, по умолчанию 1;
- модель, отвечает за стиль изображения: реалистичный. мультяшный и так далее; обязательна; обычно у модели есть одно или несколько ключевых слов для указания в промпте;
- лора, содержит в себе набор для генерации одного или нескольких изображений. Необязательна, но с ней можно быстрее получить нужный результат;
- Sampler — способ обработки;
- Guidance Scale — параметр, который контролирует, насколько процесс генерации изображения следует текстовой подсказке;
- количество шагов, собственно, указывает, сколько шагов будет уходить на генерацию изображения; больше число шагов — изображение получается более качественным, меньше — менее качественным;
- VAE — в основном, используется для увеличения насыщенности и яркости изображения, но иногда меняет стиль изображения;
- размер изображения. Обычно модель заточена под определенный размер и если размер изображения будет слишком сильно отличаться, то то и результат будет отличаться. Если размер изображения будет сильно меньше, то результатом будет нечитабельная мазня. Если не слишком сильно, то может сгенерировать только часть изображения. В случае увеличением размера изображения слишком сильно, могут появиться различные различные артефакты при генерация, например дополнительные руки и ноги. Кроме того, вырастет потребление видеопамяти;
- Clip Skip. Не совсем понимаю, что значит этот параметр; обычно в описании лоры указывается, надо его использовать или нет.
О лоре. Например, есть модель которая позволяет указать в каком стиле должно быть изображение, а лора позволяет добавить готовый шаблон для получения результата. Обращаю внимание, что лора должна быть совместима с моделью. В случае несовместимости изображение просто не сгенерируется.
Также у лоры есть свое значение. Обычно лора слишком сильная, поэтому её значение делается небольшим, чтобы её ослабить и получить более красивый результат.
Но даже совместимость лоры не гаранирует красивый результат, потому что автор мог просто не проверять как будет выглядеть результат конкретной лоры с конкретной моделью и результат может быть некрасивым. При генерации может быть указана одна, несколько или ноль лор.
У лоры могут быть ключевые слова или слово. Может не быть. Всё зависит от конкретной лоры.
У меня алгоритм для генерации изображения обычно такой:
- беру модель;
- беру лору;
- беру промпт;
- беру отрицательный промпт;
- беру seed. Обычно из примера лоры, если в примере нет, то беру из какого-то другого рандомного примера;
- прогоняю это все для генерации через несколько моделей по одному изображению;
- выбираю изображение с той модели, которая мне больше всего понравилась;
- генерирую 100 изображений с этой моделью, лорой, промптом, сидом и отрицательным промптом;
- из этих 100 изображений выбираю одно подходящее.
Конкретно здесь у меня изображение со следующими настройками:
Seed: 2851093873
Dimensions: 512x768
Sampler: euler_a
Inference Steps: 30
Guidance Scale: 7
Model: bs_1500
Clip Skip: yes
Prompt: sketch, black souls, bs, masterpiece, high quality, blpioneer, 1boy, cowboy shot, covered eyes, shadow on eyes, brown hair, long blue winter coat, white scarf, outdoors, park, evening, walking, winter, hands in pockets, side view,
Lora Model: blpioneer, add_detail
Lora Strength: 0.8,0.5
