qwen2-1.5b-instruct-q8_0.gguf

Температура не помогает.

Ты бы не сидел больной за этими вашими нейромоделями. А то обмажутся нейросетками, а потом…

игноря задачу

Конкретизируй задачу, например, «заменить слова в тексте синонимами».
И жёстко мотивируй: ежели будешь игнорить, то перестану кормить электричеством :)

1.5b

Какой спрос с убогих? Ты не из тех, кто 7 шапок заказывает из одной шкуры?

У джамшутов нейронов меньше, но они бы поняли :)

сначала инструктируешь потом промптишь

Хм, действительно предварительный инструктаж помог, сейчас неплохо рерайтит:

from llama_cpp import Llama

llm = Llama.from_pretrained(
    repo_id="Qwen/Qwen2-1.5B-Instruct-GGUF",
    filename="*q8_0.gguf",
    verbose=False
)
task = "Перепишите текст находящийся в скобках [] другими словами, разнообразив и не утратив смысла."
text = "[Банк «РогаКопыта» предлагает широкий спектр банковских услуг для физических лиц. Работаем с 14-го века! Выгодные условия по кредитным картам.]"
promt = f"{task} Текст: {text} Результат:"

stream = llm(
    promt,
    max_tokens=len(llm.tokenize(promt.encode("utf-8"))),
    stop=[task, "\n"],
    stream=True,
    temperature=0.3,
)

for output in stream:
    print(output["choices"][0]["text"], end="", flush=True)
print()

И во что рерайтнуло?

во что рерайтнуло?

Банк «РогаКопыта» предлагает разнообразные банковские услуги для физических лиц и работает с 14 века. В нашем банке вы найдете выгодные условия по кредитным картам.

На моделях с маленьким квантом, приходится пример выдавать ответа. Иначе они не стабильно работают.

И жёстко мотивируй: ежели будешь игнорить, то перестану кормить электричеством

Пикрелейтед https://www.reddit.com/r/ProgrammerHumor/comments/1gftwr8/futureofsoftwaredevelopmentifgptbroswin/