История изменений

Параллельно вопрос - а контекст в такое-то количество токенов - это тоже какое-то фундаментальное ограничение? Нельзя его поставить больше? А то кидаешь кусками произведения для анализа, так оно начало забывает и делает мне смешно.

Контекст — это другое название предельной (точнее, единственной) длины входной последовательности.

С большой вероятностью, начиная с какой-то длины входных последовательностей существующие архитектуры моделей перестают работать, т.е. фундаментальное ограничение скорее всего тоже есть, но дело не в этом. Её можно «поставить больше», но фишка в том, что под каждую длину последовательности сеть нужно обучать заново (совсем, вообще) с нуля. Ну а это сам понимаешь. (И весить такая модель тоже будет ровно в столько же раз больше.)

Параллельно вопрос - а контекст в такое-то количество токенов - это тоже какое-то фундаментальное ограничение? Нельзя его поставить больше? А то кидаешь кусками произведения для анализа, так оно начало забывает и делает мне смешно.

Контекст — это другое название предельной (точнее, единственной) длины входной последовательности.

С большой вероятностью, начиная с какой-то длины входных последовательностей существующие архитектуры моделей перестают работать, т.е. фундаментальное ограничение скорее всего тоже есть, но дело не в этом. Её можно «поставить больше», но фишка в том, что под каждую длину последовательности модель нужно обучать заново (совсем, вообще) с нуля. Ну а это сам понимаешь.