Ласка Докинза и эволюция текста

Игра в «Испорченный телефорн».

Кто-то её формализовал?

Главный вопрос — по каким критериям оценивать «жизнеспособность» текстов

Писать их в твиттер, потом считать число репостов. Самая настоящая жизнеспособность - сколько людей оценили текст настолько ценным, что пожелали нести его дальше.

Правда, на начальных этапах будет плохо работать, потому что текст «ывлдылвыд ываывоалд ываывшщ» репостнет столько же (ноль) людей, сколько «ждвлпжлагшщ ывофышщо лавызщ».

Правда, на начальных этапах будет плохо работать

на начальных этапах работать вообще не будет, потому что нонеймы никому не интересны.

На биржах копирайтинга примерно что-то такое и происходит.

Правда, на начальных этапах будет плохо работать, потому что текст «ывлдылвыд ываывоалд ываывшщ» репостнет столько же (ноль) людей, сколько «ждвлпжлагшщ ывофышщо лавызщ».

Хуже. Забанят за спам.

И даже для осмысленных текстов чересчур грубый критерий. И скорость низкая.

На биржах копирайтинга примерно что-то такое и происходит.

Идея Докинза была как раз в том, чтобы взять обезьян с пишущими машинками и применить к их работе наследственность и отбор (изменчивость уже была).

брали строку постоянной длины и только заменяли символы
Но ведь можно и добавлять-убирать символы, и перемещать куски текста
оставлять несколько лучших

Вот тут поясните. Как это возможно? Чем ближе к идеалу, тем выше вероятность, что очередная мутация сломает, а не починит строку. Такая «эволюция» быстро скатывается к оптимальному значению, когда вероятность починить и поломать строку уравновешивается и это значение (количество правильных символов в строке) легко вычислить без эволюции. Пробовал запрограммировать - получал вычисленное ранее значение.

По поводу сабжа не задумывался, но можно, наверное, попробовать оценить правильность построения предложения, попробовать угадать как оно должно выглядеть в идеале (по шаблонам, например) и «встряхнуть» его в нужном направлении (например, подвергнуть усиленной мутации наиболее вероятные ошибки).

Пока генетические алгоритмы эволюционируют, простейшие цепи Маркова просто работают (генерируют вполне «жизнеспособный» текст похожий на Гамлета).

Вот тут поясните. Как это возможно? Чем ближе к идеалу, тем выше вероятность, что очередная мутация сломает, а не починит строку. Такая «эволюция» быстро скатывается к оптимальному значению, когда вероятность починить и поломать строку уравновешивается и это значение (количество правильных символов в строке) легко вычислить без эволюции. Пробовал запрограммировать - получал вычисленное ранее значение.

Вариант — оставить достаточно много места для менее удачных мутаций, чтобы сосуществовали несколько генетических линий. Если лучшая упирается в тупик (локальный максимум), остаётся небольшая вероятность, что какая-то из худших может её превзойти.

По поводу сабжа не задумывался, но можно, наверное, попробовать оценить правильность построения предложения, попробовать угадать как оно должно выглядеть в идеале (по шаблонам, например) и «встряхнуть» его в нужном направлении (например, подвергнуть усиленной мутации наиболее вероятные ошибки).

Уже есть готовые программы для оценки правильного построения предложений. Закрытый Орфо, открытый LanguageTool. Я создал тему, чтобы узнать, что ещё существует.

Я не рассчитываю получить на выходе Гамлета, поэтому шаблоны пока не нужны.

Пока генетические алгоритмы эволюционируют, простейшие цепи Маркова просто работают (генерируют вполне «жизнеспособный» текст похожий на Гамлета).

Ну да. Но вопрос не про цепи Маркова, и даже не очень про генетику, а про возможность осуществлять отбор.

Я бы смотрел на две вещи: языковые модели (распределение n-грамм - насколько частоты букв, пар букв, троек букв и так далее в сгенерированном тексте близки к соответствующим частотам, посчитанным для большого набора текстов на данном естественном языке) и встречаемость в корпусе (насколько часто конкретные сгенерированные слова, словосочетания или предложения встречаются в большом наборе текстов).

Ну и если говорить о генетических алгоритмах, то естественнее было бы, на мой взгляд, рассматривать в качестве «генов» не сами тексты, а, например, параметры тех же марковских моделей. Конкретный класс генерируемых текстов тогда оказывается «фенотипом».

Конечно пробовали. Самый простой вариант задавали всем написать где-то на втором курсе. С использованием генетических алгоритмов я сам тоже писал.

https://ru.wikipedia.org/wiki/N-грамм

Без модели языка это ерунда. Как минимум, нужно получить части речи и формы слов, собрать статистику по этим шаблонам, а только потом уже начинать генерировать предложения. В идеале — проставить семантические категории для каждого слова, но это сложнее. Я в своё время занимался викисловарём, пытаясь привести его к виду, пригодному для использования в этих целях.

Чем ближе к идеалу, тем выше вероятность, что очередная мутация сломает, а не починит строку.

Поэтому нужно иметь возможность во время обучения постепенно снижать интенсивность мутаций (и шанс сломать строку). В тех же нейросетях аналогом является learning rate, который также можно снижать по мере приближения к минимуму.

Я бы смотрел на две вещи: языковые модели (распределение n-грамм - насколько частоты букв, пар букв, троек букв и так далее в сгенерированном тексте близки к соответствующим частотам, посчитанным для большого набора текстов на данном естественном языке) и встречаемость в корпусе (насколько часто конкретные сгенерированные слова, словосочетания или предложения встречаются в большом наборе текстов).

Если сравнивать с корпусом, что дадут n-граммы сверх того? Или n-граммы — для текстов, где нет ни одного осмысленного слова?

Ну и если говорить о генетических алгоритмах, то естественнее было бы, на мой взгляд, рассматривать в качестве «генов» не сами тексты, а, например, параметры тех же марковских моделей. Конкретный класс генерируемых текстов тогда оказывается «фенотипом».

Насколько мы сузим множество выходных текстов, если ограничимся только марковскими моделями?

Без модели языка это ерунда. Как минимум, нужно получить части речи и формы слов, собрать статистику по этим шаблонам, а только потом уже начинать генерировать предложения.

Можно ли взять готовую модель из Hunspell или LanguageTool?

Поэтому нужно иметь возможность во время обучения постепенно снижать интенсивность мутаций (и шанс сломать строку).

Скорее даже несколько вероятностей для разных мутаций.

С другой стороны, ломающие мутации так и так будут ловиться в очередном поколении. Можно, конечно, соптимизировать и на каком-то этапе отключить тип, который стал бесполезным.

по каким критериям оценивать «жизнеспособность» текстов

Смысл текста — отражение реальности. Соответственно, «жизнеспособность» это качество отражения.

Ловушка. Сначала надо сделать отражение, а затем оценивать текст по степени соответствия таковому.

Смысл текста — отражение реальности. Соответственно, «жизнеспособность» это качество отражения. Ловушка. Сначала надо сделать отражение, а затем оценивать текст по степени соответствия таковому.

Следовательно, нужно оценивать не качество отражения, а какие-то другие параметры.

Можно ли взять готовую модель из Hunspell или LanguageTool?

Я не разбирал модель из LanguageTool, хотя и приходилось использовать софтину. Что-то сомневаюсь, что она достаточно подробна.

Вот тебе моё старое баловство: https://git.dim13.org/weasel.git/tree/weasel.c (возможно с багами) ;)

Принцип:

• исходно имеем популяцию N случайных строк одинаковой дины
• выбираем 2 случайных из пула
• из 2-х случайным образом состовляем одну (смешивание генов)
• в зависимости от фактора случайно меняем какие-нибудь значения в новой строке (мутации)
• вычисляем у всех 3-х строк score (сравниваем с искомой строкой — если символ совпал, то +1)
• из 2-х родителей убиваем того, у кого хуже score
• возвращаем обе строки (один родитель и ребёнок) обнатно в пул
• повторять, пока score не станет 100%

Конвергирует на удивление очень быстро.

Других нет. Иначе ты получишь весну на яндексе. Но она уже есть, зачем повторять.

Пардон, глянул в код, у меня там чуть-чуть по другому.

• выбираем 3-х случайных
• убиваем худшего
• вместо него из двух других строим новый
• все 3 (2 старых и 1 новый) возвращаем обратно

Если сравнивать с корпусом, что дадут n-граммы сверх того? Или n-граммы — для текстов, где нет ни одного осмысленного слова?

Сгенерировать можно и совсем новые предложения, которые раньше не встречались. В корпусе их не будет, но они тем не менее могут быть естественными.

Насколько мы сузим множество выходных текстов, если ограничимся только марковскими моделями?

Скорее, расширим - например, будем генерировать грамматически недопустимые цепочки. Усложняя модель, мы накладываем больше ограничений, приближая задаваемый моделью язык к естественному. Если дальше увеличивать количество ограничений, язык будет еще сужаться.

Можно еще ввести какую-нибудь меру (вроде энтропии), которая будет оценивать разнообразие/предсказуемость генерируемых цепочек.

Вот тебе моё старое баловство

Спасибо. Про возможность скрещивания упомянуть забыл.

man Генеративная лингвистика

Главный вопрос — по каким критериям оценивать «жизнеспособность» текстов.

Так же как в обычной эволюции, собственно по жизнеспособности. Намутируется в Шекспира - выживет и будет доминировать, намутируется в марковский текст для дорвея - тоже выживет, но плохо и будет вымирать, намутируется в такой же рандомный кусок - вымрет.

весну на яндексе

Кстати, её алгоритм где-нибудь публиковали?

Главный вопрос — по каким критериям оценивать «жизнеспособность» текстов.

Так же как в обычной эволюции, собственно по жизнеспособности.

А не столь долго вычисляемый алгоритм предложить не можешь?

Можно еще ввести какую-нибудь меру (вроде энтропии), которая будет оценивать разнообразие/предсказуемость генерируемых цепочек.

Как её можно считать?

Можно оценивать энтропию для марковской модели. https://en.wikipedia.org/wiki/Entropy_(information_theory)#Data_as_a_Markov_p...

Спасибо за формулы.