Как насчет regex? Всмысле что такого есть в Lex кроме собственного парсера, автомата с состояниями и собственно регэкспов?

Как насчет regex?

Немного не то, на голых регекспах мне прийдется токен искать перебором всех возможных выражений.

Lex почти так и делает, рулесы по-порядку выполняются, как бы через |. Не сильно быстрее перебора.

Думаешь, что если у двух лексем одинаковые префиксы, то lex будет их по нескольку раз перечитывать? Я что-то сомневаюсь

(abc|abd) тоже по-нескольку раз не перечитывает, я просто не думаю, что у тебя столько одинаковых префиксов и такие данные, что ты вылезешь за 5%-ю вероятность бэд-хита, чтобы стоило мутиться мутной мутью.

(abc|abd) тоже по-нескольку раз не перечитывает

Ага, потому что таблица генерируется одна.

мутиться мутной мутью.

Да, была бы реальная задача, то не спрашивал бы а делал. А так мною движет любопытство и ничего более.

Кстати пока нашелся http://www.benhanson.net/lexertl.html

Не по теме: некоторое время назад мы делали проект по лексическому анализу. Модератор не я. Проприетарщина. Прикольная штучка.

Генерация правил для Lex в рантайме, затем exec lex, exec gcc, fork-pipe-exec

boost::spirit

/thread

Генерация правил для Lex в рантайме, затем exec lex, exec gcc, fork-pipe-exec

ужос

boost::spirit

Ага, и внутри у него lexertl

Так можно засунуть в PCRE: (?<1>pattern1)|(?<2>pattern2)... Автомат будет общий, а дальше по atoi(name) получаем тип.

PCRE: (?<1>pattern1)|(?<2>pattern2)

Спасибо, выглядит симпатично.