Уж не знаю как это делается в бусте. Но принято использовать состояния при токенизации потока.

Их препроцессор вырезает.

Вот в примере и сделано на состояниях. Но он не работает.

Проблема в том что не вырезает.

Я где-то читал, что юзать буст спирит - это плохо, он перегруженный, медленный и т.п., надо типа юзать lex + bison и не понтовацца.

Я где-то читал что Папа Римский - женщина.
Но вопрос не об этом.

Не сказал бы, что он медленный (ни для чего серьезного его не юзал), но с его синтаксисом для чего-нибудь серьезного он абсолютно неюзабельный. Не видел пока ничего лучше lex + bison (хотя они далеко не идеальны).

Вопрос к ТС: можно ссылку на этот пример?

>Не видел пока ничего лучше lex + bison А я - видел. Как минимум - ANTLR и GOLD

ANTLR

Нисходящий парсер? А он справляется с левой рекурсией?

Синтаксис на вид более приятный, чем у бизона.

К сожалению не могу найти его на фордже.
Он есть в дистрибутиве Буста - boost_1_47_0/libs/spirit/example/lex/strip_comments_lexer.cpp

ANTLR

Конечно интересно, но он работает с крестами через три медных таза.

lex + bison

Почему-то Бизон не работает под оффтопиком+MinGW.
Жалуется что не опознанная опция "--gnu" и прочее.
К сожалению это важно для меня...

А зачем вам эта опция?

Мне она и не упала, она возникает сама когда работает магия бизона.

Хаха. Мальчик, от левой рекурсии надо избавляться даже в антлр чтобы не ловить конфликты.

*в бизоне.

Левая рекурсия в бизоне как-то никогда не создавала проблемм. И конфликтов из-за нее никогда не было. А переписывать абсолютно очевидные, простые и рабочие правила в кучу неочевидного г*вна только ради не-леворекурсивной (а значит, более труЪ) грамматики не вижу особого смысла.

Дядя, я процитирую руководство по Bison:

Any kind of sequence can be defined using either left recursion or right recursion, but you should always use left recursion, because it can parse a sequence of any number of elements with bounded stack space. Right recursion uses up space on the Bison stack in proportion to the number of elements in the sequence, because all the elements must be shifted onto the stack before the rule can be applied even once.

Советую на stackoverflow спросить, там Hartmut Kaizer мониторит и обязательно ответит, тем более, речь о баге в экзампле.

Создал для смеху. С моим то англицким...

Удивительно, но так оно и вышло - http://stackoverflow.com/questions/6983812/boost-spirit2-lex-strip-comments-l...

Я не сомневался :)