Сегфолт происходит в fftw_execute при размере преобразования от 8000...8200, и с FFTW2 и с FFTW3 (float и double), на двух разных машинах (AMD64 debian, i646 gentoo), так что, по идее, кто-нибудь еще должен был с этим столкнуться, но, как ни странно, в гугле пусто.
Собрал отладочную версию без SSE2, показало на ф-ю q1_5 (оно - весь файл - генерируется прогой на цамле), так что дальше незнаю куда копать.