Аудификация данных: проблема секвенсинга звука

Я нифига не понял, но советую supercollider

Не, мне для плюсов

В качестве выборки данных подключим изображение с видеокамеры, наблюдающей за рукой человека... и получим цифровой терменвокс? :)

Можешь тут начать, мб список лит-ры глянь и в комментах

http://habrahabr.ru/post/178915/ http://habrahabr.ru/post/126050/

http://habrahabr.ru/post/224911/ — тут есть про требуемую тобой полифонию

Какие инструменты могут помочь в задаче сведения звуковых волн

С++, например, ничего принципиально сложного нет. Берёшь свои синусоиды вида f(t) = A(t)_n * cos(q_n + f_n * t), где A(t) амплитуда изменения соответствующей гармоники. Далее по ним генерируешь семплы, складываешь и результат нормируешь на сумму A(t)_n. Нужно только медленно, по отношению к 1/f_n (период, в секундах), менять A(t).

Проблема именно в сложении.

Круче - данные из gdb)

Проблема именно в сложении.

Если осилил правильно сгенерировать сами синусоиды с функцифми амплитуд, то сделать нормировку уже не проблема. Если сумма всех ф-ий амплитуд есть s(t), тогда нормировку можно выполнять как f(t) * g(s(t)), где g(s) = 1/ (s + A). При такой нормировке при малом кол-ве активированных гармоник (значительно менее A, ф-ии амплитуд нормированы на 1) сложение ведёт себя линейно, а при насыщении плавно выравнивается на 1. Можно придумывать и другие ф-ии нормировки g(s).

Раз уж вы даете такие подробные ответы, может быть, сможете ответить и на такой вопрос:
А как быть, если активных гармоник много? Какие методы синтеза можно применить, чтобы в итоге все не звучало как шум?
Гармоники различаются по амплитуде, как это учесть?

Сколько много?

Чтобы было менее «шумоподобно», возможно следует расстояние сделать не 10 Гц, а 1/48 октавы, например

Хорошее предложение, спасибо.

ПО последним подсчетам - 1024

Гармоники различаются по амплитуде, как это учесть?

Точно так же, умножаем нормированную ф-ию перехда на нужный коэффициен в диапазоне (0,1], т.е. A(t)_n <- U_n * A(t)_n . Склеивание будет нормироваться аналогично.

ПО последним подсчетам - 1024 ... чтобы в итоге все не звучало как шум?

Чисто технически в склеивании такого кол-ва каналов нет никаких проблем. Если вопрос про «эстетичность» результата, то использование равноудалённых гармоник с фиксированными частотами в таком кол-ве навряд ли вообще может дать вменяемый результат. Да и в принципе +100 бинарных факторов слишком много для кодирования в одно «звучание».

Человеческому уху приятны звуки которые он может легко разобрать, а это в основном составные части речи и звуки от естестенных резонаторов (струны, трубы и т.п.). Они имеют определённые профили по амплитудам и относительным расстояниям между частотами: частоты плавающие во времени и их не так много, ~10-20 штук + «тихие» вспомогательные между ними.

Можно взять пару десятков гармоник и как-то кодировать относительные расстояния между частотами и амплитудами, причём менять их как попало не получится. В общем, задача просто не реашется, придётся потратить время на игру со спектограммами и эксперименты.

Спасибо, буду экспериментировать.
На самом деле, сочетание больше 50 гармоник одновременно вряд ли будет нужно, это просто как опция, но хочется универсального решения задачи.

Все получилось, огромное спасибо за формулы и наводки!
Результат тестового синтеза: http://i.imgur.com/kL0FNuu.png