Я кажется понял в чем там дело.
У Вас есть две картинки и вы хотите проверить получается ли одна из другой циклическим здвигом или нет.
Пусть мы рассматриваем чернобелую картинку (NxM) как отображение из (Z/NZ)x(Z/MZ) в C.
Пусть есть две функции f1 f2
Делаем преобразование Фурье, получаем некоторые функции g1,g2. Если две картинки отличаются здвигом на (u,v), то g1,g2 должны отличатся на умножение на функцию
h(k1,k2) = exp( 2*pi*(k1*u/N+k2*v/M) )
В вашей кривой терминологии это здвиг фаз, и чтобы оценить ее "линейность" надо взять композицию abs(g1/g2) c сопряжением и сделать еще одно преобразование фурье (пусть у нас получилась функция s)
//все операции с функциями поточечные
В идеале abs(s(n1,n2)) = N*M, а в остальных точках 0.
Если преобразование фурье непрерывно (а наверное так оно и есть), то в неидеальном случае будет что-то около того. Т.Е за "оценку линейности" можно взять сумму отклонений от идеала (или максимальное по точкам). Кстати линейность здесь нужно брать только в кавычки.
P.S Даже с теми крохами знаний, что есть у меня, мне очевидно, что у Вас в голове с абстракциями каша.
P.P.S Если что сильно не пинайте, я в этом ничего не понимаю.