алгоримы получения сигнатур файлов

0

0

вобшем задача такая:
есть несколько серверов, на них где-то по теробайте файлов,
 необходимо определять какой файл присуцвует на каком из серверов. ну
 или на нескольких серверах сразу.
возможный вариант решения задачи:
создать базу сигнатур файлов обшую для всех серверов, в которой
в часности есть урла файла и его сигнатура. база по мере появление /
 изменения / удаления файлов обновляется.
так вот вопрос: как "дешевле" получать сигнатуру файла? какую шэш 
функцию использовать? была еше мысля шитать контрольную сумму скажем
из каждого 100го байта + хэш длины файла.
вобшем принимаются любые предложения / мысли / примеры

ЗЫ: только без "зачем изобретать велосипед?" это только часть задачи.

Ссылка

←	Помогите с OpenSSL

skype

→

> была еше мысля шитать контрольную сумму скажем из каждого 100го байта + хэш длины файла.

а нет смысла экономить -- каждый сотый байт смотреть -- потому что у тебя тут боттлнек это ИО диска -- а он не уменьшится если ты каждым сотым байтом ограничишься.

dilmah ★★★★★
(11.03.07 15:38:49 MSK)

Ответ на: комментарий от dilmah 11.03.07 15:38:49 MSK

но ресусры вычислительные то всеравно экономим...

anonymous
(11.03.07 17:25:48 MSK)

Ответ на: комментарий от anonymous 11.03.07 17:25:48 MSK

> но ресусры вычислительные то всеравно экономим...

моя бабушка называет это "на говне пенку собирать":)

dilmah ★★★★★
(11.03.07 18:54:10 MSK)

Ссылка

Можешь crc каждого сотого блока считать

anonymous
(11.03.07 20:17:43 MSK)

Ответ на: комментарий от anonymous 11.03.07 20:17:43 MSK

В зависимости от размера
скажем логарифм по 2 от кол-ва блоков

т.е. если <=2 блоков - считаем каждый первый
<=4 - каждый второй
<=8 - каждый третий
<=16 - каждый 5
<=256 - каждый 8
<=1024- каждый 10

разумеется всегда можно подобрать другое основание

roller ★★★
(11.03.07 21:13:46 MSK)