invalid compressed data--crc error

FTP

Случаем, не в ASCII mode передавали?

В федора 13 был gzip с ошибкой (с кривым патчем) и давал crc-error на нормальных файлах. Может сейчас этот баг дошёл до centos :-)

Лучше посчитайте md5sum от исходного архива на VPS, и сравните его с md5-суммами на винде и на centos.

не знаю, скорей всего в бинаре, кидул тупо через проводник. Предположим ASCII, тогда как объяснить что через самбу тоже файл побился

Тогда как объяснить 4 пункт?

Не знаю.

Вы лучше дайте md5 суммы. md5sum это программа простая и я не помню, чтобы она работала неправильно. Там хоть будет понятно, правильный у вас архив или нет.

md5sum на windows и на centos разный. Была теория, что в процесс как то вмешивается антивирус. Отключил его. Заархивировал winrar архив с паролем 1. Проверил под виндой - ошибок нет. копирую его на cetnos по samba, там ошибка crc.

Уже не знаю куда копать. Архив больше 4,51 ГБ. Вроде EXT3 без проблем должна проживать его.

попробую сейчас по другому. Создам большой архив в линуксе, и проверю его после создания.

tar -cvzf vhosts.gz.tar vhosts

.tar.gz БЛЖАД!

сорри, был не прав. Но по сути это никак не должно влиять

У отдельных версий ftp-клиентов были проблемы с размерами файлов > 4 Гбайт. Но там ошибка была видна сразу, так как и размер результирующего файла отличался от исходного. У samb'ы таких проблем не помню.

А на centos md5sum у архива, залитого по ftp, и архива, залитого по самбе, разные?

Проверь по md5 на других больших файлах, .avi-шкаш каких-нибудь. Если будет ошибка думай в сторону сетевушки/шнурка.

локализовал проблему до: создания архива rar прямо на centos. Странный результат на ВСЕХ трех винтах, которые есть в системе:

Testing test.1 99% test.1 - CRC failed Total errors: 1

ну не может же все три винда политеть. что за дела? Один из них булы куплен с 4 месяца назад, другой с год (третий очень давно). Буду делать fsck.

Если я правильно тебя понял, то в первую очередь надо протестировать оперативку. memtest86+ или, чтоб без перезагрузки: memtester или prime95 (gimps).

ну посчитай просто md5 до и после.

и всякие rar не юзай. Или gofo

разные MD5 под виндой и под linux.

[Path] / filename                              MD5 sum
-------------------------------------------------------------------------------
[D:\Downloads\]
asdvhosts.gz.tar.1                        100% 2fd762f14997d8a295e3fbbfeba2444d

[root@111y test2]# md5sum asdvhosts.gz.tar.1
5426dc82843af2a9cf0f8f4c749f1e7a  asdvhosts.gz.tar.1
[root@111y test2]# md5sum asdvhosts.gz.tar.1
5426dc82843af2a9cf0f8f4c749f1e7a  asdvhosts.gz.tar.1

так же проверил файловую систему

/dev/sdc1: ***** FILE SYSTEM WAS MODIFIED *****
/dev/sdc1: 1189/122109952 files (42.0% non-contiguous), 155654125/244190000 blocks
[root@111y ~]# fsck -y /dev/sdb1
fsck 1.39 (29-May-2006)
e2fsck 1.39 (29-May-2006)
/dev/sdb1: clean, 827253/122109952 files, 105307442/244190000 blocks
[root@111y ~]# fsck -y  -f /dev/sdb1
fsck 1.39 (29-May-2006)
e2fsck 1.39 (29-May-2006)
Pass 1: Checking inodes, blocks, and sizes
Pass 2: Checking directory structure
Pass 3: Checking directory connectivity
Pass 4: Checking reference counts
Pass 5: Checking group summary information
/dev/sdb1: 827253/122109952 files (0.4% non-contiguous), 105307442/244190000 blocks

А если теперь с centos обрато этот файл в windows скопировать, то md5-сумма опять будет другой?

Попробуйте покопировать и посравнивать md5-сумму от файлов поменьше, может действительно проблема в том, что размер файла больше 4 Гб. Ну и ещё один раз я встречал для винды (хотя и для windows 95) md5sum.exe, который неправильно считал.

В последний раз пытаюсь донести свое видение и решение по поиску проблемы. Если создание и тестирование архива на центос в итоге выдаёт ошибку, то это оперативная память. Если ошибка только после передачи по сети, то или память на центосе, или сетевая карта на одной из машин, или сетевой кабель (да-да) между ними. Протестируй память memtester-ом или prime-ом, а сеть вычислением md5 больших файлов с последующей передачей по сети и сверкой.

спасибо, я прислушался к вашему совету, поставил и тестирую память.

memtester version 4.0.8 (32-bit)
Copyright (C) 2007 Charles Cazabon.
Licensed under the GNU General Public License version 2 (only).

pagesize is 4096
pagesizemask is 0xfffff000
want 50MB (52428800 bytes)
got  50MB (52428800 bytes), trying mlock ...locked.
Loop 1/2:
  Stuck Address       : ok
  Random Value        : ok
  Compare XOR         : ok
  Compare SUB         : ok
  Compare MUL         : ok
  Compare DIV         : ok
  Compare OR          : ok
  Compare AND         : ok
  Sequential Increment: ok
  Solid Bits          : ok
  Block Sequential    : ok
  Checkerboard        : ok
  Bit Spread          : ok
  Bit Flip            : ok
  Walking Ones        : ok
  Walking Zeroes      : ok

Loop 2/2:
  Stuck Address       : ok
  Random Value        : ok
  Compare XOR         : ok
  Compare SUB         : ok
  Compare MUL         : ok
  Compare DIV         : ok
  Compare OR          : ok
  Compare AND         : ok
  Sequential Increment: ok
  Solid Bits          : ok
  Block Sequential    : ok
  Checkerboard        : ok
  Bit Spread          : ok
  Bit Flip            : ok
  Walking Ones        : ok
  Walking Zeroes      : ok

Done.

проблему между передачей устранил. я создаю архив прямо из консоли на centos, и после архив показывает битый. с одного боку кажется что виноваты винты, но проблем с ними нет. протестим еще память

want 50MB (52428800 bytes)
got  50MB (52428800 bytes)

Этого мало. Видели для тестирования почти всю доступную или хотя бы всю свободную.

А при создании/тестировании архива свап используется? Проблема с винтом может быть под свапом.

неожиданно при md5 один раз выдал другое значение. есть ли проблемы у centos с винтами 1 гиг?

[root@111y test2]# md5sum asdvhosts.gz.tar.1
5426dc82843af2a9cf0f8f4c749f1e7a  asdvhosts.gz.tar.1
[root@111y test2]# md5sum asdvhosts.gz.tar.1                                                                                                                                                              5426dc82843af2a9cf0f8f4c749f1e7a  asdvhosts.gz.tar.1
[root@111y test2]# md5sum asdvhosts.gz.tar.1                                                                                                                                                              e43986be87ffae4053caeaee45f4a019  asdvhosts.gz.tar.1
[root@111y test2]# md5sum asdvhosts.gz.tar.1
5426dc82843af2a9cf0f8f4c749f1e7a  asdvhosts.gz.tar.1
[root@111y test2]# md5sum asdvhosts.gz.tar.1
5426dc82843af2a9cf0f8f4c749f1e7a  asdvhosts.gz.tar.1

Железо глючит 100%. Не перегревается ли процессор? Смотри(те) выхлоп sensors в то время, когда процессор под нагрузкой. На винты не похоже, но на всякий давай(те) посмотрим на smartctl -A /dev/sdХ или сами: (Reallocated_Sector_Ct, Reallocated_Event_Count, Current_Pending_Sector — пожалуй самые важные). Но я бы сразу перезагружался для memtest-а до победного конца.

ваша правда. после перезагрузки, один из винтов признался в этом. стал цокать. наверное на этом все и порешаем. проблема в железе.

Спасибо вам большое. очень признателен за ваши подсказки. действительно дело было в памяти. не могли 3 винта выйти из строя. тест мемори показал фейлы, сегодня купил новую память и все стало хорошо.

Пожалуйста, был рад помочь.