Как отредактировать только часть файла и не трогать остальную?

если замена не меняет размер, то можно dd+sed+dd

Где ты такой файл откопал?

Думаю, такое можно провернуть в питоне с модулем mmap. в детали сейчас вникать не могу, слишком занят.

Это код на перле.

код на перле … 125 Гб … код на перле … 125 Гб … МАМА! Мне это даже представить страшно… o_O

Таки откусить кусок с начала dd, поправить его и прицепить обратно. Ещё как вариант — задействовать ed.

Я бы на перле простым скриптиком читал бы файл построчно и менял то, что там надо. Там это легко делается без занесения в память всего файла.

искусственный разум для захвата мира???

Если это так, то там на регекспах закодирована вся вселенная. :)

Ты представляешь, сколько оно его шустприть будет?

Говорят vim с LargeFile плагином может такого монстра осилить. → http://stackoverflow.com/questions/1591723/linux-text-editor-for-working-with...

если замена не меняет размер, то можно dd+sed+dd

угу. Тоже хотел написать.

Дело в том, что sed, судя по всему, в режиме -i тупо копирует файл строка за строкой, а под конец «магически» заменяет старый файл новым.

так и есть. Это ещё и самый быстрый вариант, т.к. размер начала изменяется, и файл всё равно надо весь переписывать. Если не надо, то отрежь dd нужное.

patch

patch ?

ведь для этого очевидным образом перезапись всего файла не требуется

Только в этом одном случае (поменять N символов на N других), только если количество байтов на эти символы в данной кодировке совпадает, это необходимо только если у тебя откуда-то возник текстовый файл на 125 Гб... Короче, множество предположений, которые в 99.99% случаев неверны.

Может, написать свой велосипед на каком-нибудь языке программирования? В конце концов, это не так сложно. python + mmap, в самом деле.

Так это всё равно перепишет хвост файла.

Зато просто. Вообще, сама задача странная какая-то.

Что этот скрипт делает???

Что этот скрипт делает???

ИИ для евангелиона. А ты что подумал?

Там вместо ИИ души людей. Скорее всего эти 125ГБ сгенерировал другой скрипт.

Вообще, сама задача странная какая-то.

Почему странная? Есть гигантский SQL dump и в нём нужно поправить всего-то пару определений create table. Причём дамп размером 150Гб лежит на разделе размером 200Гб и никаких других разделов не предусмотрено. Что делать?

Я пока что решил проблему с помощью sed'а для копирования «верхушки» файла в отдельный файл и tail -n +N - для оставшейся части. В принципе, так работает, но только для случая, когда интересующие строки находятся в относительно небольшом куске файла где-то «на самом верху».
Кстати, кто-нибудь в курсе, как сделаьт так, чтобы чудесный mysqldump всё-таки свои CREATE TABLE писал не где-то посреди INSERT'ов, а сверху? Мне для этого пришлось изрядно поизвращаться и написать целый мега-скрипт... Вот: https://github.com/DRVTiny/bash4-helperScripts/blob/master/dumeme

It's SQL, Luke!

Есть гигантский SQL dump

А, ну это еще норм, я уже думал XML

200 гигов SQL dump хммм что то уже здесь не так =)

А можно подробности?

Так в условии ТС надо прошерстить тысячу строк вначале файла. Это вообще ни о чём. Секунды.

P.S. за плагинчик к vim'у спасибо, думаю пригодится.

Можно сделать два дампа.

Первый mysqldump --no-data, тут будет структура. Второй mysqldump --no-create-info, тут данные. По желанию, их можно потом объединить.

Ну или же вообще можно каждую таблицу в отдельный файл.

Плюсую этого господина.

Товарищ весьма неглуп...

Это непартиционированная база, куда Заббикс интенсивно пишет всякий мусор, который ни один человек в здравом уме и твёрдой памяти проанализировать не в состоянии. Сейчас стоит задача мусор этот партиционировать.

mysqldump умеет писать данные каждой таблички в отдельный файл. В случае таких огромных дампов, наверное, имеет смысл.