чтение с конца файла на python

Читаешь последние n байт с конца, парсишь, если не хватает, читаешь дальше. Что сложного?

Не умею в питон, но, полюбому там есть возможность сикнуть файл в конец, а затем вычитывать его кусочками ища нужную метку чтобы остановиться.

Там есть seek() функция.

А еще можешь выполнить из питона этот вот твой bash-код.

Поправьте если не прав, но в Python в коробке нет потокового backward stream reader или как его правильно назвать, так что:
1. Использовать supbrocess, что бы там гонять tac
2. Искать готовую реализацю bacward reader-а (с буфером и т.д.)
3. Писать его самому
4. Читать файл полностью в память и делать что-то вроде for line in reversed(file.readlines()): ...

https://docs.python.org/2/library/subprocess.html нууу ? Получаем значит данные и далее парсим не?

Из коробки нет, но это достаточно популярная задачка на собеседовании :).

на баше это 2 строчки

У тебя там grep читает весь файл целиком.

Короче, ты реши действительно у тебе так важна скорость что прочитать файлы целиком это проблема. Потому что, скажем, раз в час распарсить лог на 100метров это НЕ проблема.

Если всё же проблема то читай чанками с конца. Готовые решения вполне гуглятся. Вот, например, тут есть итератор которые строки в обратном порядки из файла достаёт: http://stackoverflow.com/questions/260273/most-efficient-way-to-search-the-la... . Ящитаю, это отличное решение.

Ну башевский этот код будет читать весь файл. Греп весь же прочитает. Можно так же. Делаешь пустой список. Открываешь файл. Читаешь по одной строке (readline). Если строка — метка, то список очищаешь (делаешь пустым []), иначе, вносишь строку в список. При EOF у тебя в списке будут все строки после последней метки.

Если важно именно не читать весь файл (греп будет это делать), то открываешь файл, сикаешь на -1024 от конца, читаешь. Метка есть? Сплитаешь по ней, берёшь конец. Нет? Сикаешь на -2048 от конца, и так далее. Ну цифры можно примерно прикинуть из того, сколько обычно инфы в одной такой секции.

Но учитывая, что файл может быть всего-то 100мб, можно и весь прочитать в строку, да сплитнуть по меткам.

У тебя там grep читает весь файл целиком.

tac в большинстве случаев читает файл нецеликом, может быть и целиком, но лишь до момента пока grep не найдет что надо, и head -n1 обрубит пайп.
еще конечно tail перечитает файл, но примерно также как и tac+grep+head.

раз в час распарсить лог на 100метров это НЕ проблема.

у меня три сотни этих логов, и как правило парсинг должен запускаться практически одновременно раза 3-4 в час, не охота погибнуть от руки oomkiller-а.

tac

Уппс, не заметил, пардон.

Ну значит, как уже многие сказали выше, сикай файл в конец и читай кусочками пока не встретишь метку. А я бы еще и лимит ввел, например если метка не нашлась в куске N байт с конца файла, тогда значит неформат.

Ну что-то типа такого. Переходим в конец, откатываемся «вверх» на 1024, читаем, находим все последнюю «метку» в прочитанном - с нее и будет наша нужная информация. Это при условии, что мы за один раз прочитаем хотя бы один кусок

====== CHECKTIME  2015-06-12-16:50:10
полезная информация1
полезная информация2
полезная информация3

1) Переделать все и читать вообще построчно(что правильнее)

2) Просто увеличить число считанных байт.

#!/usr/local/bin/python3.4
#coding=utf-8
with open("example.txt", "r") as f:
	f.seek(0, 2)
	fsize = f.tell()
	f.seek(max(fsize - 1024, 0), 0)
	lines = f.readlines()

for x in lines[::-1]:
	if x.startswith("====== CHECKTIME"):
		start = lines.index(x)
		break


print(lines[start + 1:])

Плюс как уже советовали можно ввести метку о не формате.

Вот, например, тут есть итератор которые строки в обратном порядки из файла достаёт: http://stackoverflow.com/questions/260273/most-efficient-way-to-search-the-la... . Ящитаю, это отличное решение.

оказывается уже смотрел его, но что то не понял как оно работает, буду думать.

Я имел в виду вот это решение: http://stackoverflow.com/a/260433 .

Оно читает файл в обратном направлении в буфер чанками. Буфер зовётся part. Как только доходит до '\n' оно переворачивает буфер (part[::-1] тоже самое что и reversed(part)).

Как только дошли до конца текущего чанка мы считываем следующий. При этом буфер не сбрасывается.

Кстати, можешь работать с файлами через mmap как с массивом char. Тогда всё будет ещё очевиднее.

Вообще, эту задачку мне пару раз давали на собеседованиях :).