спасибо, это годный вариант =) Правда, скорость работы программы получилась over 5 минут (по сравнению с 1 мин на С)

ну так там написано, что чисел порядка 1E+7 =)

24Г

На таком размере нужно после каждых N итераций обрабатывать результаты, и выкидывать их из памяти. А то представь себе что 24Гб чисел у тебя загрузятся в память. И т.к. решение нетривиально, решать в лоб не вариант, то самое простое решение, которое ты ищещь, скорее всего окажется неправильным.

Правда, скорость работы программы получилась over 5 минут (по сравнению с 1 мин на С)

Я ожидал, что тормозить будет жёсткий диск, но раз такое дело, можно попробовать PyPy.

а как вывести только последнее число? а то из 24гигов делать еще файл на пару гигов не комильфо =)

WAT?

да, я не совсем корректно сформулировал задачу. Надо вывести последнее число только (N-ое)

awk -vRS=' ' -vFS="\n" '{print $1}' test | head -n5 | tail -n 1

Только вот КМК awk ляжет на таких объемах.

Почему нет?

Потому что awk передаст по пайпу все найденные числа. А это писец по памяти.

То ли я чего-то не понял, то ли тред полон наркоманов - какой еще парсинг?

import sys

N, n = 100500, 0
for l in sys.readlines():
  lst = [float(i) for i in l.split()]
  if n+len(lst) >= N:
    print lst(N-n)
    break
  else:
    n += len(lst)

это если не накапливать список числе в памяти.

время работы большое (>3 минут против 1 мин на С). Видимо, чтение по строкам занимает много времени, поскольку чисел в строке может быть очень много...

WAT?

data - это ... N-мерный массив.
т.е. data[N] - искомое число? ... Да

Ты знатно поделил на ноль.

Ничего ви не понимаете в методах скоростной обработки

Самые быстрые решения получаются, когда ты каждый раз выбираешь подходящей инструмент не для задачи, а для подзадачи

tr ' ' '\n' | python yourprog.py

for l in sys.readlines():
AttributeError: 'module' object has no attribute 'readlines'

похоже, чтение по строкам будет очень медленное. Не дождался околнчания ни одной проги на python... :(

24гига прогнать через pipe?=)

Очевидно, в N-мерном массиве N измерений, а у тебя тут одно

С уделал Python по скорости разработки ;)

Я этот скрипт набросал за 10 минут (из них 7 - гугление парсера с итератором). Про время выполнения в ОПе ни слова. Если нужно, можно скомпилировать regexp, так выйдет раза в полтора быстрее. Если нужно ещё быстрее - придётся поступиться скоростью разработки (если тебе действительно именно это было нужно, мой юный зелёный друг) и читать побайтово.

AttributeError: 'module' object has no attribute 'readlines'

sys.stdin, естественно. Это пример, я его не запускал - тестовых данных нету.

похоже, чтение по строкам будет очень медленное

ЕМНИП, там итератор.

скорость работы не очень важна, просто я не ожидал настолько сильного замедления работы для простой программы чтения из файла. Т.е. по идее, чтение посимвольно что в питоне, что в С должно быть примерно с одной скоростью... Или я не прав?

Подумаешь, вместо 8ГиБ/с после пайпа получаешь 4ГиБ/с. Т.е. твой файл не за 24 секунды проходит, а 48. Ты его обрабатываешь дольше. Зато код самой программы проще, и, следовательно, быстрее.

Более того, ты дебагить будешь, поэтому тебе проще один раз файл перегнать в нужный формат и все.

cat ascii-file | tr ' ' '\n' >/dev/null

заняло более пары минут... не стал ждать окончания =)

Т.е. по идее, чтение посимвольно что в питоне, что в С должно быть примерно с одной скоростью... Или я не прав?

При работе со строками третий Питон рассчитан на Юникод, тогда как в Си ты можешь читать строго побайтово. Однако, конечно, основной оверхед — создание множества объектов, скорее всего.

Попробуй PyPy.

берёшь(делаешь)(чё быстрей, приятней) простейшей КА по выдёргивания не пробельных последовательностей. сквозным чтением потока прочитываеш Nую читаеш(из строки) эту строку как вещественное в переменную вещественную.

в питоне тоже будет ок.

Попробуй PyPy.

это я на кластере развлекаюсь, а его там нету... И кстати, 3-его питона тоже, я во 2-ой всё конвертю =)

В общем случае - неправ, в питоне под капотом совершается куча дополнительных действий по выделению памяти для новых объектов и т.п., которые в C полностью находятся в отвественности программиста. Как раз для того, чтобы писать на питоне было быстрее и удобнее. Про то, что C быстрее Python, никто не спорит, но то, что C уделал по скорости _разработки_ Python - это неправда, на деле это Python уделал тебя.

что такое КА?

+

Что такого-то? N-мерные массивы в первом приближении индексируются так же, как n раз вложенные списки.

понятно, что у Python накладные расходы гораздо выше, но что касается чтения файла, там на кажый read идёт создание объекта? Или перезаписывается старый? В последнем случае, ИМХО, оверхед небольшой...

N может равняться и 1. Я подумал, что ТС спрашивает про этот частный случай.

Если data - это N-мерный массив, то

data[i]

у тя омонимия одномерного размером N и многоразмерного N размером каждого идекса 1.

т.е у тя одноэлементый с N 1ично индексами и Nэлементный с одним индексом 1..N омонимы.

конечный Капитан Ачевидность Автомат

ногда происходит перевод строки

а что за программа генерит такой странный файл с данными, почему не в столбики? Вообще на таких объёмах логичнее использовать бинари формат.

там на кажый read идёт создание объекта?

А может и нескольких. Строки каждый раз новые создаются в любом случае.

Тем более если у тебя старый Питон.

Одна Сатана. Попытка устроить спор на пустом месте же.

Которое все проигнорировали, судя по ответам, т.к. оно теряется на фоне остальных. Но если тебе потрепаться, то, конечно, и так сойдёт :)

А если data - это список из N списков, то data[i] - это список. И что?

это отдельная печальная история... такой файл генерит Fortran, а вот с бинарными данными проблема... В общем и целом, проблема в Fortran'е, и для её поиска пришлось применить другие ЯП

то data[ i ] - это список

Ты сказал что data[N] будет искомым числом. Ты уж определись.

Но если тебе потрепаться, то, конечно, и так сойдёт :)

Surely :) Проблему-то я решил, а тут решил пофлудить :)

Вот видишь, пришел кулинсао и все понятно объяснил :)

А зачем парсить число, если ты его тут же выводишь? Тупо читай %s и сразу выводи. %s это строка символов без разделителей.

Какая ещё омонимия? Двумерный массив с N элементами единичной длины - это одномерный массив с формой (1,N).

Я сказал, что массивы индексируются примерно так же, как списки. Остальное вы додумали.

в смысле, надо написать fscanf(f, «%s »,str)? дык я же говорю, что С тоже не особо знаю, про это не знал, например, спасибо за инфу =)

Остальное вы додумали.

Склероз косит наши ряды. С уделал Python по скорости разработки ;) (комментарий)

т.е. data[N] - искомое число?

Да.

Чисто для забавы проверь этот:

file=__ФАЙЛ_С_ЧИСЛАМИ__
result=N
buf=0
while read line; do
    set -- $line
    for num in "$@"; do
        buf=$((buf + 1))
        if [ "$buf" = "$result" ]; then
            echo "$num"
            break 3
        fi
    done
done < "$file"

что-то 10 минут прошло, а оно всё там...

Тут проблема в том, что в строке может быть >1E+6 чисел, видимо, поэтому построчно читать плохо...