cython ругается на pow

передай ей третий аргумент :). Например, единицу.

а, зачем?

все pow заменил на **, собралось.

http://docs.cython.org/src/userguide/language_basics.html#built-in-functions

Only the three-argument form of pow() is supported.

интересно, с чего это они так сделали?...

с чего

хз, в гугле ответа не нашёл.

так вот, я тоже не понял зачем и восмпользовался **, кстати в инете есть примеры, что ** быстрее pow.

pow(x, y, z) (Note 2)

Note 2: Only the three-argument form of pow() is supported. Use the ** operator otherwise.

Поделитесь опытом ускорения Python скриптов.

просто перевод Питон модулей инструментом cython что не дал мне результатов. Скорость работы скрипта с модулями *.so не увеличилась :-( , правда оперативной памяти раза в полтара меньше использует. В коде функций модуля в основном заполняются матрицы, а в головном скрипте выполняюс матричнфе преобразования методами numpy/scipy

Надо понимать, что ты ускоряешь. Например, в чистом Питоне довольной ресурсоёмкий вызов функций/методов, можно сыграть на этом. Можно заменить свои классы на встроенные, тогда можно получить большое ускорение при доступе к приватным полям и методам. А ещё можно заменить переменные Питона (PyObject) на переменные C (int, char *, ...), тогда математика будет сильно быстрее. Советую читать туториал по Cython, там все эти идеи неплохо описаны.

Ну и да, меньше оперативной памяти - уже результат.

Я тоже пробовал cython, результата на небольшом скрипте не дало. И это логично ибо всё что cython делает это убирает необходимость в интерпретации байт-кода, всё остальное остаётся на месте.

Серьёзно оптимизацией не занимался т.к. мне либо скорости всегда хватало, либо в программе не было каких-то ярко выраженных «hot spots» которые можно было бы улучшить. Я как-то страдал фигнёй изучая какие конструкции языка лучше работают, но сидеть над каждой строчкой в программе быстро надоело т.к. это очень сильно снижает скорость разработки.

На уровне самого питона посмотри в сторону pypy.

Можешь почитать вот это:
http://docs.python.org/faq/programming.html#my-program-is-too-slow-how-do-i-s...
http://wiki.python.org/moin/PythonSpeed/PerformanceTips

Но я не советую особо этим загоняться, это просто ударит по читабельности и скорости разработки. Если прям уж действительно нужна скорость то тогда чистый питон это плохой выбор. Можно найти либо сишную библиотеку которая решает задачу либо самому налабать с использованием, например, cython. Но писать придётся типизированный код, иначе прироста в большинстве случаев не ощутить.

подскажите, пожайлуста, в общих (глобальных) чертах как ускорить такой код (из таких функций состоит модуль; передаются один/два вектора с элементами double и несколько параметров типа double, всякие действия состоят из вызовом небольших функций из этого же модуля) и возвращается матрица nixnj с элементами типа double:

def my_matrix_maker(vector1,vector2,param1,param2,paramX):
    ni=len(vector1)
    nj=len(vector2)
    for i in range(ni):
        # ряд действий
        for j in range(nj):
                # всякие  действия
                A[i][j]= ...
    return A

Спасибо.

можно ли так?

def my_matrix_maker(double * vector1, double * vector2, double param1, double param2, double paramX):
    ni=len(vector1)
    nj=len(vector2)
    for i in range(ni):
        # ряд действий
        for j in range(nj):
                # всякие  действия
                A[i][j]= ...
    return A

Я извиняюсь, вбросил сюда много сообщений, но что-то даже простой пример с типами не могу собрать:

#!/usr/bin/python
import numpy as np
cimport numpy as np
ctypedef np.float64_t dtype_t
def ff(dtype a):
     return a;

$ cython test.py 

Error converting Pyrex file to C:
------------------------------------------------------------
...
#!/usr/bin/python
import numpy as np
cimport numpy as np
       ^
------------------------------------------------------------

У тебя cython какой-то неправильный, поставь другой или собери из сырцов. У меня всё заработало. Только не dtype а dtype_t.

поставил cython из сырцов версии 0.14.1 , ситуация не изменилась :(

Циклы на Питоне для вычислений просто не подходят. Если твоя задача требует производительности и при этом не ложится на numpy, на Питоне ее делать не стоит.

не ложиться на numpy только одна из частей программы, заполнение некоторых блоков матриц, она вынесена в циклы и тормозит. В большей своей части алгоритмы сформулированы на матричном языке и успешно реализованы на numpy.

всем смеяться.

переименоввал test.py в test.pyx и .... сработало

> не ложиться на numpy только одна из частей программы, заполнение некоторых блоков матриц, она вынесена в циклы и тормозит.

Сделай ее на чистом Си.

функцию на С написать очень просто, но как ее вызвать в Питон-скрипте?

> функцию на С написать очень просто, но как ее вызвать в Питон-скрипте?

Через стандартный ctypes

можно поподробнее

Это стандартный пакет Питона, его документация - часть стандартной Library Reference.

переименоввал test.py в test.pyx и .... сработало

у меня и без переименования работало. Стандартный cython из бубунты 10.10