Новости

Разработка расширений на Cython

Cython как транспилятор

$ python3 -m pip install Cython

from setuptools import setup
from Cython.Build import cythonize

setup(
     name='fibonacci',
     ext_modules=cythonize(['fibonacci.py'])
)

$ python3 -m pip install -e .
Installing collected packages: fibonacci
     Running setup.py develop for fibonacci
Successfully installed fibonacci

$ ls -1ap
./
../
build/
fibonacci.c
fibonacci.cpython-39-darwin.so
fibonacci.egg-info/
fibonacci.py
setup.py

Чтобы понять, какой объем работы Cython выполняет «под капотом», просмотрите файл fibonacci.c. Он получается довольно длинным. Даже для нашего простого модуля fibonacci.py его длина может превышать 4000 строк.

• Если в среде установки доступен Cython, код расширения на C генерируется на основе предоставленного исходного кода на Python/Cython.
• Если Cython недоступен, но доступны предусловия сборки (компилятор C, заголовки Python/C API), расширение собирается на основе предварительно сгенерированных файлов C, которые входят в дистрибутив.
• Если ни один из этих вариантов не доступен, а расширение состоит из исходного кода на чистом Python, то модули устанавливаются как обычный код Python, а этап компиляции пропускается.

С официальными рекомендациями по распространению кода на Cython можно ознакомиться по адресу cython.readthedocs.io/src/userguide/source_files_and_compilation.html.

import os

from setuptools import setup, Extension

try:
     # транспиляция Cython возможна,
     # только если Cython доступен
     # и специальная переменная среды явно сообщает,
     # что нужно использовать Cython,
     # чтобы генерировать исходный код на C
     USE_CYTHON = bool(os.environ.get("USE_CYTHON"))
     import Cython

except ImportError:
     USE_CYTHON = False

ext = '.pyx' if USE_CYTHON else '.c'

extensions = [Extension("fibonacci", ["fibonacci"+ext])]

if USE_CYTHON:
     from Cython.Build import cythonize
     extensions = cythonize(extensions)

setup(
     name='fibonacci',
     ext_modules=extensions,
     extras_require={
          # Эта конкретная версия Cython будет указана
          # в числе требований, если устанавливать пакет
          # с дополнительным ключом '[with-cython]'
          'with-cython': ['cython==0.29.22']
     }
)

$ USE_CYTHON=1 pip install .[with-cython]

Cython как язык

"""Модуль Cython, реализующий числа Фибоначчи."""

def fibonacci(unsigned int n):
     """Возвращает n-е число Фибоначчи, вычисленное рекурсивно."""
     if n == 0:
          return 0
     if n == 1:
          return 1
     else:
          return fibonacci(n - 1) + fibonacci(n - 2)

>>> from fibonacci import fibonacci
>>> fibonacci(5)
5
>>> fibonacci(0)
0
>>> fibonacci(-1)
Traceback (most recent call last):
     File "<stdin>", line 1, in <module>
     File "fibonacci.pyx", line 4, in fibonacci.fibonacci
          def fibonacci(unsigned int n):
OverflowError: can't convert negative value to unsigned int
>>> fibonacci(10 ** 10)
Traceback (most recent call last):
     File "<stdin>", line 1, in <module>
     File "fibonacci.pyx", line 4, in fibonacci.fibonacci
          def fibonacci(unsigned int n):
OverflowError: value too large to convert to unsigned int

cdef long long fibonacci_cc(unsigned int n):
     if n == 0:
          return 0
     if n == 1:
          return 1
     else:
          return fibonacci_cc(n - 1) + fibonacci_cc(n - 2)

def fibonacci(unsigned int n):
     """ Возвращает n-е число Фибоначчи, вычисленное рекурсивно.
     """
     return fibonacci_cc(n)

def fibonacci(unsigned int n):
     """ Возвращает n-е число Фибоначчи, вычисленное рекурсивно.
     """
     with nogil:
          return fibonacci_cc(n)

cdef long long fibonacci_cc(unsigned int n) nogil:
     if n < 2:
          return n
     else:
          return fibonacci_cc(n - 1) + fibonacci_cc(n - 2)

Недостатки расширений

Дополнительная сложность

Более сложная отладка