История изменений
Исправление Shadow, (текущая версия) :
как минимум миддл, потоком
я менеджер и немного датасатанист.
Зачем csv потоком? Чанками же. Это же таблицы! Они 50 лет чанками обрабатываются.
Ну и любимое:
import dask.dataframe as dd
ddf = dd.read_csv(filename)
- в ddf объект из автоматически оптимизированных по размеру массивов pandas датафреймов, с ленивыми вычислениями и невидимым map-reduce.
Исходная версия Shadow, :
как минимум миддл, потоком
я менеджер и немного датасатанист.
Зачем csv потоком? Чанками же. Это же таблицы! Они 50 лет чанками обрабатываются.
Ну и любимое:
import dask.dataframe as dd
ddf = dd.read_csv(filename)