История изменений
Исправление praseodim, (текущая версия) :
Как-то не то ты говоришь, CPU как раз параллелится как с частичной, так и с полной загрузкой ядер, так что мгновенно сжирает и 8/16 потоков и 64гб памяти у меня на минике.
Параллелится Dataloader и некоторые другие вычисления. Что тоже важно. Перемножение матриц в PyTorch на CPU не параллелится. Практически или device='cuda' или в однопоток. https://pytorch.org/docs/stable/distributed.html#which-backend-to-use - как бы можно мультиCPU, но это надо отдельно заморочиться. То есть, вот есть у объектов PyTorch (тензоров) параметр device, который на практике обычно принимает значение или 'cpu' или 'cuda' (возможно с номером видеокарты). Если cpu - работает однопоток и никакого параметра типа jobs, указывающего сколько потоков использовать (применяется в других библиотеках) нет. Хочется многопоток - так просто оно не работает.
Исправление praseodim, :
Как-то не то ты говоришь, CPU как раз параллелится как с частичной, так и с полной загрузкой ядер, так что мгновенно сжирает и 8/16 потоков и 64гб памяти у меня на минике.
Параллелится Dataloader и некоторые другие вычисления. Что тоже важно. Перемножение матриц в PyTorch на CPU не параллелится. Практически или device='cuda' или в однопоток. https://pytorch.org/docs/stable/distributed.html#which-backend-to-use - как бы можно мультиCPU, но это надо отдельно заморочиться.
Исходная версия praseodim, :
Как-то не то ты говоришь, CPU как раз параллелится как с частичной, так и с полной загрузкой ядер, так что мгновенно сжирает и 8/16 потоков и 64гб памяти у меня на минике.
Параллелится Dataloader и некоторые другие вычисления. Что тоже важно. Перемножение матриц в PyTorch на CPU не параллелится. Практически или device='cuda' или в однопоток. https://pytorch.org/docs/stable/distributed.html#which-backend-to-use