История изменений

Для использования надо сильно меньше ресурсов, чем для обучения и чудес увы нет. Потому все серьёзные (чтоб state of the art получить, а не студенческую поделку благо принципиально оно не сложнее и никаких секретных техник кроме как суём больше нейронов нет) модели нынче минимум 80 гигабайт видеопамяти требуют для обучения. Вычислительные мощности тут даже не главная проблема. Именно в память всё упирается и запараллелить это очень трудно. У меня 2 года назад была возможность нагрузить парк из пары сотен пекарен с 16 гигами оперативки и видяшками от nvidia на 4 гига видеопамяти, вроде gtx660, задачками машинного обучения (такой парк легко достать и часто он есть в организациях, т.к. за пекарнями люди работают но ночью люди спят и начальство было не против чтоб по ночам этот парк занимался решением нужных задач, облака конечно дело хорошее, но там то сеть упадёт, то тарифы дурацкие, то данные такие, что не должны покидать пределов организации). Но по факту оказалось что для хадупа нужна как минимум одна машинка мощнее этих, чтоб их нагрузить, а единственный фреймворк который относительно просто было там развернуть и работать с ним называется ray и с ним тоже не всё так просто как хотелось бы (в первую очередь с маршрутеризацией пакетов когда надо делать сеть со статическими айпишниками, что не всегда в больших организациях возможно и просто).

Для использования надо сильно меньше ресурсов, чем для обучения и чудес увы нет. Потому все серьёзные (чтоб state of the art получить, а не студенческую поделку благо принципиально оно не сложнее и никаких секретных техник кроме как суём больше нейронов нет) модели нынче минимум 80 гигабайт видеопамяти требуют для обучения. Вычислительные мощности тут даже не главная проблема. Именно в память всё упирается и запараллелить это очень трудно. У меня 2 года назад была возможность нагрузить парк из пары сотен пекарен с 16 гигами оперативки и видяшками от nvidia на 4 гига видеопамяти, вроде gtx660, задачками машинного обучения (такой парк легко достать и часто он есть в организациях, т.к. за пекарнями люди работают но ночью люди спят и начальство было не против чтоб по ночам этот парк занимался решением нужных задач, облака конечно дело хорошее, но там то сеть упадёт, то тарифы дурацкие, то данные такие, что не должны покидать пределов организации). Но по факту оказалось что для хадупа нужна как минимум одна машинка мощнее этих, чтоб их нагрузить, а единственный фреймворк который относительно просто было там развернуть и работать с ним называется ray и с ним тоже не всё так просто как хотелось бы (в первую очередь с маршрутеризацией пакетов).