LINUX.ORG.RU

Mapper, reducer на Python

 


0

0

Всем привет! Только начал разбираться в питоне, больше в приложении к Hadoop. Есть тестовое задание, на реализации кода которого я пока просто ухожу в аут, хотя задание явно простое. Если есть желающие, подскажите реализацию? (питон 2)

P.S.> какие-то баллы за задание или еще какие-то бенефиты меня не интересуют, всё только чтобы понять реализацию

Есть файл csv c записями вида Пользователь,Исполнитель,Число прослушиваний,Число пропусков:

userId,artistId,plays,skips
0,336,1,0
0,718,1,0
0,730,2,1
0,816,1,1

Вам необходимо проделать следующее:

  1. Оставьте в данных только тех пользователей, для которых сумма plays строго больше 1000. Сколько таких пользователей?

т.е. должно быть построковое считывание файла, группировка <ключ(в данном случае userid), plays> Затем подать этот промежуточный результат на второй скрипт (reducer), который по ключу userid просуммирует plays

Примеры гугляться с wordcount, но из него я не вывез переделку)

Для задачи map reduce не нужен. Все делается с помощью pandas.
Если не влезает в pandas или надо по ядрам распараллелить, есть надстройка над пандасом с map reduce - dask
А сабж imho в job.

Shadow ★★★★★
()
Последнее исправление: Shadow (всего исправлений: 1)
Ответ на: комментарий от peregrine

Да, я со студиозусов нынешних ору. Студенты бауманки ищут репетитора по С (!!!) - книжки нынче читать немодно и немолодежно.

Третий курс ВМК МГУ не владеет адресной арифметикой.

Второй курс бауманки не асилил комплексных чисел.

Этот список можно продолжать… че в заборостроительных техникумах с гордым именем академия-чего-то-там твориться лучше вообще не рассказывать.

AntonI ★★★★★
()
Ответ на: комментарий от peregrine

Я не понимаю, почему эти люди потом пррграммерами работают

Shadow ★★★★★
()
Ответ на: комментарий от AntonI

Да, я со студиозусов нынешних ору. Студенты бауманки ищут репетитора по С (!!!) - книжки нынче читать немодно и немолодежно.

По си нужен репетитор? Я понимаю там C++, сложно может быть - ехала абстракция на шаблоне и паттерном погоняла, но чем репетитор то поможет? Надо брать, читать книжку и смотреть на гитхабе как люди нормальные делают.

Третий курс ВМК МГУ не владеет адресной арифметикой.

Это замечательно, не надо с адресной арифметикой джунов выпускать. Потом такое пишется, что смотреть страшно.

Второй курс бауманки не асилил комплексных чисел.

В смысле не осилил? Там осиливать то только i=sqrt(-1) и то что решений у уравнений больше чем в школе учили (ну и элементарные арифметические действия с ними + тригонометрическое представление). Или им надо что-то более жесткое, вроде формулы Муавра? Ну а если они не осилили что-то с комплексными числами, вроде рассчёта электрических цепей или поля с математики, то это уже они физику или матан не осилили.

peregrine ★★★★★
()
Ответ на: комментарий от AntonI

Не зазнавайся, ты тоже много чего не осилил.

anonymous
()
Ответ на: комментарий от thunar

Угораздило читать там спецкурс. Для спецкурса нужны были оду и комплексные числа. - А у нас не было таких чисел! - говорит аудитория. Ок, объясняю, посмотрите еще грю хоть в вики хоть где, рассказываю еще че то, в конце пятиминутка - почти никто комплексные числа не понял.

Второе занятие, ай-яй говорю, объясняю второй раз, еще че то рассказываю, в конце пятиминутка - почти никто комплексные числа не понял.

На третьем занятии говорю - ребята, у нас будет зачет. И зачёт будет начинаться с того, что каждый сев ко мне отвечать сначал при мне сходу решает один пример на комплексные числа и одно оду. Решил - говорим дальше, не решил - пересдача.

Там такой стон по аудитории пронесся, аж сердце сжалось… После этого они зашевелились хоть как то.

AntonI ★★★★★
()
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.