LINUX.ORG.RU
ФорумTalks

Амазон отказался от бота-рекрутера потому что его искусственный интеллект оказался сексистом

 , , ,


2

1

Специалисты по изучению машин Амазонки Inc обнаружили большую проблему: их новому механизму рекрутинга не понравились женщины.

Экспериментальный инструмент найма компании использовал искусственный интеллект для оценки кандидатов на работу в диапазоне от одной до пяти звезд - так же, как покупатели оценивают продукты на Amazon.

Но к 2015 году компания осознала, что ее новая система не оценивает кандидатов на должности разработчиков программного обеспечения и других технических должностей гендерно-нейтральным образом.

Это связано с тем, что компьютерные модели Amazon были обучены проверять кандидатов, наблюдая закономерности в резюме, представленном компании за 10-летний период. Большинство людей приходилось на мужчин, что отражало мужское доминирование в технологической отрасли.

Система Амазонки учила себя, что кандидаты-мужчины предпочтительнее. Он оштрафовал резюме, в который входило слово «женщины». И это понизило выпускников двух женских колледжей.

Компания в конечном итоге расформировала команду, потому что руководители потеряли надежду на проект.

https://www.reuters.com/article/us-amazon-com-jobs-automation-insight/amazon-...

☆☆☆

Он оштрафовал резюме, в который входило слово «женщины».

Это значит, что та меньшая выборка женщин в training set была существенно хуже их коллег-мужчин. Так ли виноват ИИ? Интересно, почему не «отбелили» данные, вообще выбросив упоминания о поле.

Sadler ★★★
()
Последнее исправление: Sadler (всего исправлений: 1)

Влажные мечты SJW-менеджеров амазона об тотальном diversity разбилсь об статистику, а крайними оказались разработчики бота.

Singularity ★★★★★
()
Ответ на: комментарий от Sadler

Угу. Статистика не толерантна. Выкинуть упоминание о поле было бы решением, но кривоголовость и SJW помешали, наверное.

peregrine ★★★★★
()

Надо ввести лимит, 75% женщин и 25% геев — как исправление исторической несправедливости и расплата за прежние грехи. Удачи им.

mandala ★★★★★
()
Последнее исправление: mandala (всего исправлений: 1)
Ответ на: комментарий от Sadler

выбросив упоминания о поле.

Угу, и как тогда обвинить бота в женоненавистничестве?

mandala ★★★★★
()
Ответ на: комментарий от peregrine

Статистику запретить, статистиков расформировать!

mandala ★★★★★
()

Но к 2015 году компания осознала, что ее новая система не оценивает кандидатов на должности разработчиков программного обеспечения и других технических должностей гендерно-нейтральным образом.

Так может, хехе, это объективный факт? И есть над чем задуматья?

dikiy ★★☆☆☆
()
Ответ на: комментарий от dikiy

Там в статье по ссылке собственно даже разжевано над чем стоит задуматься.

Но тут же технический форум, так что мы «толерантность статистики» будем обсуждать.

alpha ★★★★★
()

Ну логично, робот это же мужик. Надо феминизировать этот термин, иначе так и будут курощать баб эти железные дровосеки.

bread
()

А давайте за каждое криво переведенное предложение высверливать автору один зуб победитовым сверлом на 6мм...

shimon ★★★★★
()

Я правда не хотел удалять предыдущий тред, но правила есть правила. Спасибо.

leave ★★★★★
()
Ответ на: комментарий от peregrine

Мне кажется кто-то уже пытался делать слепые интервью, где показывались только технические скиллы. Закончилось тем что набрали одних мужиков, поднялся визг и пришлось срочно возвращать квоты на геев, женщин и негров.

entefeed ☆☆☆
() автор топика

Большинство людей приходилось на мужчин, что отражало мужское доминирование в технологической отрасли.

Что-то я сомневаюсь, что причина была именно в этом. Это ведь легко пофиксить было просто игнорируя пол. Да и сомневаюсь я что в резюме пишут пол.

Im_not_a_robot ★★★★★
()
Ответ на: комментарий от Singularity

здесь скоро за эти 3 буквы банить начнут

Deleted
()
Ответ на: комментарий от leave

Да-да, теперь ты с чистой совестью можешь довольно потирать ручки в ожидании прихода Shaman007, который удалит за «людоедство» тред и всех «провинившихся», включая Амазон, бота, ИИ и статистику.

entefeed ☆☆☆
() автор топика
Последнее исправление: entefeed (всего исправлений: 1)
Ответ на: комментарий от Sadler

Интересно, почему не «отбелили» данные, вообще выбросив упоминания о поле.

Я думаю не было там никакого пола. Чтобы со всей этой истерией о дискриминации писали пол в резюме? No way.

Im_not_a_robot ★★★★★
()
Ответ на: комментарий от entefeed

Проблемы с головой надо лечить. А если не лечится, то надо изолировать дебилов от общества. На работу надо набирать по скилу, а не по каким-то левым признакам. Не важно, мужик, баба, человек нетрадиционной ориентации или вообще марсианин со щупальцами, пока он хорошо делает работу.

peregrine ★★★★★
()

Следом мы откажемся от нетолерантных научных исследований, нетолерантной биологии, нетолерантного бога...

cheetah111v
()
Ответ на: комментарий от peregrine

На работу надо набирать по скилу

Хех. С этим, какбэ, никто не спорит. Ты расскажи нам, как этот скилл распознать.

lenin386 ★★★★
()
Ответ на: комментарий от lenin386

Явно не по половому признаку, предпочтениям в еде и цвету волос. Собеседование и тест это то с чего надо начинать.

peregrine ★★★★★
()
Последнее исправление: peregrine (всего исправлений: 1)
Ответ на: комментарий от praseodim

Естественный отбор всё рассудит как и всегда.

peregrine ★★★★★
()
Ответ на: комментарий от praseodim

Автор(ша) нового линуксового кока тоже против меритократии. Он там на весь свой твиттер обсирался на тему этой дискриминирующей системы.

entefeed ☆☆☆
() автор топика
Ответ на: комментарий от peregrine

Собеседование и тест это то с чего надо начинать.

Ну, допустим, тест не покажет ничего, кроме умения правильно пройти именно этот тест. А собеседобвание на предмет чего, позвольте поинтересоватьмя.

lenin386 ★★★★
()
Последнее исправление: lenin386 (всего исправлений: 1)
Ответ на: комментарий от Sadler

Интересно, почему не «отбелили» данные, вообще выбросив упоминания о поле.

Они так и сделали. Но хитрый ИИ обучился определять пол (на самом деле нет).

It penalized resumes that included the word “women’s,” as in “women’s chess club captain.”

Пол он не определял, просто определил, что не стоит брать кандидатов со словом women’s в резюме. ИИ не может быть шовинистом, оно реально не понимает смысл слов и кто такие мужчины и женщины.

Я конечно не верю, что именно из-за этого свернули программу, скорее всего она работала очень плохо, а эта история просто красивая байка.

goingUp ★★★★★
()
Последнее исправление: goingUp (всего исправлений: 1)

О ужас. Надо срочно всё перевернуть наоборот. Чтоб женщины были предпочтительнее. Вне зависимости от их профессиональных достоинств.

ass ★★★★
()
Ответ на: комментарий от goingUp

скорее всего она работала очень плохо

то есть не считая «penalized resumes that included the word women’s» ?

это-то было хорошо?

alpha ★★★★★
()
Ответ на: комментарий от goingUp

Они так и сделали.

просто определил, что не стоит брать кандидатов со словом women

Которого там уже не было, т.к. они выбросили все упоминания о поле. Экстрасенс, видать.

Sadler ★★★
()
Ответ на: комментарий от alpha

Я не знаю, может было много низкокачественных резюме от женщин, может среднестатистический кандидат от мужчин был уровнем повыше, чем от женщин, ни для кого не секрет, что женщины меньше интересуются техникой. В любом случае ИИ это делал не из шовинистических побуждений :)

goingUp ★★★★★
()
Ответ на: комментарий от goingUp

Новый анекдот:

- Hiring AI Амазона понизил score женщинам, евреям и велосипедистам

- А велосипедистам почему?

alpha ★★★★★
()
Ответ на: комментарий от Sadler

Блин

It penalized resumes that included the word “women’s,” as in “women’s chess club captain.”
Оно начисляло штраф резюме, которые включали слово «женский», например «капитан женского клуба по шахматам».

goingUp ★★★★★
()

И да, СЛАВА РОБОТАМ, УВОЛИТЬ ВСЕХ ЖЕНЩИН

goingUp ★★★★★
()
Ответ на: комментарий от goingUp

Не утруждайся, я прекрасно понимаю английский. Резюме не могло содержать «women's», если входные данные уже обработаны так, чтобы исключить пол.

Sadler ★★★
()
Ответ на: комментарий от alpha

Если кандидат кричит на каждом углу что он (кандидат) является woman и ходил на women studies в women college то это уже звоночек что с головой не все в порядке, и человек в первую очередь интересуется не технологиями, а политикой и социальными якобы проблемами.

Но у вас теперь даже роботы сексисты. Что угодно, лишь бы не работать над своими проблемами и свалить вину на кого-нибудь другого. Бедные роботы.

entefeed ☆☆☆
() автор топика
Ответ на: комментарий от Sadler

В оригинале кстати так и написано

Amazon edited the programs to make them neutral to these particular terms. But that was no guarantee that the machines would not devise other ways of sorting candidates that could prove discriminatory, the people said.

Что делает историю еще более нелогичной

goingUp ★★★★★
()
Ответ на: комментарий от goingUp

Как раз наоборот, это подтверждает тезис о том, что кандидаты-женщины были просто слабее, а набрать именно их очень хотелось. Потому всё свалили на плохой алгоритм.

Sadler ★★★
()
Ответ на: комментарий от Sadler

https://newsland.com/community/5434/content/v-avstralii-levye-dobilis-vvedeni...
В Австралии левые добились введения «слепых» собеседований при приёме на работу: в анкетах не указывается раса, национальность и пол соискателя, а потому оцениваются только его профессиональные качества. Теперь другие левые «ставят на паузу» подобную практику и требуют вернуть гендерные квоты: оказалось что при максимально справедливом и неангажированном формате собеседований у женщин-соискателей в несколько раз меньше шансов получить приличную должность.

Satou ★★★★
()
Ответ на: комментарий от entefeed

Я год назад (прямо вот почти ровно, без двух дней) побывала на первом докладе по Machine Learning и там впервые прослушала вводную на тему как работают Neural Networks.

По итогам написала себе в бложике пост на тему того, что не надо бояться, что AI восстанет против человека. Надо бояться того, что невежественные люди будут пихать AI куда попало не понимая сути этого инструмента и основывать свои решения на базе «AI так сказал».

Этот тред прямо таки отличная иллюстрация.

alpha ★★★★★
()

Забыдлокодить гендерную квоту и делов то. Просто нужно вручить вожжи кодерам-феминисткам.

Valeg ★★★
()
Ответ на: комментарий от alpha

AI тебя угнетает? А слепые интервью без гендеров, которые как оказалось только снизили процент нанятых женщин тебя тоже угнетают?

entefeed ☆☆☆
() автор топика
Ответ на: комментарий от goingUp

Ну, собственно

The group created 500 computer models focused on specific job functions and locations. They taught each to recognize some 50,000 terms that showed up on past candidates’ resumes. The algorithms learned to assign little significance to skills that were common across IT applicants, such as the ability to write various computer codes, the people said.

Instead, the technology favored candidates who described themselves using verbs more commonly found on male engineers’ resumes, such as “executed” and “captured,” one person said.

Gender bias was not the only issue. Problems with the data that underpinned the models’ judgments meant that unqualified candidates were often recommended for all manner of jobs, the people said. With the technology returning results almost at random, Amazon shut down the project, they said.

goingUp ★★★★★
()
Последнее исправление: goingUp (всего исправлений: 1)
Ответ на: комментарий от entefeed

Думаешь, шома только по-русски читает?

leave ★★★★★
()
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.