Minority Report 2: New Orlean

According to Palantir’s own documentation, Asher and his colleagues ran social network analyses of every victim of a fatal or non-fatal shooting in New Orleans from 2011 through 2013. Through this technique, which Asher dubbed “The NOLA Model,” the city devised a list of roughly 3,900 people who were at the highest risk of being involved in gun violence because of their connection to a previous shooter or victim. “We can identify 30-40% of shooting victims,” Asher claimed at Palantir’s 2014 internal conference.

Theoretically, Asher’s approach is substantially influenced by the research of Andrew Papachristos, a Yale professor who tracked violence as if it were a communicable disease spreading through networks of association. However, since his work was cited as the academic underpinning for crime-forecasting models employed by PredPol and the Chicago Police Department, Papachristos has sought to distance his research from those methods.

Обещают ещё один сиквел, на этот раз действие будет происходить в Европе:

In 2016, the Danish national police and intelligence services signed an 84-month contract with Palantir — reported in the Danish press to have been worth between $14.8 and $41.4 million — for a predictive technology package meant to identify potential terrorists. According to procurement documents, the program uses law enforcement data like license plate reader records, CCTV video, and police reports to make predictions about individuals’ likelihood to commit terrorism. Denmark’s national legislature had to pass an exemption to the European Union’s data protection regulations in order to purchase Palantir’s software.

И ещё один сиквел на Ближнем Востоке:

Last year, the liberal Israeli newspaper Haaretz reported that Israel’s security services used analytics systems that scraped social media and other data to predict potential “lone-wolf” attackers from Palestinian communities in the West Bank, and that Palantir was one of only two technology companies to provide predictive intelligence systems to Israeli security organizations.

большинство предсказанных участников банд с определённым этническим составом внезапно тоже имели определённую этническую принадлежность

Что тут внезапного-то. Статистические алгоритмы по определению работают на усиление и автоматизацию стереотипов. Это принцип их действия. То что не подходит под стереотип отфильтровывается.

to make predictions about individuals’ likelihood to commit terrorism

Вот это вот реально беда с современным хайпом вокруг machine learning.

Статистические методы можно применять к толпе, но абсолютно неверно применять к конкретным людям. То есть в том что в Новом Орлеане 80 процентов негров состоят в банде - это будет корректный вывод, а то что вот этот конкретный человек «бандит потому что негр и ИИ так сказал» - это обывательская трактовка, которой подменяет необходимость доказательства и защиты в суде и т.п. Нельзя быть с убийцей вероятностью 80%.

И это касается далеко не только криминала и терроризма. То же самое с наймом на работу например. Грубо говоря статистика может подсказать тебе сколько мужских и женских туалетов надо делать в it-шном офисе, или сколько надо детских комнат или какой процент вегетарианцев будет в твоей столовой. Но она не может предсказать тебе правильное решение на тему найма одного конкретного человека, на основе его возраста, пола, количества у него детей и предпочтений в еде. А наверняка уже тоже есть «патентованные алгоритмы» на эту тему.

обывательская трактовка, которой подменяет необходимость доказательства и защиты в суде

А этого никто и не делал. Они вообще в суды эту штуку не показывали.
По результатам работы алгоритма (связь с известными членами банд, не закончил школу, нигде не работает) они отобрали несколько сотен человек, вызвали их в участки, провели с ними профилактические беседы. Несколько десятков из них потом перестреляли дружественные банды, что говорит в пользу действенности алгоритма.

вызвали их в участки, провели с ними профилактические беседы

Это в принципе разумное применение. Оно собственно и раньше было. Работа участковых на местах называется. Просто теперь участковым надо учиться пользоваться соцсетями.

Проблема в том что алгоритм «проприетарный», ему нужно монетизироваться, четкого обозначения применимости он не имеет, а образование в обществе в целом недостаточно чтобы понимать подобные тонкости.

На волне хайпа такие вещи утекут и расползутся.

Проблема в том что когда говорят: человека признали подозрительным потому что он погуглил по словам «глицерин» и «капитал» - то тут все как бы согласны что проверить-то его можно но на самом деле смешно.

А когда говоришь «система Палантир основанная на новейших разработках в области machine learning и искусственного интеллекта определила что на 85% этот человек является террористом» - тут ты задумаешься.

Надо не Палантир называть, а «бабка на лавочке». Гораздо ближе к сути было бы.

И в принципе это полезный источник информации, просто применять правильно надо.

мультец один есть, Psycho-Pass. Вот там как раз про такое. Посмотрела на тебя софтинка из камеры и сказала ментам что мол братишка мутный, нервный, его придержать лучше. И все, кукуем на зоне для таких же нервных

Ну и далее по тексту «протестировать на городе с самым большим уровнем преступности». Там выйти на улицу ткни в любого и можно вести профилактические беседу. Что тестировали-то? Что если полицию заставить бегать по адресам и работать под присмотром проверяющих, то преступность снижается?

Каша из топора, как она есть.

Каша из топора, как она есть.

AI из топора

Там выйти на улицу ткни в любого и можно вести профилактические беседу.

Тот случай, когда слепое рандомизированное тестирование должно бы показать преимущество алгоритма над случайной выборкой из базы. Если оно проводилось.

На самом деле даже в полностью криминальном городе, типа Казани лет двадцать назад, доля криминального населения не больше 5%, потом уже начинается установление порядка новых хозяев.

Статистические алгоритмы по определению работают на усиление и автоматизацию стереотипов

Однако, выявленная алгоритмом закономерность может оказаться очень-очень странной. Когда еще были «Спектрумы», алгоритм сжатия текстов решил, что очень часто повторяется сочетание символов «e r», живому программиоту это бы в голову не пришло.

На волне хайпа такие вещи утекут и расползутся

Анонсированные сиквелы в Дании и Израиле как бы намекают, что уже.

Ну и опять же, мы тут рассуждаем, что перерыть десяток разных баз данных, вроде, несложно. Обработать какие-то данные из твитторов/фейсбуков тоже допустим можно. Ну и мониторить время от времени камеры, чтоб понимать ареал наших героев тоже реализуемо.

А на деле, нам нужен с десяток специалистов, которые будут заниматься рутиной, бухгалтер, уборщица, секретарь, отряд юристов. Аренда офиса, оплата счетов, мебель, техника, сервера, командировочные, гостиницы, конференции.

Уже вроде и не пожалуешься на трату пары миллионов в год в никуда.

Закономерности типа глобального потепления, коррелирующего с количеством пиратов.

Не, на самом деле находить закономерности - это ок. Проблема в том что machine learning в современной трактовке все время забывает об необходимости проверять и обосновывать эти закономерности.

Математическую строгость убрали, а веру в предсказательную силу оставили. Так получается шаманизм.

---

Я как-то слушала доклад про «волны-убийцы» от океанографов. Суть такова: в относительно спокойном море иногда может появиться волна огромной высоты. Причины неясны, но есть фото и киносъемка раскалывающихся кораблей. Ну и есть идея что оно происходит само по себе, а не из-за внешних условий (то есть не цунами, или шторм на другой стороне земли, а просто так). Ребята придумали модель и написали программу для симуляции волн на море. Какие-то там классические уравнения гидродинамики накодили и т.п. И вот если они запускают симуляцию на неделю, то иногда она там случается странный эффект и резкий пик на графике, который эта симуляция рисует. И они говорят «вот, мы смогли воспроизвести эту волну и доказали она существует».

Но они не волну воспроизвели. Они запустили программу на неделю и в рандомный момент на графике нарисовалось рандомное значение. Объяснения почему в именно этот момент у них нет. И почему например это не garbage collection отработал, или не прочитали память не с того указателя, или не намешали в белый шум случайно какой-то выброс - этого знания нет.

И не то что это все бесполезно и неправильно и только формальная алгебра спасет мир. Но надо же задаваться этими вопросами. Надо учиться правильно ставить верифицируемые эксперименты. Это уже не математика, а прикладная наука, у неё другие методы анализа результатов. И просто всё закодить и положить на вход суперкомпьютеру - это не они.

Закономерности типа глобального потепления, коррелирующего с количеством пиратов.

Интересная мысль, кстати. Если корреляция есть, то может быть общая причина. Например, пиратство становится экономически невыгодно с развитием механизации на универсальных тепловых двигателях, тех же паровых машинах. Но система инерционна, и инерция у среднемировой температуры и пиратских банд одинакова. Или можно как-то скоррелировать выбросы CO2 и активность пиратов с общемировым ВВП...

Никто не пытался развить исследование? Или в оригинальной работе делали что-то непотребное с доверительными интервалами?

И вот если они запускают симуляцию на неделю, то иногда она там случается странный эффект и резкий пик на графике, который эта симуляция рисует. И они говорят «вот, мы смогли воспроизвести эту волну и доказали она существует».

Но они не волну воспроизвели. Они запустили программу на неделю и в рандомный момент на графике нарисовалось рандомное значение. Объяснения почему в именно этот момент у них нет. И почему например это не garbage collection отработал, или не прочитали память не с того указателя, или не намешали в белый шум случайно какой-то выброс - этого знания нет.

Они могут повторно запустить симуляцию с теми же стартовыми условиями и получить ту же волну в том же месте? Каким образом осуществлялось приёмочное тестирование софта? Авторы работы отвечали на эти 2 вопроса, или ты сделал вывод из общих соображений?

Шаманизм так шаманизм. Если полицейский дрон обратил внимание, что нигра садится на место водителя всегда через правую дверь, то это не его дело определять, почему так, он просто накапливает данные, потом эксперты разберутся в глюках некоренного населения. Полиция не работает по решению уравнения, она работает вроде ковровой бомбардировки, а судья уже установит наличие вины. Это хороший, годный способ, потому что он работает хотя бы как-нибудь и легко автоматизируется, а шероховатости можно поправить подгонкой в процессе.

А ты правда думаешь, что алгоритм Палантира настолько примитивен, как ты описываешь?

предиктивные алгоритмы технологическим вуду

А разве не так? Весь этот современный deep/machine/whatever learning и нейросеточки - это именно вуду и есть. Или более точно: чёрный ящик, который непойми как работает.

Только недавно начались подвижки в сторону того, чтобы подобные алгоритмы могли хотя бы выдавать решения (а не только конечный результат) с каким-то обоснованием.

На волне хайпа такие вещи утекут и расползутся

Анонсированные сиквелы в Дании и Израиле как бы намекают, что уже.

Утечка - это когда IT-отделы банд тоже начнут это использовать. А пока - Палантир осваивает новые рынки.

Ну, я скорее распространение технологии имел ввиду. В Израиле вон уже две конторы участвовали в тендере и непонятно кто победил.

Спрос есть, предложения подтягиваются.

иногда может появиться волна огромной высоты
garbage collection отработал

у Всевышнего

Если корреляция есть, то может быть общая причина

Если у тебя достаточно плохое приближение, все распределения нормальны, все зависимости линейны, а все растущие показатели коррелируют с точностью до коэффициента.

И если например есть глобальный тренд роста населения, то, плюс-минус погрешность, на него большинство показателей будет завязано.

Если так работает полиция - это одно. Если так работает судья - то совсем другое. Если учесть что судья (суд присяжных) не имеет квалификация для отличения детектора лжи от коробки из под обуви, то вопрос на чем он основывает свои решения.

И беда в том что шагнуть от анализа «ковровых» предложений до принятия «ковровых» решений слишком легко. Надо просто чуточку полениться думать.

И не то что это все бесполезно и неправильно и только формальная алгебра спасет мир.

То.

Это уже не математика, а прикладная наука

– Г-голубчики, – сказал Фёдор Симеонович озадаченно, разобравшись в почерках. – Это же п-проблема Бен Б-бецалеля. К-калиостро же доказал, что она н-не имеет р-решения.
– Мы сами знаем, что она не имеет решения, – сказал Хунта, немедленно ощетиниваясь. – Мы хотим знать, как её решать.
– К-как-то ты странно рассуждаешь, К-кристо… К-как же искать решение, к-когда его нет? Б-бессмыслица какая-то…
– Извини, Теодор, но это ты очень странно рассуждаешь. Бессмыслица – искать решение, если оно и так есть. Речь идёт о том, как поступать с задачей, которая решения не имеет. Это глубоко принципиальный вопрос, который, как я вижу, тебе, прикладнику, к сожалению, не доступен. По-моему, я напрасно начал с тобой беседовать на эту тему.

Если у тебя достаточно плохое приближение, все распределения нормальны, все зависимости линейны, а все растущие показатели коррелируют с точностью до коэффициента.

Об этом и спрашивал. Есть где-нибудь разбор того исследования про пиратов?

P.S. И мне интереснее про волны.

нашлось немножко https://habrahabr.ru/post/236503/

Про волны, там в докладе не было ни слова про анализ результатов. Я уже сейчас могу наврать в деталях, но мне запомнилось что «мы увидели пик на графике и ура - мы все доказали» это был его заключительный аккорд.

Возможно они что-то проверяли, а я просто не спросила дополнительных вопросов.

Пока американцы по прежнему пилят гос бюджеты и идут на хайпе, в китае все серьезно.

И что же происходит в Китае?

в китае все серьезно

Это ты про императора Винни и великую чистку Weibo что ли?

http://carnegie.ru/commentary/75492

Подход так подход, а не парсинг социалочек. И биг дата как бигдату.

Алсо, я там выше писал, что это не похоже на распил. Не те деньги, не те сроки.
Может и малоэффективно (а может и нет, 80% статьи — вода и домыслы), но какая-то работа и исследования были сделаны, патент даже оформили.

Ну лично я считаю что прикладная наука имеет право на жизнь, просто к неё надо относится соответственно. Нельзя использовать бренд математики для продажи алхимических эликсиров.

А с компами и алгоритмами получается что половина слушателей думают что раз тут как в математике нет вещественных объектов для работы, то оно автоматически наследует математическую строгость.

Вообще если люди о математике в школе выучили три факта: там непонятно, там о каких-то абстрактных вещах, и тому надо верить, потому что оно не ошибается, то они теперь в полном соотвествии с идеей искуственного интеллекта примеряют этот натренированный паттерн и классифицируют информацию как доверенную, если она сопровождается цифрами. А то, что цифры в реальной жизни вычисляются реальными людьми из данных предоставленных другими реальными людьми и потом интерпретируются опять же людьми - это уже как бы мелочи.

Ну и Азимов в Машина-Победитель всё уже написал.

Парсинг социалочек у них тоже на уровне: https://www.theverge.com/2018/2/27/17059916/china-censors-social-media-respon...

Штат полицейских вырос значительно. Например, с 2003 по 2008 год в регионе было принято на работу 5800 полицейских. С 2009 по 2016 год было открыто уже 40 тысяч вакансий. В одном лишь 2016 году было принято на работу 90 тысяч новых полицейских.

Какая-то странная автоматизация. Обычно результатом становится сокращение персонала, а не его рост в 20 раз.

https://habrahabr.ru/post/236503/

Опять Стьюдент, спасибо. А для пиратов корреляцию строили по 7 точкам.

Штат полицейских вырос значительно. Например, с 2003 по 2008 год в регионе было принято на работу 5800 полицейских. С 2009 по 2016 год было открыто уже 40 тысяч вакансий. В одном лишь 2016 году было принято на работу 90 тысяч новых полицейских.

Какая-то странная автоматизация. Обычно результатом становится сокращение персонала, а не его рост в 20 раз.

Если увеличили контролируемую полицией территорию более чем в 20 раз, то оправдано.

Если это не рекламные страшилки (по цифрам выходит именно так), прекрасные новости. Китаекапец не за горами.

Если увеличили контролируемую полицией территорию более чем в 20 раз

Увеличили плотность полиции на имеющейся территории.

раз тут как в математике нет вещественных объектов для работы, то оно автоматически наследует математическую строгость.

Тут скорее миф о том, что компьютер это «умная машина», которая «умеет думать». Вот только «умная» она пока потенциально, а кинетически — картотека в шкафу с ящичками, только листается и ищется быстро. Да ещё фильтров из нейросетей завезли, совсем чудесато выглядит.

Мне нравится количество камер и системы аналитики, которые должны это все обрабатывать. На одном этом можно такие цоды строить - закачаешься.

Какая-то странная автоматизация. Обычно результатом становится сокращение персонала, а не его рост в 20 раз.

Это не автоматизация. Цель - не экономия, цель - контроль.

Этот вопрос в любом случае политический и искать там что-то рациональное сложно.
Тут хвостострел прав, очевидный вывод из описания этой фигни — в Уйгурийской Народной Республике неспокойно, правящие китайцы от этого не в восторге и фактически скатились в полицейское государство.

Увеличили плотность полиции на имеющейся территории.

Которую они до того реально не контролировали.

Которую они до того реально не контролировали.

В статье этого не сказано. В любом случае, разделить профит между камерами и плотностью полиции не представляется возможным.

не контролировали

А вот и результаты контроля:

за пять лет пребывания Чэнь Цюаньго на посту в Тибете не было ни одного случая массового протеста, произошло лишь восемь актов самосожжения

Речь не об охране правопорядка, а о политическом насилии.

В статье этого не сказано.

Сказано, что грабили даже на центральных улицах столицы. Не говорится, во сколько раз увеличилась безопасная территория.

В любом случае, разделить профит между камерами и плотностью полиции не представляется возможным.

Имхо, с камерами полицейским тяжелее бездельничать и нарушать закон. Легче контролировать увеличенный штат.