Опрос: что бы такое запилить, чтобы там было concurrency

любое кластерное приложение, например обертка над jdbc которая позволяет совокупить пару тройку серверов бд и хоть както обеспечить консистентность в итоге

Почини karaf. Там всё очень плохо и именно с мультитредингом. Как мне говорили люди, контрибьютившие в него: даже водка не помогает понять как это говно работает.

Цель: разобраться как в Java работает concurrency.

Зачем? Можно же взять Clojure, например, и избавится сразу от кучи проблем :)

а что там конкретно плохо? Я им сам не пользовался, только читал. Вроде, оно типа расширенного OSGi контейнера. Значит треды там работают тупо как и во всей остальной джаве: ты сам их запускаешь, управляешь, убиваешь тредпулы. И когда ты накосячил, OSGi никак не поможет, потому что это не его зона ответственности. Нет?

перепиши кассандру

проблем в многопоточности Java

А что, помимо классических проблем многопоточности в Java есть ещё свои специфические? Энтерпрайз-класса?

Да и вообще, по-моему, проблемы с многопоточностью - от кривых рук программиста приложения. Следуйте общеизвестным правилам, которые расписаны везде и на все лады, и проблем не будет. Поэтому, пока вы, автор, не наг-нокодите, проблем с многопоточностью и не будет.

Согласен. Проблем особо не наблюдал. Есть зато некоторые недостатки. Например, тред в яве нельзя просто остановить (deprecated). Его можно только вежливо попросить остановиться, что он может захотеть сделать совсем не сразу. Еще все эти try-catch на любой чих с тредом, даже спать и ждать просто так нельзя, ибо тред в любой момент может проснуться, потянуться и сделать много ненужной работы. Еще volatile в яве непойми как работает. Я даже не уверен, работает ли вообще.

ежа?

ещё раз?! :))

Касательно целеполагания

Все это нужно не для высокоуровневых прикладных задач, а для изучения внутренностей работы JVM. Зачем? Хочу. Есть голубая мечта - перестать заниматься всякой высокоуровневой фигней, и спокойно писать тулзы для программистов, желательно какую-нибудь VM. JVM лучшее что сейчас есть, поэтому логично ковырять её. А многопоточность - это интересная предметная область, которая имеет не только теоретический смысл, но и в принципе может приносить деньги

Что касается «нет проблем»...

вот просто открываешь «what's new in jdk 8», а там сразу:

• Classes and interfaces have been added to the java.util.concurrent package.
• Methods have been added to the java.util.concurrent.ConcurrentHashMap class to support aggregate operations based on the newly added streams facility and lambda expressions.
• Classes have been added to the java.util.concurrent.atomic package to support scalable updatable variables.
• Methods have been added to the java.util.concurrent.ForkJoinPool class to support a common pool.
• The java.util.concurrent.locks.StampedLock class has been added to provide a capability-based lock with three modes for controlling read/write access.

Ну как, нет проблем? А ведь это то, что прямо на поверхности лежит. А там внутри плавает еще множество интересностей. Сейчас выходит девятка, там набралось еще больше ништяков.

Лежащий на поверхности метод изучения - просто читать код openjdk и пытаться его понять. Я начинал много раз, как курильщик бросает, заводил в /development вопросы «как изучать openjdk», и в конце концов пришел к выводу что вне контекста какой-то предметной задачи изучение такого объема информации недоступно вообще никому. Даже если поставить себе задачу «за два года составить техническую карту», то за это время элементарно очень многое поменяется. Плюс без комментариев автора там зачастую не понятно вообще ничего.

Поэтому сейчас нужно выбрать какую-то конкретную область, и писать код, много кода. Отсюда и вопрос.

А то что можно притащить Скалу, Акку и Кложур и, используя «общепризнанные правила, которые расписаны везде» продолжать писать свои круды с веб-интерфейсом - это рассуждение конечно здравое, но как бы так сказать... леденящее душу унынием. Круды можно и на работе за деньги пописать, нафиг-нафиг...

Насколько понимаю, при написании краулеров для интернета много где нужна многопоточность.

Еще volatile в яве непойми как работает.

что конкретно непонятно в том, как работает volatile?

так это не на джаве же, а ты сделай на джаве лучше

Напиши локальный кеш, который берет стейт из бд и умеет уведомлять другие интстансы кеша о новом значении и перезапрашивать из бд, если апдейт просрался.

Ну так может, вам лучше писать код _в_ JDK, а не _под_ него? Аналогично, если хочется заниматься ядром Linux, то код ядра/драйверов писать и надо, а написание программ для Linux тут пользы мало будет приносить.

Вот вы привели список свежих доработок JDK, вот станьте автором новых, востребованных, но ещё не реализованных фич. Вроде есть опенсорсные реализации JDK, вот туда комитьте.

Напиши миниатюрный HTTP/2 сервер :-)

спокойно писать тулзы для программистов, желательно какую-нибудь VM

Нахера программистам какая-то там VM?

Стиви, а это какой по счету проект, который ты собираешься предпринять?

Накуа? Нет чтобы либы полезные либы пилить, там веб-фреймворк нормальный сделать, а то одни ущербности от хипсетров типа всяких ангуларов два ноль. Или опять же для доступа к БД либо всякие монстры в виде hibernate, либо поделия от хипстеров типа jooq и недоделки типа sql2o.

А на своей коробке под столом все равно не найдешь пограничных случаев. А хочешь найти пограничные случаи устаривайся в гугл, фейсбук, порнохаб, яндекс, вконтактик, одноклассники и т.д.

Но и там тебе не сразу дадут залезть в кишки. Так что еще как вариант сделай свой мировой стартап с блек джеком и шлюхами.

Можешь еще попробовать открыть гитхаб всяких hadoop-ов и начать потихоньку править баги. Через какое-то время может быстрее получишь доступ к кишкам какого-нибудь твитора, яху и прочих умирающих стартапчиков.

мессадж-брокер напиши, желательно горизонтально масштабируемый.

не обязательно реализующий AMQP, или копирующий API Kafka, но что-нибудь наподобие.

Также варианты: свой веб-сервер, свой MVC фреймворк, итд

Также можно попробовать написать реализацию TPL(C#-овые Task итд)

Посмотри Jenkins, оно монолитное, с вебом (свой фреймворк) с потоками (потому что один процесс и job-ы пускает и веб обрабатывает) и синхронизацией. Плагинов - туча. Багов - туча, правь не хочу.

Довольно примитивная на мой взгляд. Тред пул из воркеров, тащащих данные и запись напарсенного либо в db либо еще куда.

Значит треды там работают тупо как и во всей остальной джаве: ты сам их запускаешь, управляешь, убиваешь тредпулы.

Там поломаный в хлам механизм контроля жизненного цикла сервисов, особенно разрешение зависимостей и определение порядка их старта и рестарта. Уже несколько лет не могут починить.

А я надеюсь, ты читал

https://www.amazon.com/Java-Concurrency-Practice-Brian-Goetz/dp/0321349601

Позадрачивать низкоуровневый перфоманс и байтоёбство.

Тебе найти java-тред где ты отзывался о байтодро**рах, мягко говоря, не лестно? Отчего вдруг, ты решил свое мнение изменить?

проблемы с многопоточностью - от кривых рук программиста приложения

Золотые слова, золотая голова... золотые часы!

Ты там недавно ассемблер в яве хотел.

Держи: http://serce.me/posts/01-06-2016-wild-panama/

Проблема в том, что в java web мире concurrency почти не встречается,

ппф. легка! начти оптимизировать свои веб-приложения по потреблению памяти.

Была у меня заходная задача на senior engineer - перемножить две матрицы в n потоков. Никто так и не сделал из кандидатов.

Ну и читать спеку до понимания, что безопасный многопоточный код писать просто, если не стараться выжимать максимум производительности.

Напиши многопоточный парсер JSON.

Можешь попробовать реализовать различные коллекции для многопоточного использования (map, set, producer-consumer и т.д.) При этом по максимуму использовать lock-free алгоритмы.

Судя по всему, тебя к собеседованиям допускать нельзя.

Согласен. Проблем особо не наблюдал. Есть зато некоторые недостатки. Например, тред в яве нельзя просто остановить (deprecated). Его можно только вежливо попросить остановиться, что он может захотеть сделать совсем не сразу.

Что значит нельзя? Можно. Да, deprecated, но метод есть и никуда не денется.

Еще все эти try-catch на любой чих с тредом, даже спать и ждать просто так нельзя, ибо тред в любой момент может проснуться, потянуться и сделать много ненужной работы.

В любой момент не может, только если ты ему самостоятельно сделаешь interrupt из другого треда.

Еще volatile в яве непойми как работает. Я даже не уверен, работает ли вообще.

Не уверен — разберись. Работает как положено.

Вот вы привели список свежих доработок JDK, вот станьте автором новых, востребованных, но ещё не реализованных фич. Вроде есть опенсорсные реализации JDK, вот туда комитьте.

Потоки не доработаешь без ныряния в JVM, а явовский JVM на плюсцах, а плюсцы он хейтит. Замкнутый круг получается.

Можешь рассказать это тем людям, которые меня к ним допускают. А когда на вопрос, «что такое Java Memory Model?» у меня переспрашивает кандидат «Жава мэмори модуль?» или рассказывают про GC с поколениями, то это супер.

В любом случае - если переварить JMM на уровне «уметь рассказать про неё в паре десятков фраз» и начать видеть в коде то, что там должно быть, но по факту нет, то проблем с многопоточностью не будет.

Это классический вопрос, он решается копипастой из гугла

В любой момент не может

Notify в тред может придти и сам, так называемое ложное пробуждение (spurious wakeup), но использовать wait/notify в 2016 году нет причин. А вот в interrupted вывалиться без причины не должен, да.

Почини этот баг, например. И вообще, найди проект, который тебе интересен и чини незакрытые баги, связанные с многопоточностью.

вам не угодить.