Памяти великого генетика Т.Д.Лысенко

я по моему более чем ясно высказал, в чем причина всех этих фейлов. могу повторить --- использование проверки матгипотезы как средства скрининга редких «публикабельных» результатов экспериментов в условиях низкой мощности теста + явное манипулирование параметрическими тестами в случае «недостаточно достоверных результатов».

вторая ссылка вполне отражает мою позицию.

я по моему более чем ясно высказал, в чем причина всех этих фейлов. могу повторить --- использование проверки матгипотезы как средства скрининга редких «публикабельных» результатов экспериментов в условиях низкой мощности теста + явное манипулирование параметрическими тестами в случае «недостаточно достоверных результатов».

Почему-то авторы оригинальной статьи с вами не согласны. Указанные вами ошибки гораздо более распространены в реальной жизни, но делают их, в основном, дилетанты и мошенники.

Кстати, вы сейчас практически цитируете нашего шефа. ☺ Он всегда бесится, когда видит в статьях такие «доказательства по Стьюденту». Говорит, что его используют либо от глупости, либо от бедности (на хорошие данные).

Вот, psv1967 привёл статью об остром недостатке независимых проверок в приличных местах, где люди думают о науке.

Это не приличные места, а шарашкины конторы, результатам которых не стоит доверять ни при каких условиях. Как-то так. Без правды во всём ценность исследования меньше ценности использованной туалетной бумаги.

Что гораздо хуже, это стоит денег, которых на это не дают.

А кому сейчас легко? Мошенничеством люди тоже занимаются потому, что по другому им люди денег не дают.

Это не приличные места, а шарашкины конторы, результатам которых не стоит доверять ни при каких условиях.

Авторы оригинальной статьи явно утверждают обратное. Да и вообще, я бы поостерёгся разбрасываться такими заявлениями о людях, с работами которых вы незнакомы.

Без правды во всём ценность исследования меньше ценности использованной туалетной бумаги.

These investigators were all competent, well-meaning scientists who truly wanted to make advances in cancer research.

Одного желания всем сделать хорошо как бы мало. Если результаты не воспроизводятся, то грош цена этим результатам.

Одного желания всем сделать хорошо как бы мало.

Квалификация прилагается.

Если результаты не воспроизводятся, то грош цена этим результатам.

Проблема именно в том, что они были получены абсолютно честно и в полном соответствии с принятыми нормами проведения исследований в этой области. Разбрасываясь пустыми обвинениями в мошенничестве и халатности, ситуацию не только не исправить, но и усугубить можно.

Это значит, что исследования и нормы в этой области делаются так, что слабо отличаются от мошенничества. Как бы это не звучало, но это так. Это позор и о нём будут долго помнить — это причём лучший из выходов, так как забыть и простить — это поставить себя на одну доску с мошенниками.

У физиков тоже есть весьма некрасивые истории с постановкой эксперимента (см. например измерение массы электрона), но эти детские болезни необходимо пережить и искоренить калёным железом. Причём сами исследователи, которые допускали подобного рода ошибку, обязаны выжигать подобное в первых рядах.

Это значит, что исследования и нормы в этой области делаются так, что слабо отличаются от мошенничества.

Это значит, что принятые нормы перестали быть достаточными, и требуют пересмотра.

Это позор и о нём будет долго помнить — это причём лучший из выходов.

Лично меня во всей этой истории больше всего потрясло не то, что результаты не воспроизвелись, а то, что сотни людей делали работу отталкиваясь от них, и НИКТО не удосужился их проверить. Или удосужился, но промолчал. Вот это — действительно звездец.

Ваш шеф знает толк в методологии, слушайтесь его. Плохому не научит. :)

Я знал к кому шёл. ☺

Это значит, что принятые нормы перестали быть достаточными, и требуют пересмотра.

Это слабая отговорка. На самом деле показывается отсутствие достаточной квалификации у тех, кто эти нормы вводил или принимал.

Или удосужился, но промолчал. Вот это — действительно звездец.

Имеенно поэтому подобное поведение слабо отличается от научной импотенции. Толка в подобных исследованиях нет.

На самом деле показывается отсутствие достаточной квалификации у тех, кто эти нормы вводил или принимал.

На самом деле, нет.

Как же нет, если вместо надёжных результатов наружу фуфло поставляется? А то, что фуфлопоставшики не хотели фуфло поставлять ситуацию с фуфлом в результатах не меняет. То же фуфло можно было бы получить гораздо дешевле, просто подкидывая монетку. Как то так.

Как же нет, если вместо надёжных результатов наружу фуфло поставляется?

Когда эти нормы вырабатывались, они были достаточными. Прошло время, методы, объекты и подходы изменились, и они перестали такими быть. Ошибка исследователей в том, что они проворонили этот момент.

Ошибка это эвфемизм такой для имитации научной деятельности? Совершенно всё равно по какой причине вместо полезных данных пошли бесполезные. Если научной карьере этих кадров не будет сделано харакири, то подобные ситуации с подлогом результатов будут повторяться всё чаще и чаще.

Серьёзно, хватить брызгать слюной. Пользы от этого ноль.

Как бы хватит с пеной у рта защищать фальсификаторов. Польза от этого даже не ноль, а отрицательная. Как-то так. Если тон напрягает, то можете где-нибудь вставить смайлик, хотя на самом деле смайликов нет, ибо это очень серьёзно.

Как бы хватит с пеной у рта защищать фальсификаторов.

Пена у рта тут только у вас. Я не призываю гладить по головке авторов тех исследований, но заведомо ложные обвинения в фальсификации, во-первых, неконструктивны и неэтичны, а, во-вторых, только отводят внимание от реальных проблем. Обвинить кого-то в шарлатанстве и лени всегда проще, чем признать и начать решать системную проблему.

Результаты фальсифицированы? Тогда почему утверждение о фальсификации ложные?

Я понимаю, что вас это задевает и даже представляю почему, но занятие наукой и так достаточно сложная вещь, даже без фальсификаций и совершенно по барабану как эти фальсификации были сделаны.

Результаты фальсифицированы?

Мне кажется, вы неверно используете этот термин. Слово «фальсификация» в данном контексте может иметь одно из двух значений: либо умышленное искажение полученных данных с целью протолкнуть публикацию (юридическое значение), либо экспериментальное опровержение имеющихся научных представлений (философское значение). Вы явно имеете в виду первый вариант, несмотря на то, что отсутствие злого умысла декларировано изначально, и без доказательств вы этого делать не можете.

Я понимаю, что вас это задевает и даже представляю почему

Меня задевает то же самое, что и вас: то, что в мейнстримовой естественной науке возможен такой леденящий душу звездец.

Слово фальсификация я понимаю по Попперу — возможность опровергнуть результаты исследований или теорий. Если это происходит, то _всё_ без исключения идёт на помойку. Только это и имеет смысл. А специально это было сделано или не специально — совершенно не волокёт. Для науки — это зло без каких либо экивоков и оправданий.

Фальсифицирована целая отрасль и единственный способ исправить, это проверить абсолютно _всё_, причём скорее всего придётся выгнать всех предыдущих «исследователей» на мороз, чтобы опять не перепроверять за ними позже. Это не звездец, это Звездец.

Слово фальсификация я понимаю по Попперу — возможность опровергнуть результаты исследований или теорий.

То есть, всё же, первый вариант.

Если это происходит, то _всё_ без исключения идёт на помойку. Только это и имеет смысл. А специально это было сделано или не специально — совершенно не волокёт. Для науки — это зло без каких либо экивоков и оправданий.

Кажется, кому-то пора перечитать методичку по философии. По Попперу, никакое научное знание не может быть абсолютно истинным, и, рано или поздно, оно может быть фальсифицировано, что никак не умаляет его значимость. При этом, фальсификация имеющихся представлений является абсолютным благом для науки, так как именно она лежит в основе процесса их эволюционного развития.

причём скорее всего придётся выгнать всех предыдущих «исследователей» на мороз, чтобы опять не перепроверять за ними позже.

чтобы опять не перепроверять за ними позже.

facepalm.jpg Вы, хоть, понимаете, ЧТО вы сейчас сказали?

Я разрешаю вам почитать методичку ибо фальсифицированное знание не имеет никакой научной значимости, разве что историческую, типа теории Птоломея или теплорода.

фальсифицированное знание не имеет никакой научной значимости

Ньютону и Дарвину это расскажите.

1) тут речь о поглощении одной теории второй «уточняющей».

2) так что «выкидывать все» возможно не придется, но ситуация подошла к этому так близко что стали возможны такие «экспериментальные подтверждения опасности пренебрежения методологией науки». раньше я помню все сводилось к чисто «философским спорам» --- «ну вот нехорошо _так_ делать... да? а вы мне вербально докажите» (С) .

ну вот --- доказали :(.

причем поскольку локальный-краткосрочный эффект _очень_ (!жизненно!) выгоден для ученого живущего на гранты --- показал больше «открытий» -> получил больше _денег_, а тот кто так себя не вел -> пошел водить маршрутку или на кассу в макдональдс. то все молча согласились терпеть.

ловили только совсем зарвавшихся «оптимизаторов» которые природный рандом исключали и для скорости пользовались полностью искусственными данными (особо одаренные и их не имели :)

но тут подкрался долгосрочный-глобальный эффект выражающийся в том, что когда так стали делать все, то наступил армагедон (а не возможность подтвердить >90% «открытий» это именно он).

выход --- 1) ввести стандарт на повторяемость результата, вплоть до обязательного требования в публикации независимого (желательно и по методике) подтверждения результатов работы. любое финансирование науки вести исходя из этого факта (в смету должны быть заложены средства на повторение опытов в независимой лаборатории) 2) изменить требование к оценке результата. Оценивать мощность метода для данного размера выборки и величины наблюдаемого эффекта. Запретить использовать тестирование матгипотез как скрининг сырых данных.... да в принципе неважно, факт необходимости независимого подтверждения полностью сделает невыгодным мухлеж.

IMHO проблема даже печальнее, чем представляется. Закрывателей открытий никто не любит. Ситуация такова, что проверкой заниматься тупо не выгодно — это просто не считается работой и всячески порицается :( Причём это проблема отнюдь не только в биологии. В той же математике теория ушла так далеко, что время, требуемое на проверку доказательства, становится сравнимо со временем его написания и, соответственно, никто этим во многих случаях даже не пытается заниматься. Экспериментальные установки в физике больше не строятся с целью подтвердить чужие открытия — это стало просто моветоном. Если стартуют два эксперимента и видно, что один из них опаздывает, скажем на год, то он режется, даже если сами эксперименты длятся по десять лет.

Ситуация такова, что проверкой заниматься тупо не выгодно — это просто не считается работой и всячески порицается :(

Вот это, в большой степени, и есть та самая системная проблема, о которой я говорю. В то же время, вы сами выше говорили о необходимости проверять чужие результаты как о чём-то неподобающем и возникающем только в крайнем случае.

При всём уважении вам IMHO таки всё-таки нужно охладить свою голову и перестать приписывать другим людям выдуманные вами глупости.

1) но в физике со статистикой все в порядке (в топовых журналах). а здесь работы отбирались именно из топа и еще проходили визуальный отбор экспертом на наличие явных дефектов дизайна.

2) и первичные данные с топовых физиков установок просто доступны для перепроверки.

3) тут речь не идет о «суперколлайдерах», обычные эксперименты которые по стоимости укладываются (без зарплаты :) ) в 0.1% цены таких «коллайдеров». очень удобно мнение о «моветоне» (неподобающем поведении) для профессиональных «открывателей».

Моветон на самом деле это спросить автора работы на защите медикобиологического диссера --- «а делалась ли поправка на множественность попарных сравнений?»

Я ничего не приписываю. Вот цитата из вашего сообщения:

причём скорее всего придётся выгнать всех предыдущих «исследователей» на мороз, чтобы опять не перепроверять за ними позже.

но в физике со статистикой все в порядке (в топовых журналах).

В биологии тоже.

Моветон на самом деле это спросить автора работы на защите медикобиологического диссера --- «а делалась ли поправка на множественность попарных сравнений?»

Только говносоветах, ради бабла пропускающих липу. В нормальных местах такие вопросы задаются регулярно, и фуфлодисеры там обычно не проходят.

1) По всякому бывает. Есть, скажем так, неопытные исследователи, типа китайцев. Денег в физике у них сейчас очень много, но регулярно лажаться им это не мешает — причём и в области неправильной интерпретации результатов и в области оценки ошибок. Я про то, что проблема таки в основном в квалификации.

Ну и не везде статистики достаточно. Часто бывает необходимо разглядеть эффект на фоне больших фонов. Как с Хигсом ситуация была, но там народ сдержался и подождал год набора статистики прежде чем официально провозгласили его открытым. А вот в Гранд Сасо не сдержались и объявили о сверхсветовом нейтрино не проверив соплю в приборе.

2) Ну, скажем так: если наши данные выставят наружу, то я не уверен что кто-то сможет повторить анализ без нашего софта и без нас, даже если очень сильно захочет. Просто потому, что чрезвычайно много нюансов, особенно если точность эксперимента нужна лучше процента. Основная сложность причём отнюдь не в статистике.

3) Ну здесь я наверное действительно скорее всего говорю про ситуации, когда установки стоят дорого, но закрытие их часто объясняется ни этим, а неактуальностью. И число таких случае к сожалению повторяется всё чаще и чаще с масштабированием на более доступные проекты.

Если люди облажались, то веры им как бы нет.

От ошибок не застрахован никто. Вот если люди на них не учатся, тогда веры им нет.

Ошибки всегда в экспериментальных работах так или иначе — недостаток квалификации. Даже одиночная ошибка — это несмываемый позор, а ошибки среди топа статей в 89 случаях? Это констатация, что данное направление существовало только на бумаге и в фантазиях «исследователей». Даже если там и были отрыты жемчужины, то они погребены под тооолстым слоем ядовитых отходов. Ничем эта деятельность от поиска философского камня не отличается и к науке не имеет никакого отношения, кроме выкачивания денег, которые полагались на её развитие.

Ошибки всегда в экспериментальных работах так или иначе — недостаток квалификации.

Да что вы говорите? У вас хватит максимализма на троих подростков, ей-богу.

В физике это обычно так. Человек, который печатает лажовую статью потом долго отмывает свою репутацию, это если это сделать получается. Из недавних историй — сверхсветовое нейтрино. Но в ситуации, когда у целого направления репутации нет — мда, даже и отмывать нечего. Каждый конкретный «спец» будет кивать на соседа и говорить что-то вроде: это не я такой убогий, это вся система. Это и есть отсутствие квалификации.

Человек, который печатает лажовую статью потом долго отмывает свою репутацию, это если это сделать получается. Из недавних историй — сверхсветовое нейтрино.

Урон репутации прямо пропорционален шумихе вокруг ложного «открытия». Когда человек заявляет, что открыл что-то, противоречащее современной парадигме, публикуется в Nature, это обсуждает весь мир, а потом выясняется, что он пробирки плохо мыл, его, естественно, четвертуют.

Вон оно как... То есть врать можно, если особо не выпячиваться? Это простите, не наука получается, а астрология какая-то... На дерьмовом постаменте ничего чистого не построишь. Как-то так.

Вон оно как... То есть врать можно, если особо не выпячиваться?

К исследованиям, разрушающим принятую парадигму, требования всегда самые высокие, высока и цена ошибки. Учёные же, работающие в её рамках, никогда особенно не ёрзали, что в физике, что в биологии. Отсюда experimenter bias.

man измерение массы электрона товарищем Милликеном. Ничего не разрушается от того, что масса измерена неправильно, но, чёрт возьми, какой это был позор экспериментаторов растянутый на десятилетия, пока вновь и вновь измеряемое значение массы не сдрейфовало к правильной величине.

Ну и формальностью отсутствие квалификации не прикроешь. Формальными стандартами глупость можно только замаскировать.

Ничего не разрушается от того, что масса измерена неправильно, но, чёрт возьми, какой это был позор экспериментаторов растянутый на десятилетия, пока вновь и вновь измеряемое значение массы не сдрейфовало к правильной величине.

Во всех источниках, которые я нашёл, Милликена чтут как первого экспериментатора, который вообще смог это сделать, и ни о каком позоре там речи нет. Наука так развивается, через ошибки и неточности, и никакой трагедии в этом нет.

А вы посмотрите на график массы от времени измерения. Посмотрите на ошибки и подумайте — можно ли этим ошибкам доверять. Доверили бы вы другим измерениям их авторов? Милликен виноват лишь в том, что установил планку на которую все остальные облокачивались — как выясняется неквалифицированно облокачивались.

В РАН пруд пруди некомпетентных учёных

4.2

Просто обращай внимание на специализацию. Разве тебе не очевидно, как разбирается историк в молекулярной физике? Правильно, ещё хуже чем я.

Срочно надо тут на ЛОРе создать из модераторов комиссию по лженауке!

РАН — как раз и есть попытка создать такую комиссию. Хотели как лучше, а получилось РенТВ, в котором сначала один академик-историк рассуждает о физике, т.ч. школьники ржут в голос, а в след. передаче академик-физик рассуждает за историю, или там философию. Это ещё смешнее.

Welcome to the real world, Neo.

А вы посмотрите на график массы от времени измерения.

Не гуглится. Где посмотреть?

http://www.lhup.edu/~DSIMANEK/cargocul.htm — это не график правда, а текст в котором я про этот казус прочитал. График кажется в книге того же Фейнмана видел.

Вкратце: В общем Милликен ошибался на пять сигм (не учёл вязкость воздуха, точнее взял неправильную величину этой самой вязкости), но следующее более «точное» измерение не обнаружило этого, а лишь чуть-чуть отличалось от результата измерения, правда отличалось в нужную сторону. И так порядка десятка более и более «точных» измерений, которые не отходили далеко от значения Милликена.

потому-что историк должен своей историей кормится, а не интервью на РенТВ давать.