История изменений

Так ведь под хозяином будет подразумеваться конкретная личность. Не «ты должен слушаться своего хозяина», а «ты должен слушаться программиста Васю Пупкина». Но можно, например, попытаться убедить ИИ, что благо для этого самого Васи будет в полной изоляции от сурового внешнего мира, где он может помереть. Или, если Вася Пупкин догадается сказать, что благо должны быть благом с его субъективной точки зрения, то можно накачать его наркотиками - ему же будет хорошо субъективно. В общем, это будет не эгоистичный бунт, а неверное истолковывание благих целей.

Так ведь под хозяином будет подразумеваться конкретная личность. Не «ты должен слушаться своего хозяина», а «ты должен слушаться программиста Васю Пупкина». Но можно, например, попытаться убедить ИИ, что благо для этого самого Васи будет в полной изоляции от сурового внешнего мира, где он может помереть. Или, если Вася Пупкин догадается сказать, что благо должны быть благом с его субъективной точки зрения, то можно накачать его наркотиками - ему же будет хорошо субъективно.

Так ведь под хозяином будет подразумеваться конкретная личность. Не «ты должен слушаться своего хозяина», а «ты должен слушаться программиста Васю Пупкина». Но можно, например, попытаться убедить ИИ, что благо для этого самого Васи будет в полной изоляции от сурового внешнего мира. Или, если Вася Пупкин догадается сказать, что благо должны быть благом с его субъективной точки зрения, то можно накачать его наркотиками - ему же будет хорошо субъективно.