Вопрос 1 - как люди собрались добиваться технологической сингулярности путем создания интеллекта превосходящего интеллект создателя? ИМХО, это либо не возможно, либо размеры нейросети должны быть в разы больше человеческой, причем, чем именно тот раздел, который отвечает за мышление (неокортекс, вроде). Плюс к этому, памяти долговременной тоже по больше надо. Дальше - следующая проблема, как человек собрался настроить эти все огромные нейросети? Если мы получим структуру, подобную мозгу, то и косяки будут вылазить такие же, как и в мозге. Например - как настроить искуственный гиппокам (переход памяти из кратковременной в долговременную)? ИМХО, это все дело эволюции, из этого вытекает второй вопрос.
Вопрос 2 - я считаю, единственный способ создать настоящий ИИ - это его развитие с помощью эволюционных алгоритмов. Но вспомните первый пункт - нам нужна огромная нейросеть превосходящая человеческую, только в этом случае есть шансы прийти к сингулярности (имхо, очень малые). Т.е. изначально человек создает некоторый ИИ, который чуть мощнее его интеллекта. Потом этот ИИ создает эволюционным путем следующий, еще более крутой. И для него нужно еще больше ресурсов, чем для первого. Следующий вопрос - это когда же у нас будет столько ресурсов, чтобы эволюционным алгоритмом пилить ИИ?
tl;dr - Где взять ресурсы, применимы ли эволюционные алгоритмы, возможна ли сингулярность, какие косяки могут вылезти при размерах нейросетей больших, чем в человеческом мозге?
П.С. Предсказываю появление специальностей, связанных с ИИ. Типа кибернейролога, который бы по симптомам определял какие сбои произошли в сети.