2014年，SpaceX的首席执行官埃隆·马斯克发了一条推特“博斯特罗姆的《超级智能》值得一读，对人工智能一定要万分小心，它可能比核弹还危险。”同一年，剑桥大学宇宙学家霍金对BBC说“开发完整的人工智能可能导致人类灭亡。”微软创始人之一比尔·盖茨也曾警惕地表示“我是对超级智能感到担忧的那一派。”
2008年，计算机科学家埃利泽·尤得库斯基在《全球灾难风险》中刻画了AI灭世的场景“AI的智力从阿米巴一路上升到村里的笨蛋那个级别，然后止步于人类天才的水平，这样的可能性有多大？”他自己的回答是“从物理上说，我们有可能造出一台运算速度百万倍于人脑的计算机。如果人脑加速到这个水平，那么从前需要思考一年的问题，现在31秒之内就能解决。而这就意味着，外界才过八个半小时，内心就已经感觉经历了近千年的思考时间。”尤得库斯基认为，现在不为这个问题着想，以后就来不及了“AI的时间观念和你我不同，等到你的神经元想好‘我该做点什么’时，你就已经输了。”
这派想法的代表是牛津大学哲学家尼克·博斯特罗姆在《超级智能》一书中提出的所谓“回形针量产机”的思维实验人类设计了一台AI来造回形针，它在耗尽了最初的原料之后，就开始竭力搜索一切可用的材料，包括人类身上的那些。博斯特罗姆在2003年的一篇论文中写道，只要这个头一开，AI就会“先将整个地球耗尽，甚至进一步利用周围更大范围内的所有材料，把它们都改造成一部部生产回形针的装置。”用不了多久，整个宇宙就只剩下回形针和生产回形针的机器了。
我对这个设想持怀疑的态度。第一，这个末日场景需要满足一连串条件才能实现，中间任何一个环节出错，末日的戏码都无法上演。英国西英格兰大学的电气工程教授艾伦·温菲尔德在2014年的一篇文章中这样写道“假如我们造出了和人类相当的AI，假如这部AI明白了自身的工作原理，又假如它能将自己改进成具有超级智能的AI，再假如这个超级AI出于无意或恶意开始消耗资源，还要假如我们没能拔掉它的插头？到那时，我们才可能遇到麻烦。这风险不是没有，只是概率甚微。”
第二，AI的研发其实要比预测的缓慢得多，其中每一个步骤，人类都有时间叫停。就像谷歌董事长埃里克·施密特在回复马斯克和霍金时所说的那样“你们觉得人类会注意不到吗？注意到之后，不会去关掉那些电脑吗？”谷歌的DeepMind公司已经发展出了一个关闭AI的开关，它被戏称为“紧急红按钮”，可以在AI意图造反时按下。百度首席科学家吴恩达也表示（针对马斯克的话），有人“还没登上火星，就开始担忧火星上的人口问题了。”
第三，AI灭世论的依据往往是天然智能和人工智能之间的错误类比。2015年，哈佛大学的实验心理学家斯蒂芬·平克在回答Edge网站年度问题“你对会思考的机器有什么看法”时，对这一点做了说明“AI灾难论者都在智能的概念中投射了狭隘的大男子心态。他们假定智力超越人类的会制定出罢免主人或是统治世界的目标。”但实际上，平克指出，人工智能同样可能“沿着女性的路线进化既能熟练地解决问题，又没有消灭无辜者或主宰人类文明的欲望。”
第四，电脑“想做”某事的说法（比如想把世界变成回形针）意味着电脑有了情绪，就像科普作家迈克尔·乔罗斯特指出的那样“一旦AI对某事有了向往，它就进入了一个奖赏与惩罚的世界，比如它会知道，做了坏事就要受到我们的惩罚。”
考虑到历史上的末日预言还没有一个应验，再加上AI几十年来的发展一向平缓，我们应该有充裕的时间建立一套安全体系，以防止AI毁灭世界的事情发生。