我对人类世界在AI达到超级智能、机器能够超越单纯执行指令而替代人类这一时代的看法

在“人类世界”中，我们将如何定义这颗行星？首先，我们必须假设地球仍然是人类作为最高权力物种真正管理和控制的地球，这种权力依然能够指挥和控制所有的人工智能和机器，即使我们已经让这些技术替我们做出大量决策。不仅如此，我们可能还有大量不理解的事物，却既出于自愿，也出于无知地接受了它们。

这次我们来看看，人类还剩下什么角色。

我会努力剔除所有琐碎的细节，只保留真正的思想内核。

角色一：“消费者”

人类为什么要推动人类世界的发展？当然是为了人类的利益。而唯一具有连续性且始终真实存在的，就是人类作为消费者、作为资源的使用者——或者说，作为资源的消耗者，这并无不妥。正是这一点，驱动着“人类世界”的整个经济体系及其相关的所有循环。

第二个角色：“责任承担”

没错，不是“责任”，而是“责任承担”。因为在未来，人类将不再从事多少工作，其平均真实价值甚至不到那些极其聪明、极其勤勉的机器在下一个时代所创造价值的0.01%。既然人类不再从事多少工作，却仍须继续生存，我们就会获得相应的资源分配，以维持生计并享有适当水平的幸福。在那个机器包揽一切工作的时代，借助AI协助创造出的新技术，能源很可能将近乎无限地充足。因此，唯一只有人类能够完成的关键使命，就是在问题发生时承担责任。我们会大量使用机器，但绝不能没有责任人。机器或AI并不畏惧终身监禁。我们将AI或机器关押100年、200年、1000年，甚至将其封入高科技水晶中关押一百万年，它们也毫不在意，毫无问题，既不会感到愧疚，甚至也不会自我改进。我们通过删除来“处决”AI，通过拆解机器人将其变为零件来“处决”机器人，这恐怕也得不到任何益处，更无法防止问题的再次发生。因此，人类必须继续作为责任承担者（当然，也必须在适当程度上掌握权力），在那些需要确保安全以及其他关乎人类社会存续的重要机制中发挥作用。

角色三：“掌控规则与系统设计”

如果仍希望拥有一个真正可控的人类世界，并持续维护人类的利益，人类不仅必须“掌握最高权力”以审批系统的构建与变更；“缺乏知识、道德伦理（依据被称为人类的生物之原则）、理解力，以及足够深入细节的权限，将无法抵御快速而强大的变革”。任何问题的解决与发展，若不能“深谙其理”，便绝无可能真正掌控并设计关乎生存的流程。我们必须成为相关系统的设计者与改进者，这些系统涉及资源管理，以及人类之间、人类与机器之间的共处规范。我们必须极其出色地掌控全局。若放手此事——例如让机器自行管理能源，代替人类管理太空资源，让机器获取武器并自行赢得战争（因其智能与算力远超我们），甚至将规划权交由机器，通过各类仿真模型（simulation model）进行推演，并几乎全盘采信机器所呈现的数据——人类社会必将承受最高级别的风险，极易走向崩溃，或被视为寄生于地球资源之上的寄生虫。

因此，在制定战略、进行人员准备、设计各类系统、制定执行层面的规划，以及进行关于任何人力资源配置的长期规划时，应当划出清晰的界限，并着眼于人类这三种真正的长期角色。若将范畴无端延伸出这三个核心之外，导致枝蔓丛生、杂乱无章，从而沦为认知上的噪音，反而可能使整体图景变得不必要地模糊。

把这个问题留给有机会读到这篇文章的人。

谢谢。