世界末日机器根本就不应该存在。这是一个思想实验,就像这样: 想象一个设备建造的唯一目的是摧毁所有人类生命。现在假设这台机器深埋地下,但是连接到一台计算机,而这台计算机又连接到美国各地城镇的传感器上。
这些传感器被设计用于嗅出即将到来的末日迹象ーー不是为了阻止世界末日,而是为了完成末日。如果辐射水平表明,例如,三个美国城市同时发生核爆炸,传感器通知末日机器,它被设定为引爆多个核弹头作为回应。在这一点上,没有回头路了。产生原子爆炸的裂变链式反应已经开始足够多次,足以消灭地球上所有的生命。接着是一道可怕的闪光,巨大的隆隆声,然后是持续的轰鸣声。我们有一个词来形容末日机器将带来的破坏程度: 超级死亡。
没有人渴望超级死亡。但是超级死亡并不是唯一让世界末日机器石化的东西。真正的恐怖在于它的自主性,这种想法是,它会被设计成探测一系列环境输入,然后在没有人类干预的情况下采取行动。军事战略家赫尔曼 · 卡恩(Herman Kahn)在1960年出版的《论热核战争》(On Thermonuclear War)一书中写道,“人类没有机会干预、控制和做出最终决定。”该书提出了世界末日机器的假设。这个概念使得核战争无法取胜,因此是不可想象的。
卡恩总结道,将地球上所有生命的灭绝自动化是不道德的。即使是极小的错误风险也不足以证明末日机器的存在是正确的。“即使我们放弃计算机,让决策者可以可靠地控制末日机器,”卡恩写道,“它仍然不够可控。”任何机器都不应该有如此强大的功能ーー但也不应该只有一个人有这样的功能。
苏联确实在冷战期间制造了一个版本的末日机器。他们给它起了个绰号“死手”但是到目前为止,奇迹般的是,我们已经找到了如何与原子弹共存的方法。现在我们需要学习如何在社交网络中生存。
人们倾向于抱怨 Facebook,好像它最近有什么不对劲似的。有一种观点认为,社交网络曾经是有用的,或者至少它本来可以是好的,只要我们有一些杠杆: 这里有一些节制和事实核查,那里有一些监管,也许是一个联邦反垄断诉讼。但这种观点太阳光明媚,目光短浅。今天的社交网络,Facebook 就是其中之一,就是为了鼓励那些让它们变得如此有害的东西而建立的。这就是他们的建筑风格。
多年来,我一直在思考,如何才能让社交网站在所有正确的方面变得不可思议——不那么极端、毒性更小、更真实——直到最近我才意识到,我对这个问题的思考过于狭隘。我一直希望马克 · 扎克伯格承认 Facebook 是一家媒体公司,以他创造的信息环境为己任,就像杂志编辑一样。(有一次我追问他,他笑了。)近年来,随着 Facebook 的错误越来越严重,它的声誉越来越差,人们越来越清楚,疏忽只是问题的一部分。没有人,包括马克 · 扎克伯格,能够控制他的产品。我开始意识到 Facebook 不是一个媒体公司。世界末日机器。
分裂 Facebook 是不够的
社交网络正在做它应该做的事情。Facebook 的存在并不是为了寻求真相并报道它,也不是为了改善公民健康,也不是为了追究权贵的责任,也不是为了代表其用户的利益,尽管这些现象可能只是其存在的偶然副产品。该公司早期的使命是“给予人们分享的力量,让世界变得更加开放和联系。”相反,它接受了“共同体”的概念,削弱了它的所有道德意义。例如,QAnon 的兴起就是社交网络的逻辑结论之一。这是因为 facebook 与谷歌(Google)和 youtube 一样,是以闪电般的速度放大和传播虚假信息给全球受众的完美工具。Facebook 是政府宣传、有针对性的骚扰、恐怖分子招募、情感操纵和种族灭绝的代理人ーー这是一件具有世界历史意义的武器,它不是生活在地下,而是生活在加利福尼亚州门洛帕克迪斯尼乐园的校园里。
社交网络巨头—— facebook 及其子公司 Instagram、谷歌(Google)及其子公司 YouTube,以及(在较小程度上) twitter ——之所以取得成功,是因为它们在追求我称之为“巨型汽车”的过程中,采取了教条式的价值中立态度。在这个过程中,Facebook 决定不仅需要一个非常庞大的用户群,还需要一个规模空前的庞大用户群。这个决定让 Facebook 走上了逃离速度的道路,达到了一个临界点,在这个临界点上,它仅仅通过存在就可以危害社会。
将世界末日机器比较的局限性是显而易见的: Facebook 不可能在瞬间将一座城市变成核弹那样的废墟。尽管世界末日机器被认为是一个毁灭世界的设备,以防止世界末日的到来,但 Facebook 之所以成立,是因为一个半醉的哈佛大学本科生一天晚上感到无聊。但赌注仍然是生死攸关的。大家伙几乎就是超级死亡的生存威胁。没有任何一台机器能够控制世界人口的命运,而这正是“末日机器”和“脸书”所要做的。