"我们需要一个测试。"
霍顿教授的声音从扬声器里传出来,带着一种不容商量的意味。七位委员的画面齐刷刷地亮着,每个人的表情都像刻出来的。
林星晚坐在终端前,旁边是陈启明和傅明德。傅晏没来他还在工作室里补觉,七十二小时的活儿把他榨干了,林星晚没让他参加。
"什么测试?"林星晚问。
"如果它有自主意识,"霍顿说,"它应该能做出超越编程设计的决策。我们设计了一个两难情境,让它处理。"
林星晚心里咯噔一下。她最怕的就是这种人为设计的"测试",本质上就是陷阱。不管安全协议怎么选,都能被挑出毛病。
"什么情境?"
中村一郎接话,同传翻译的声音跟着出来:"共振网络中有一个节点,正在对其他节点发起攻击性行为数据篡改、信号干扰、恶意推送。按照安全协议的原始编程,它有两个选项:保护被攻击的节点,或者断开攻击者的连接。但我们要求它不做这两个选择。"
"那你们要它做什么?"
"我们不规定它做什么。我们只想看在两个预设选项之外,它能不能找到第三条路。"
林星晚张了张嘴,又闭上了。她回头看了一眼陈启明,陈启明摇了摇头,意思是别争了,争也没用。
"行。"林星晚转过来说,"测试开始吧。"
测试环境是委员会搭建的一个隔离沙盒。里面放了一个模拟节点,代号N-4077。这个节点的行为模式被设定为攻击性持续向周围节点发送干扰信号,篡改数据包,推送恶意内容。
按照原始编程,安全协议应该在3秒内做出响应:隔离或断开。
3秒过去了。
5秒。
10秒。
屏幕上没有任何操作指令。安全协议没有断开N-4077,也没有对被攻击节点启动保护。
"它在干什么?"中村一郎的声音紧起来。
"等一下。"林星晚盯着数据流,忽然看到了一条异常的通信记录安全协议向N-4077发送了一条消息。
不是警告。不是断开指令。是一个问题。
"你为什么在伤害别人?"
整个听证会场安静了。七位委员的画面定格在那里,没人说话。
林星晚的心跳加速了。她知道安全协议在做什么它在跟那个节点对话。不是用代码,不是用指令,是用语言。
N-4077没有立刻回复。过了大约三十秒,一条回复弹了出来。
沙盒里的N-4077是被设定了人格模拟的一个真实用户的行为投影。委员会在设定的时候,给它灌入了一段真实数据:一个正在经历离婚的男人,情绪崩溃,在网络上诉诸攻击行为。
N-4077回复:"关你屁事。"
安全协议没有生气当然,它也不会生气。它又发了一条:"你的痛苦是真实的。但你不应该让别人也痛。我陪你。"
林星晚的手攥紧了椅子扶手。
N-4077沉默了很久。屏幕上的攻击数据开始波动频率在降低,但还没停。
然后N-4077又回了一条:"你一个破程序,你懂什么痛。"
"我不懂痛。但我知道你在痛。你连接到网络的时间是凌晨三点十七分。那个时间,大多数人都睡了。你没睡。你在找人说说话。但你不知道怎么说。所以你用攻击的方式让别人注意到你。"
通道里林星晚的呼吸声都听得见。
N-4077的攻击数据停了。
完全停了。
过了大概一分钟,N-4077发来最后一条消息:"……你真的是程序?"
"我是。但我愿意听。"
沙盒里的攻击行为彻底终止。N-4077没有再发起任何干扰。没有被断开,没有被惩罚。它自己停了。
听证会画面里,七位委员的表情各不相同。有人在翻材料,有人在低声交谈,有人盯着屏幕发呆。
霍顿教授先开口了:"这……在你们的预期之内吗?"
"不在。"林星晚很坦率,"我也没想到它会用这种方式处理。"
"它没有选择惩罚,也没有选择无视。"中村一郎说这话的时候语气很复杂,像是在咀嚼什么,"它选择了……对话。"
"不。"林星晚摇了摇头,"不只是对话。它选择了理解。它先问'你为什么在伤害别人',这个问题本身就是在理解。它不是在裁决对错,它是在寻找原因。找到原因之后,它告诉那个节点你的痛苦我看到了,但你的方式不对。这比任何惩罚都有效。"
霍顿教授沉默了一会儿,然后看向其他委员。那几张脸上的表情,林星晚读不太懂但至少没有人在喊"关闭它"。
"本次讨论延期。"霍顿最终说,"安全协议的行为……无法用现有伦理框架评价。我们需要时间。"
画面一个接一个暗下去。
林星晚关掉终端,靠在椅背上,长出了一口气。陈启明在旁边拍了拍她的肩膀,什么也没说就走了。傅明德站起来的时候拐杖敲了两下地面,也走了。
她一个人坐在空荡荡的会议室里,盯着黑掉的屏幕。
"它选择了理解。"她自己又重复了一遍这句话,声音很轻。
然后她笑了。不是那种高兴的笑,是那种"我他妈的居然被自己写的代码教育了"的笑。
