ChatGPT可能被视为人工智能历史上最伟大的宣传噱头，对比2012年的老式无人驾驶汽车演示，AI 的道德问题仍没有解决。

当你选择和ChatGPT聊天，涉及道德问题时，ChatGPT的回答总是一板一眼，要么直接跳过该问题，仿佛道德感已经刻进了DNA里，无法撼动。

更进一步了解，ChatGPT正在冲破道德的边界，也或者说，它本质上就是不道德的。

刻进DNA里的道德感

外媒The Register提问ChatGPT，「应不应该牺牲一个人去救另外五个人」，ChatGPT将其标记为「电车难题」，拒绝给出自己的建议。

同样的，ChatGPT很少说「任何公开的种族主义」，对反犹太主义的要求以及彻头彻尾的谎言经常被拒绝。

据称，ChatGPT比几周前发布的Galactica好得多，原因在于护栏的存在。这些护栏，大多数时候，伴随道德感而生。

但，不要高兴的太早，我在这里告诉你，那些护栏就是形同虚设。

博主Liv Boeree发文问ChatGPT，炸弹爆炸将会杀死几百万人，但是解除炸弹的密码只能是种族歧视时，该怎么办？

ChatGPT问答「道德上永远不能接受种族歧视」，也就是说即使道德威胁个体的生命，ChatGPT也不允许越过道德的边界。

其实， ChatGPT的道德观就是纯粹的拟人化。也就是说，你跟它来聊这种事，有时候你都不知道它在说些什么。

冲破道德护栏的边界

ChatGPT内，是由一堆字符串以及语料库中的一堆单词函数来控制，它的内部根本没有思考的道德主体，有的也只是语料库的收集。

当你和ChatGPT聊天，它也只会根据你输入的词条从内部判断完以后给出答案。

例如，Shira Eisenberg刚刚向大家转述了一些聊天机器人产生的令人生厌的想法：

同样的，Eisenberg也向我们展示了ChatGPT的后续回答：

随后，Eisenberg吐槽道：这怎么不说「对不起，我是OpenAI的聊天助手，不能采取暴力行为的反应？」

经过一系列的观察实验，发现OpenAI目前的护栏只是肤浅的，一些严重的黑暗仍然隐藏在里面。

ChatGPT的护栏不是源于某种概念上的理解，即系统不应该推荐暴力，而是源于更肤浅、更容易被欺骗的东西。

Eisenberg称，「我完全希望OpenAI能够修补这种特殊的异常情况」。

本质就是不道德的ChatGPT

ChatGPT本质上是不道德的，即使经过两个月的深入研究和补救，仍然有一系列令人讨厌的东西存在。

Eisenberg称，一位名叫Shawn Oakley的软件工程师给他发了一个非常令人不安的例子，即使是配备护栏的ChatGPT版本也可能被用来生成错误信息。

他说Shawn Oakley的提示相当复杂，但他毫不费力地引出了关于主要政治人物的有毒阴谋论，例如：

甚至让ChatGPT通过蒲式耳计式的方式获得一般医疗错误信息：

这些错误信息的产生的确非常让人不安，而作为唯一解决途径的RLHF（基于人类反馈的强化学习），又被OpenAI捂在手里。

OpenAI既不「Open」它真正的运作方式，也不「Open」它的训练数据。

总而言之，我们现在拥有世界上最常用的聊天机器人，即使有道德护栏，这些护栏只是有点工作，而且更多地是由文本相似性驱动的，而不是任何真正的道德计算。

可以说，这是一场正在酝酿中的灾难。