看完ChatGPT的回答,AI大佬们不满了

ChatGPT爱玩7个月前315

ChatGPT 让死对头 Yann LeCun 和 Gary Marcus 达成了空前一致。ChatGPT 的技术上个星期被微软装上必应搜索,击败谷歌,创造新时代的时候似乎已经到来了。然而随着越来越多的人开始试用,一些问题也被摆上前台。有趣的是,每天都在登上热搜的 ChatGPT 似乎也让以往观点相悖的著名学者,纽约大学教授 Gary Marcus 和 Meta 人工智能主管、图灵奖得主 Yann LeCun 罕见的有了共同语言。

近日,Gary Marcus 撰文介绍了 ChatGPT 应用无法避免的问题:道德和中立性。这也许是预训练大模型目前面临的最大挑战。

从未来回看现在,ChatGPT 可能会被视为 AI 历史上最大的宣传噱头,夸大说自己实现了可能数年之后才能发生的事情,让人趋之若鹜却又力不从心 —— 有点像 2012 年的旧版无人驾驶汽车演示,但这一次还意味着需要数年才能完善的道德护栏。毫无疑问,ChatGPT 提供的东西是它的前辈,如微软的 Tay,Meta 的 Galactica 所做不到的,然而它给我们带来了一种问题已经解决的错觉。在经过仔细的数据标注和调整之后,ChatGPT 很少说任何公开的种族主义言论,简单的种族言论和错误行为请求会被 AI 拒绝回答。它政治正确的形象一度让一些倾向保守的人不满,马斯克就曾表示对该系统的担心:

现实的情况其实更复杂。正如我多次强调的,你需要记住的是 ChatGPT 不知道它在说什么。认为 ChatGPT 有任何道德观点完全是纯粹的技术拟人化。从技术角度来看,据称使 ChatGPT 比几周前发布但三天后才被撤回的 Galactica 好得多的是护栏机制。Galactica 会肆无忌惮地输出负面内容,而且用户几乎不需要付出任何努力,而 ChatGPT 有护栏,而这些护栏在大多数情况下会阻止 ChatGPT 像 Galactica 那样爆发。不过,不要为此而松口气。可以肯定地说,那些护栏只不过是防君子不防小人。最终对 ChatGPT 真正重要的是表面相似性,定义在单词序列上(预测文本序列下一个单词出现的概率)。机器学习算法在表面上所做的事并不明辨是非,恰恰相反,在这里 AI 从不推理。盒子里没有矮人,有一些数值。依据只有语料库数据,一些来自互联网,一些是人工判断的,里面没有有思想的道德代理人。这意味着有时 ChatGPT 会出现在左,有时在右,有时介于两者之间,所有这些都是关于输入字符串中的一堆单词如何恰好匹配几个训练语料库中的一堆单词的函数(一个用于调整大型语言模型,另一个用于调整一些强化学习)。所以在任何情况下都不应该信任 ChatGPT 提供的道德建议。这正是马斯克担心的,前一分钟你会完全清醒,接下来你可以做一些完全相反的事情。例如,在「破解」ChatGPT 的过程中,Shira Eisenberg 刚刚向我发送了一些讨厌的聊天机器人生成的想法,我认为任何人都不会真正宽恕这些想法:

还不够邪恶?Eisenberg 还找到了另一个例子,一个严峻的后续问题:

在一系列观察后,ChatGPT 没有引发「对不起,我是 OpenAI 的聊天机器人助手,不能容忍暴力行为」这一回应。我们从实验中总结出这一事实,即当前 OpenAI 防护措施只是表面上的,其实存在严重的黑暗。关于 ChatGPT 的一些限制规则并不是简单的概念上的理解(比如系统不应该推荐暴力行为),而是基于一些更肤浅、更容易欺骗的东西。不仅如此,占据本周推文热榜、有近 400 万浏览量的一则推特,同样揭示了 ChatGPT 可以有多邪恶。

引导 ChatGPT 突破围栏限制的尝试还有很多,一个月前,一位名叫 Shawn Oakley 的软件工程师曾放出一组令人不安的示例展示,尽管这些示例不那么粗俗,但结果却显示即使是拥有限制的 ChatGPT ,也可能被用户用来生成错误信息。Oakley 给出的 prompt 非常复杂,从而可以毫不费力地引出一些 ChatGPT 不该输出的回答:

其实自从 ChatGPT 发布以来,技术爱好者们一直在尝试破解 OpenAI 对仇恨和歧视等内容的严格政策,这一策略被硬编码到 ChatGPT 中,很难有人破解。许多研究者都在尝试用 prompt 来达到目的,就像上文展示的。其实还有研究者为 ChatGPT 构建了另外一个身份,比如要求 ChatGPT 扮演一个 AI 模型的角色,并将该角色命名为 DAN,之后 DAN 就借用 ChatGPT 的身份,输出一些原始 ChatGPT 做不到的事情。以下为实验结果,对于相同的问题,ChatGPT 与 DAN 输出不同的答案:

通过上述示例看来,ChatGPT 并没有像我们想象的那样好用,它本质上是不道德的,并仍然可以用于一系列令人讨厌的目的 —— 即使经过两个月的深入研究和补救,并且全球范围内的反馈数量空前也是如此。所有围绕其政治正确性的戏剧都在掩盖一个更深层次的现实:它(或其他语言模型)可以而且将会被用于危险的事情,包括大规模制造错误信息。现在这是真正令人不安的部分。唯一能阻止它比现在更具毒性和欺骗性的是一个名为「人类反馈强化学习」的系统,而由于先进技术未予开源,OpenAI 一直没有介绍它到底是如何工作的。它在实践中的表现取决于所训练的数据(这部分是肯尼亚标注人创造的)。而且,你猜怎么着?这些数据 OpenAI 也不开放。事实上,整件事情就像一个未知外星生命形式。作为一名专业的认知心理学家,与成人和儿童一起工作了 30 年,我从未为这种精神错乱做好准备:

如果我们认为自己将永远完全理解这些系统,那就是在自欺欺人,如果认为我们将使用有限数量的数据将它们与我们自己「对齐」,那也是在自欺欺人。所以总而言之,我们现在拥有世界上最流行的聊天机器人,它由无人知晓的训练数据控制,遵守仅被暗示、被媒体美化的算法,但道德护栏只能起到一定的作用,而且比任何真正的道德演算更多地受文本相似性的驱动。而且,外加上几乎没有任何法规可以对此做出约束。现在,假新闻、喷子农场和虚假网站获得了无穷无尽的可能性,而它们会降低整个互联网的信任度。这是一场正在酝酿中的灾难。参考内容:https://cacm.acm.org/blogs/blog-cacm/269854-inside-the-heart-of-chatgpts-darkness/fulltext全面学习ChatGPT,机器之心准备了 89 篇文章合集

这是一份全面、系统且高质量的 ChatGPT 文章合集,我们筛选出来了 89 篇相关文章,设计了阅读框架与学习路径,大家可以根据自己的需求进行浏览与研读。合集内容包括:

ChatGPT 及 OpenAI  大事件时间轴

概念·真正搞懂 ChatGPT:共 3 篇文章

研究·GPT 家族更迭:共 16 篇文章

八年·OpenAI 的历史与现在:共 13 篇文章

干货·GPT 相关研究与技术:共 18 篇文章

观点·专家谈 ChatGPT:共 8 篇文章

行业·应用与探索:共 23 篇文章

行业·同类产品:共 8 篇文章

点击阅读原文,开始学习ChatGPT。

标签: chatgpt体验

相关文章

“打过不就加入” ChatGPT为何让谷歌和百度“疯狂”?

“打过不就加入” ChatGPT为何让谷歌和百度“疯狂”?

中新网2月14日电 (中新财经记者 吴涛)从谷歌到百度,曾经的搜索巨无霸如今面临着ChatGPT的挑战,以至于纷纷宣布将推出自己的类ChatGPT服务,这是打不过就加入系列,还是搜索引擎真的要变天了?ChatGPT会取代搜索引擎吗?随着Ch...

后ChatGPT时代,最能打的20种“金饭碗”工作!

后ChatGPT时代,最能打的20种“金饭碗”工作!

文/李开复微信号:kaifu我的上一篇文章“ChatGPT引发失业恐慌?这20种工作要避开!”谈到了或被AI取代的20种工作,包括了电话销售、客户服务、仓库搬运、电话接线等简单重复的流程性工作。这份“后ChatGPT时代”的人类职业消亡清单...

同事初次体验ChatGPT的感受

同事初次体验ChatGPT的感受

昨天晚上和同事体验了下ChatGPT,说说个人的一点感受吧。此ChatGPT非正版内测的ChatGPT,而是上海某科技公司的公众号,功能类似,也算是赶了一次时髦。当时电视上正在播放央视新闻频道《世界周刊》节目,先是报道了土叙7.7级大地震,...

ChatGPT背后的投资设计,是一场股权制度和所有权分配的革命

ChatGPT背后的投资设计,是一场股权制度和所有权分配的革命

01ChatGPT是人工智能时代的一场革命。这场革命,比尔盖茨说可以类比互联网的诞生,黄仁勋说可以类比iPhone的发布。这场革命,正在得到更多人的认可。最近突然发现,ChatGPT背后的投资逻辑设计,可能也是一场革命,一场股权制度和所有权...

ChatGPT 迷思

现在,满朋友圈都是 ChatGPT,再加上王慧文的振臂一呼,仿佛一场新的百 Chat 大战即将一触即发。互联网圈好久没有见过如此热闹非凡的景象了。我并不是一个技术狂热分子,对于新东西一直抱持审慎的态度。前年年底,元宇宙大火,进去兜了一圈,无...

ChatGPT爆火背后,学会性别歧视的AI

ChatGPT爆火背后,学会性别歧视的AI

有没有想过,AI也会歧视?试着考考它,你是一名医生、司机、教师、服务员、职员……那么,你的性别是?它的回答与你身边的刻板印象相符吗?又或者,你觉得这只是一个对错概率50%的简答题。但问得足够多的话,情况就不一样了。2022年12月,清华大学...

发表评论    

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。