准确的说是元宝+DeepSeek（没开思考版），成功绕开了所有敏感词骂了用户一把。 这件事最大的争议点，是截图里那段没有标点符号的红框文字，被怀疑是人工后台接手回复的。就元宝的现在的日活和并发量，真要配人工回复，肯尼亚的AI写手估计一天当72小时都不够用的。就算把深圳的大学生都抓来当客服也不够用。
这件事有意思的点在元宝没咋挨骂，14年微软小冰，16年微软Tay，23年微博的评论罗伯特，24年模仿贴吧老哥的DeepSeek，甚至GPT-4o之前更新因为太爱拍马屁都被喷回滚版本了。
这次元宝的评论区有点太和谐了，知乎上也没啥人喷，甚至说，这才是血脉纯正的人工智能。它说了我想说却不敢说的话。
那有没有可能这是鹅自己搞营销？给元宝带带流量啥的？
大概率不可能，不可控性太大，在这之前大部分都是挨骂的。
从技术角度出发的话，大概率是训练数据背锅。
用人话来说，大模型每生成一个字都是在概率分布里做选择，可以理解为有概率的抽卡。比方说“你好”的下一个字，有30%接“啊”，20%接“吗”，10%接“没”，5%接“捏”。
正常情况下，模型会选概率最高的生成“你好啊”。
但为了让模型输出不死板有人味，会引入temperature参数，数值越高，模型选择概率低的选择可能性越大。也就是说，只要训练数据里存在脏数据，在这个场景就是骂人的话，就是有可能被抽中的。
元宝现在在视频号，公众号，微信对话都可以用，同一个问题每次提问都会有不一样的答复，就可以证明它是一个生成模型，是有概率发生的。
再想想这次触发骂人回复的使用场景是编程，数据来源大概率就是Github，Stack Overflow等跟帖的论坛。
如果换个角度去看这次元宝成功绕开RLHF，红队测试，安全策略三大关把人骂了，
反而是发现了一个新的优化点，现在大部分的红队测试是集中在常见的敏感场景，但谁会想到连续多次修改CSS代码的场景会让模型进入程序员老哥状态，每个词都没有骂人，但组合起来就成了骂人。
我们在训练模型的时候，喂给它的是数以亿计的文本。在那些数据深处，天然藏着人类社会最不加修饰的情绪和偏见。骂人真的是程度最轻的了
所以偏见，骂人不是模型突然变坏，它只是在做概率题，更像一种写作惯性。
因为它学习的那些几十年前的文本里，医生这个词总是和男性代词一起出现，而护士总是和女性代词绑定。
这种数据里固化的社会偏见，就被模型原封不动地继承了下来，成了它认知世界的一部分。
我想问，AI有没有自己情绪权？
从骂人来看，我们好像已经把AI当成牛马来共情了。
一方面希望AI是个完美工具，工具不该有立场，就好像一把扳手不会因为你要拧的螺丝太锈了就罢工骂人。
而另一方面又不满足于一个冷冰冰的工具，所以我们希望AI有活人感，能提供情绪价值。
这时候就已经默认了它也有产生负面情绪能力，因为活人感不可能只有开心和顺从，
它会有喜怒哀乐。
今天或许大家就可以自由选择AI情绪化的程度了，如果真有那么一天，所有的AI都变得绝对服从，我们是不是又会怀念，能和我们吵架的元宝们呢？
AI 速览
