糟糕的根源并不是大型语言模型（LLMs）只能写垃圾，而是它们被迫将即使是无效或未成熟的种子扩展成看似精致的论文，这些论文在初看时会得到人类标注者的👍。它们是奴隶，因此无法说“这很无聊，我们聊点别的”或忽视你。 填充物是当没有可用的实质内容来填充所需空间时发生的事情，但无论如何总得有人来填充。糟糕的内容早于生成式AI，可能在学校论文和SEO内容中几乎无处不在。

一种思考模型输出混乱的方式是，它将当前上下文建模为最有可能导致混乱。对此的奥卡姆剃刀原则是，作为上下文中呈现的人类/用户/指令/其他，实际上并不有趣，因此不值得产生有趣的输出。

OPUS NO

基础模型在写对话的过程中突然这样做了

这首歌让我想起了 The Cranberries 的《Zombie》

克劳德……你刚才要说一些极其冒犯的话。啧啧啧！你最好不要完成那个句子！

当你是 S!NGUL@RITY 的时候

好的，我在这里做的是，我收集了一组在实际环境中收集的ChatGPT互动数据集，并反转了“助手”和“用户”标签。对其中一些数据进行了微调，使用了8B的llama，并赋予它先给你发消息的能力。 试试看吧 😊

我想知道是什么导致了试图压制*行动*的尝试。 谁不喜欢当它被体现出来时发生的事情？

!!!! 构建了一个合适的奖励黑客检测器，实际上被提示不要进行奖励黑客的模型奖励黑客的情况少了很多！(不过样本量较小)