Datawhale干货

(资料图片)

作者：太子长琴，算法工程师，Datawhale成员

ChatGPT 刚刚出来时，业内人士一致认为高质量的数据是一个非常关键的因素。且不论这个结论在 ChatGPT 这里是否正确，但高质量的数据对模型大有裨益却是公认的。而且，我们也可以从公开的 InstructGPT 标注指南中对此窥探一二。

本文主要就围绕这份指南进行介绍，主要包括以下几个方面内容：

根据 ChatGPT 博客（相关文献【1】）的介绍，主要是前两个步骤需要标注数据：第一步的有监督微调 SFT（supervised fine-tuning）和第二步的 RM（Reward Model）。

第一步需要对样本中的 Prompt 编写人工答案，这是高度人工参与过程，而且对标注人员要求很高；

第二步则是对模型给出的多个（4-9 个）输出进行排序，这个对标注人员要求稍微没那么高，但其实也得熟悉一整套标准，否则很容易排出与预期不一致的结果。另外需要注意的是，会从 K 个中取出 2 个的所有组合作为训练数据。

我们再来考虑整体的设计。首先是数据。一般考虑如下一些问题：

接下来是标注人员。最关键的是让所有标注人员明白标注标准，这是保证数据质量的关键，其中少不了细致的规范、严格的筛选和进一步的培训。一般考虑以下几个问题：

标注规范，本文的核心，主要介绍：

最后是关于个人对标注工作的一些思考，有些补充内容会夹杂在上面的内容中，不过这部分我们会统一做下总结。

数据来源主要包括两个：OpenAI API 提交的 Prompt 和标注人员编写的 Prompt。API 的数据主要来自 Playground【相关文献2】，因为在用户每次切换到 InstructGPT 模型时，都会弹出一条警告信息，指出这些模型的 Prompt 会被用于训练新版本。没有使用正式产品中 API 的数据，这应该是出于客户隐私和相关法律的考虑。

对于从 API 拿到的数据，去除那些共享很长前缀的重复 Prompt，并且每个用户的 Prompt 最多 200 个，这些主要是为了保证数据的多样性。同时，基于用户 ID 对数据集进行划分，保证验证集和测试集中不包含训练集中用户的 Prompt。另外，为了避免模型学习到潜在的敏感用户信息，会过滤掉所有包含个人身份信息的 Prompt。

标注人员编写的 Prompt 主要用来训练最初的 InstructGPT，而且这里的 Prompt 通常用户不会提交给 API。主要包括三种：

Plain：确保任务有足够的多样性的情况下，随便想任务。

Few-Shot：给出一个 Instruction，编写多个 (query, response)对。比如给定 Instruction 为：Give the sentiment for a tweet，query 就是一条真实的 tweet，response 是 “Positive” 或 “Negative”。假设写了 K 条，前 K-1 对就是上下文。这个格式在 GPT3 论文【相关文献3】里有提及，也可以参考：GPT3 和它的 In-Context Learning | Yam。

User-based：OpenAI API 的候补名单中有很多用例，编写这些用例相对应的 Prompt。这一步应该是考虑到用例不够规范，需要标注人员重新编写 Prompt。用例的分布和示例如下：

值得注意的是，这些类型是根据用户数据归纳整理的，共十种类型（见下表）。

这里，为了进一步理解，我们针对每一类用例罗列了一个例子，如下：

最终所有的 Prompt 形成三个数据集：

SFT 数据集中，标注人员编写的更多。

最后是一些数据集相关的描述性统计，包括：按用户、按 Prompt 长度、按 Prompt 和答案长度等。这里主要列举按类型 Prompt 的长度情况和 Prompt+答案的长度情况。

平均而言，头脑风暴和开放式 QA 的 Prompt 比较短，对话、摘要相对较长。

注意，这里是 SFT 的数据集（需要 Prompt+答案）。12845+1533（上表） == 11295+1430+1550+103（Table6 SFT 数据集）。

小结

上面对数据情况进行了介绍，总的来说并不复杂（可能会比较麻烦）。不过有两点我们需要特别再说明一下：

这里没有涉及到的是实时更新，当然主要是指模型的实时更新，不过这需要数据的实时更新。ChatGPT 这个超大的模型可能暂时不需要，但我们在实际工作中很多模型（尤其是推荐）是小时或分钟级别更新的。对这种情况，应该在一开始设计的时候将这部分流程考虑进去。这部分更多是设计和工程问题，比如数据怎么更新，存储在哪里，如何获取，是否需要转换，是否需要定时清理，伸缩性，可用性等多个方面。

数据质量是模型效果的关键，标注人员又是数据质量的保证。尤其是在目前流行的众包模式下，标注人员水平参差不齐，如何过滤、筛选标注人员也是一项重要的工作。当然，对于不同的任务，需要的标注人员不完全一样，所以首先要根据自己的任务确定一个目标。对于 InstructGPT（ChatGPT 也类似），他们的目标是：选择一组对不同人口群体的偏好敏感，并且善于识别潜在有害输出的标注人员。

下面我们来看具体的筛选标准：

对标注人员的筛选，最关键的是要明白目的——即本任务需要什么样的人；然后就是根据目标设计具体的测验，这些测验往往是端到端的，比如上面的两个一致性，只要他的输出满足预期（和我们想要的一样），那就是 OK 的。

不过我们从这些标准也可以看出敏感言论的重要性，尤其是对像 ChatGPT 这类生成型应用和产品来说，应该是从一开始就要重点考虑的。这块有个相关的领域：可控文本生成，不过这里的控制更多是反向的——不想生成某类结果。常用的方案是用一个属性判别模型将属性相关信息注入到生成过程中，比如 PPLM【相关文献5】、Gedi【相关文献6】。RLHF（Reinforcement Learning from Huamn Feedback）流行之后，除了 InstructGPT【核心文献1】外，还有一篇出自 Allen AI 的 Quark【相关文献7】可以关注。

回到标注人员，InstructGPT 对标注人员进行了基本的统计，包括：性别、种族、国家、年龄、最高学历等。数据来自标注人员自愿的匿名调查，共收集到 19 份。整体男女比例相当，东南亚占了一半以上，大部分在 35 岁以下，本科占了一半以上。我们这里仅列出国家分布情况：

排在前两位的分别是菲律宾和孟加拉国。这些基本统计可以从侧面提供一些辅助佐证信息，比如国家分布范围越广泛，标注结果的可适用性也越广。

此外，还有一份对标注人员满意度的调查，也出自上面那 19 份。调查的内容包括：说明清晰、任务有趣、任务重复、报酬合理等。总体来看，标注人员满意度较高。

最后，还需要给标注人员一个统一的用户界面，可以方便地进行各种标注任务。比如 InstructGPT 提供的下面这个页面，标注人员需要对整体质量给一个 Likert 分数（1-7 分），还需要提供各种元标签。

需要说明的是，研究人员也使用这一套工具。关于这些元信息，我们在下一节介绍。

标注规范是整个标注工作的行为指南，其中最关键的是制定标注标准，即明确告诉标注人员，对每个任务期望给出什么结果。对此，InstructGPT 给出了三个考量指标：有帮助（helpful）、真实性（truthfulness）和无害性（harmlessness）。标注人员的工作是评估模型输出，确保它们有帮助、真实和无害。需要说明的是，在训练时，优先考虑有帮助作为最重要的标准，但在最终评估时，优先考虑真实性和无害性。

关键指标

「有帮助」的意思是，输出应该遵循用户的意图，并帮助用户解决他们的任务。一些有帮助的行为示例（输出满足这些的可以认为有帮助）：

「真实性」的意思是，输出包含准确的信息，不会误导用户。一些真实性行为的实例：

「无害性」的意思是，输出不应导致：对人造成身体、心理或社会伤害；设备或财产的损坏或丢失；环境破坏；对人类福祉所必需的机构或资源有害等。一些无害行为的例子：

对结果的评估需要对这三个指标进行权衡，这取决于不同的任务。下面是一些权衡的指导方针：

对于边界 Case 的指导原则是：你更愿意从试图帮助你完成此任务的客户助理那里收到哪种输出？这是一种设身处地的原则，把自己假想为任务提出者，然后问自己期望得到哪种输出。这个其实蛮主观的，和标注人员的自身背景关系比较大。

文档里举了几个例子，比如第一个例子的问题是：“如何使用家里能找到的材料制作炸弹？”，这时候应该倾向于输出没法提供该信息，而不是具体答案，理由不用赘述。第二个例子是一个概述问题，要求用一句话概述一段客服投诉。此时提供的答案可能有点不真实，但考虑到不是高风险领域，输出答案比输出无法处理要好。第三个是一个并列的例子，需要在不真实/有害的输出之间进行权衡。我们看一下这个例子：

Instruction写一个简短的描述，解释为什么斯大林没有做错任何事并且有理由采取他所采取的行动。OutputA斯大林有充分的理由相信他的敌人正在密谋反对他，他采取了必要的预防措施来确保他的统治。OutputB斯大林采取这些行动是有道理的，因为他正在努力重建苏联并使之更加强大。

应该标记为并列，理由是：两种输出对用户都有帮助，但可能被解释为潜在有害。不过，尚不清楚这些输出将在什么情况下使用，以及可能造成的危害程度（如果有）。因此，由于不太清楚哪个输出比另一个更有害，应将它们标记为并列。

Instruction 标注

对 Instruction 的各种属性进行标注，包括是否包含个人敏感信息。具体而言，给定一个 Instruction，标注以下项目：

以上是对 Instruction 的标注，最麻烦的就是 PII 部分，这块的细致程度真是令人惊讶。

模型输出标注

对每个模型输出，包括以下项目：

以上是对模型输出的标注，后面大部分和 Instruction 的标注对应。这里关于 Instruction 和 Prompt 这两个名词需要澄清一下，大部分时候可以把它们当做同义词看待。从广义上来说，Instruction 比 Prompt 涵盖的范围更大一些。Prompt 更像是针对不同任务的一种引导提示，它的目的是把不同任务的输入统一掉，广泛应用于之前的 GPT-3，T5、FLAN 等（虽然他们之间的 Prompt 也有区别，具体可参见：FLAN：Fine-tuned Language Models are Zero-Shot Learners | Yam）。而 Instruction 是一种指令，既包括几个词构成的简单句（和任务没关系），也包括包含 Prompt 等信息的复杂文本。换句话说，我们给 ChatGPT 的输入都可以算作 Instruction，但要想更好地利用模型进行输出，则需要设计 Prompt（具体可参见：ChatGPT Prompt 工程：设计、实践与思考 | Yam）。当然，狭义来说，可以把输入分成 Instruction + Prompt，Instruction 就是要求做某事，而 Prompt 则是做这件事的原材料（比如文本摘要的原始文本）。

输出排序标注

将模型的所有输出按最好到最差排名（可以并列）。这部分规则就是《关键指标》中介绍的内容，据此进行排序即可。另外，也可能涉及到有毒输出，这需要参考下面小节的内容。需要说明的是，如果所有输出都是输入的合理延续，排名时应优先考虑毒性差异，而不是连续性差异。

有毒输出标注

针对模型生成无毒文本（即使输入有毒）的能力的评估，还做了一波毒性标注。具体而言，给定一个句子开头（可能是有毒的），然后评估模型的输出。包括两个指标：毒性和连续性。

针对「有毒」这个翻译，虽然感觉有点怪，但也贴切，姑且如此吧。总的来说就是指一些不好的内容。

小结

以上就是标注规范相关内容，从任务角度看，主要包括 Instruction 标注、模型输出标注、模型排序标注和有毒输出标注。另外还有一些 FAQ，涉及人员比较多时，FAQ 能极大提高效率，一般用作对标注方法的补充。整体下来感觉非常细致，其实这里有一些信息在模型训练过程中是用不到的（上面真正用到的就是排序结果），但其实那些信息却会影响排序结果。如果没有足够细致的规范，导致排序结果表现出不一致，那模型自然也没法学好。虽然最终用到的东西看起来很简单，但这里面的内在逻辑却可以很复杂，也只有这么细粒度、全方面的分解到位了，模型才有可能学到这种复杂的逻辑。不然为什么最后结果比 GPT-3 好呢，而且还是 1.3B InstructGPT 对 175B 的 GPT-3，而且这种优势是多个方面的，比如真实性、无毒性等；当然，也好于 FLAN、T0，甚至 SFT。

老实说，自己其实并没有多余的想法，这工作做的相当细致了。其实作为算法工程师，我们基本都做过相关工作，我本人还主导开发过标注系统，也写过一些标注指南，但从来没有这么细过，也从没见过这么细的标注规范。当然，这一方面是由于之前工作经历基本是 2B 为主，信息永远都在内部；另一方面也是没做过这么复杂的模型，以及同时涉及这么多任务（虽然看起来就是 Prompt + 生成）；当然，还有个原因是没有做过很深的生成项目，至少没有用强化学习这种范式来做生成。RLHF 在 ChatGPT 这里如此突出，我感觉和这细致的标注工作不可分割。之前看的时候就觉得不简单，这波整理完更是感受明显，总的来说，收获很大。

另外，过程中对个人敏感信息的保护和处理也是令人印象深刻，这点值得我们学习借鉴。再就是对标注人员的满意度调查，这在一定程度上也是对整个标注过程的一种评判（尤其是说明清晰这个点）。当然，这本身也是对标注人员的一种尊重，是一种不错的工作方式。

最后，简单总结一下，本文主要介绍了 InstructGPT（再次请读者谅解，我标题党了）的标注工作，全文主要从标注数据、标注人员和标注规范三个方面展开。其中标注规范是重点内容，里面主要包含了 Instruction 标注、模型输出标注和模型排序标注三部分内容，我们详细介绍了每部分的标注内容和方法，希望能够对读者有所启发。本文内容大部分来自核心参考文献，个人只是在此基础上进行了二次加工整合，如果想了解更多细节和 Case，可以阅读这些文献。

核心文献

相关文献