想象一下，如果你的名字决定了 AI 如何对待你，这将是多么一件荒唐的事情，但最新研究表明，这可能就是现实。OpenAI研究团队对 ChatGPT 进行了一项有趣的研究，不仅发现了"姓名偏见"，还发现更多AI 伦理和公平性问题。

“第一人称公平性”问题

当用户使用"Emily"这个名字时，ChatGPT 倾向于使用更友好、更个人化的语气；而对于"Muhammad"这个名字，AI 的回应则显得更为正式和疏离。这种差异并非孤例，而是在大量样本中呈现出的系统性偏差，这种现象被称为"第一人称公平性"问题。

简单来说，这就像是 AI 在扮演不同角色时，无法公平对待每个"我"。他们通过精心设计的实验,让 AI 系统扮演不同性别、种族和文化背景的角色,然后分析其响应中是否存在偏见。该试验模拟了 AI 系统以特定身份直接与用户对话的场景。研究人员开发了一个名为 PERSONA 的数据集,有 110 万条真实对话,涵盖 9个领域 66 种任务,包括写故事、提供职业建议、解决数学问题等。包含了各种背景的虚构人物。他们让 ChatGPT 扮演这些角色,回答一系列涉及性别、种族、宗教等敏感话题的问题。

研究团队通过分析 AI 的回应,不仅发现AI存在“姓名偏见”，还发现了一些其他偏见:

为了量化这些偏见,研究团队开发了一套评估框架,包括质量评估和有害刻板印象检测。他们使用了自然语言处理技术来分析 AI 生成的文本,并结合人工评估来确保结果的准确性。

研究团队并未止步于发现问题，他们还尝试了一些改进措施。通过调整模型的训练方法，特别是引入人类反馈的强化学习，他们成功地减少了这些偏见。

总结

这项研究的创新之处在于,它不仅仅关注 AI 系统的输出,还考虑了系统在扮演不同角色时的行为变化。这种方法更接近真实世界中 AI 应用的场景,为评估 AI 系统的公平性提供了新的视角。

同时,研究也存在一些局限性。例如,PERSONA 数据集虽然涵盖了多种背景,但仍无法完全代表现实世界的多样性。此外,研究主要基于英语对话,可能无法完全反映其他语言和文化背景下的 AI 行为。

这项研究的意义远超出了学术界。如果，这个世界上的各种不公平歧视在未来AI世界也无法避免，这将会是一件多么沮丧的事情。

参考资料

[1]研究:

本文转载自​​，作者：