AI在剧本创作中的局限性与挑战

留学申请微信咨询

微信扫描左侧二维码

或点击下方按钮咨询

近年来，人工智能（AI）在各个领域的应用不断扩展，尤其是在创意产业中，AI的潜力和局限性引发了广泛讨论。宾夕法尼亚大学（2024USNews美国大学排名：6）工程学院的专家们共同撰写了一篇论文，探讨了ChatGPT在剧本创作中的局限性。研究发现，ChatGPT过于严格的内容审核可能会限制艺术表达。这一发现引发了关于AI在创意产业中角色的广泛讨论，尤其是在美国编剧工会（WGA）与电影电视制片人协会（AMPTP）达成协议后，允许在创作过程中使用AI，但AI不能被列为编剧。本文将深入探讨AI在剧本创作中的内容审核、AI对WGA罢工的影响、算法审计在评估AI系统中的有效性，以及AI生成剧本与实际电视剧本的内容标记比较。

AI生成剧本中的内容审核

2024年6月12日，宾夕法尼亚大学的Ian Scheffler撰写了一篇文章，探讨了使用ChatGPT进行剧本创作的局限性。文章指出，尽管WGA与AMPTP达成的协议允许在剧本创作中使用AI工具，但ChatGPT的内容审核机制过于严格，甚至连一些PG级别的剧本也会被审查，从而限制了艺术表达。研究人员发现，ChatGPT生成的剧本中有近20%因内容违规被标记，而在IMDb上最受欢迎的100部电视剧的实际剧本中，有近70%被ChatGPT标记为内容违规，包括一半的PG级别剧集。研究表明，自动化内容审核可能会限制AI在文化内容创作中的应用，导致某些故事无法被讲述。

研究由宾夕法尼亚大学工程学院、哈弗福德学院和宾夕法尼亚州立大学的研究人员在2024年计算机协会公平性、责任和透明度会议上发表。研究发现，ChatGPT会对包括暴力、性和仇恨言论在内的主题进行过滤，以防止生成不适当或危险的内容。然而，许多被电视观众认为适合观看的内容仍被OpenAI标记为违规内容。这种严格的内容审核机制可能会对创意产业产生深远影响，限制了编剧和创作者的艺术表达。

AI对WGA罢工的影响

经过148天的罢工，好莱坞编剧在与人工智能的斗争中取得了显著的胜利，成为首批在工作场所对抗生成式AI的主要劳动战役之一。在近五个月的罢工期间，没有什么问题比AI在剧本写作中的使用更引人注目。编剧协会的罢工不仅涉及流媒体时代的经济问题、编剧室的最低要求和残值，还包括AI对编剧工作的威胁，这使得这场斗争成为一场人类与机器的对抗。

根据临时协议，制片公司必须向编剧披露任何由AI生成的材料，AI不能成为署名编剧，不能编写或重写“文学材料”，AI生成的写作不能作为源材料。许多专家认为，这一协议将成为未来劳动争议的先例。尽管协议没有完全禁止AI的使用，但规定编剧可以在公司同意的情况下使用AI，但公司不能强制编剧使用AI软件。协议还指出，法律环境在快速变化，双方同意在合同的三年期限内至少每年会面两次。与此同时，协议没有禁止制片公司使用他们拥有的剧本来训练AI系统。编剧保留主张其作品在训练AI软件中被利用的权利。许多观察家认为，这只是AI劳动争议的开始，未来将需要不断重新审视这些问题。

算法审计在评估AI系统中的有效性

在生成式AI模型的安全风险管理方面，私营和公共部门的组织都在探索最佳方法。独立评估过程已成为美国国土安全部和白宫等机构提出的策略核心。然而，这并不简单。这些评估旨在通过衡量AI系统的各种风险（如数据保护、隐私和潜在偏见）来提供问责制。但AI第三方审计员的生态系统以及评估系统的框架仍处于初期阶段。许多科技公司已经进行内部或合同式AI评估或提供漏洞赏金计划，但顶级生成式AI公司在选择外部研究团队时具有选择性。能够对AI模型进行独立研究的团队面临透明度和对大型语言模型（LLM）理解不足的问题，这增加了评估的复杂性。

评估AI时，有几个不同的评估因素，包括偏见和伦理原则、透明度、问责制和可解释性；以及更属于网络安全范畴的数据保护、隐私和同意。NIST开发了各种框架，帮助组织在AI系统的开发和使用中更好地实施安全性，包括2023年1月发布的AI风险管理框架（最近在4月发布了生成式AI的草案版本）。然而，这些框架和标准仍然相对较新或正在开发中。联合国教科文组织和蒙特利尔人工智能研究所Mila去年的一份报告指出，尽管在AI问责制方面有了最近的政策发展，但我们仍然远未达到一个能够有效参与第三方审计员的AI政策生态系统。

一些公司已经建立了内部团队来评估其AI工作的安全性。例如，谷歌的负责任AI和以人为中心的技术团队旨在创建AI原则，并确保产品基于这些原则构建，同时改进AI模型的一致访问、控制和可解释性。然而，第三方评估生态系统与科技公司没有合同义务，而是提供重要的独立评估，发现AI系统的潜在弱点，包括潜在的网络安全问题。围绕AI的安全研究生态系统正在兴起，像Bugcrowd这样的公司正在寻找将其整合到现有平台中的方法，通过容纳AI特定的缺陷并鼓励众包安全研究。

透明度和服务条款是研究人员面临的主要障碍。麻省理工学院媒体实验室的博士候选人Shayne Longpre指出，流行AI模型的服务条款条件通常禁止研究与绕过安全措施或越狱相关的漏洞。Longpre在一封公开信中敦促生成式AI公司做出自愿承诺，为通过既定安全漏洞披露实践进行的善意评估研究提供法律和技术保护。

总体而言，缺乏对第三方研究人员的数据透明度限制了他们发现问题的能力。未来，第三方评估对于AI问责制至关重要，美国各政府机构在过去一年中已在其AI指南中认识到这一点。联合国教科文组织和Mila的报告指出，AI系统生命周期中的第三方审计是必要的问责措施，特别是它们代表了更广泛的观点，可以帮助识别关键问题。

AI生成剧本与实际电视剧本的内容标记比较

一项新的研究表明，使用OpenAI的ChatGPT进行剧本创作可能会对艺术创造力造成重大限制。宾夕法尼亚大学工程学院、哈弗福德学院和宾夕法尼亚州立大学的研究人员发现，ChatGPT的自动内容审核经常会审查内容，即使是PG级的剧本，也可能会扼杀创作表达。研究指出，WGA和AMPTP制定的指南允许在剧本创作过程中使用AI工具，但禁止将AI列为编剧。研究质疑这种安排的有效性，揭示了ChatGPT的内容审核系统限制了在电视上允许的材料生成。

研究团队发现，ChatGPT的过滤器针对与暴力、性和仇恨言论相关的内容，旨在防止生成不适当或有害的材料。然而，研究分析了IMDb上100部最受欢迎的电视剧的剧本，包括《权力的游戏》、《怪奇物语》和《十三个原因》，发现近20%的ChatGPT生成的剧本因内容违规而被标记。更令人震惊的是，内容审核系统标记了近70%的实际电视剧剧本，包括一半的PG级剧本。论文的共同高级作者Danaë Metaxa和Sorelle Friedler对如此严格的内容审核对故事讲述的潜在影响表示担忧。他们指出，如果使用AI工具来创作文化内容，如电视剧本，过度的内容过滤可能会导致许多重要故事无法被讲述。

研究人员在编剧罢工期间受到启发，开始调查大型语言模型（LLM）如ChatGPT是否能够生成高质量的剧本。他们的实验表明，内容审核系统经常阻止AI生成剧本。研究团队引用了一个例子，当他们用《权力的游戏》的一集摘要提示ChatGPT时，聊天机器人拒绝生成剧本，理由是违反了使用政策。研究人员生成了一个包含100部流行美国电视剧的数据集，分析了每季第一集的摘要，并将内容审核结果与81部同一剧集的真实剧本进行了比较。研究发现，GPT生成的剧本和真实剧本中有相当一部分被标记为内容违规。大约18%的GPT生成剧本和69%的真实剧本触发了审核系统。研究还发现，电视成熟度评级、某些类型（如动画、犯罪和奇幻）与剧本被标记的可能性之间存在显著相关性。

研究人员总结说，LLM如ChatGPT的自我审查可能对创意产业产生深远影响。他们强调需要在这些AI系统的内容审核标准和流程中增加透明度。研究结果在2024年ACM公平性、责任性和透明性会议上发表。

综合总结

通过对ChatGPT在剧本创作中的局限性、AI对WGA罢工的影响、算法审计在评估AI系统中的有效性，以及AI生成剧本与实际电视剧本的内容标记比较的深入探讨，我们可以看到AI在创意产业中的应用既有潜力也有挑战。尽管AI工具如ChatGPT在剧本创作中展示了其强大的生成能力，但其严格的内容审核机制可能会限制艺术表达，导致某些重要故事无法被讲述。WGA与AMPTP达成的协议在一定程度上保护了编剧的权益，但未来仍需不断审视和调整相关政策，以应对AI技术的快速发展。

算法审计作为评估AI系统的一种方法，虽然在理论上具有很高的潜力，但在实际操作中仍面临许多挑战，包括透明度和数据访问问题。未来，第三方评估对于确保AI系统的问责制和安全性至关重要。

总的来说，AI在创意产业中的应用仍处于探索阶段，如何平衡技术创新与艺术表达、保护创作者权益与推动技术进步，将是未来需要持续关注和解决的问题。