数据空间研究中心在大语言模型在法律领域应用方面取得了重大研究进展。
近日，数据空间研究中心在法律大模型研究领域发布了一项重要的研究成果，该成果以法律大语言模型为核心，融合了特定功能的法律推理链和智能体模块，极大提升了模型在复杂法律任务处理上的推理能力与准确性。随着法律大数据和人工智能技术的快速发展，法律大语言模型在法律咨询、审判预测、以及法律考试等领域的应用取得了显著进展。然而，由于现有法律大语言模型在处理复杂法律任务时存在推理能力不足、响应质量不稳定等问题，急需通过更有效的架构设计提升其整体表现。石镌铭同学自2024年开始针对法律大模型的研究展开调研，并与中国电子科技集团公司电子科学研究院等多方合作，开展了关于法律大语言模型的研究工作。经过一年多的研究，该研究成果以论文形式发表于国际会议《International Conference on Intelligent Computing》，论文题目为” LegalGPT: Legal Chain of Thought for the Legal Large Language Model Multi-Agent Framework”。
研究背景及挑战：
随着法律领域的数字化进程加速，大语言模型在法律任务处理中的应用越来越广泛，涵盖了法律咨询、判决预测、法律考试等多个重要领域。然而，尽管现有的法律大语言模型在一定程度上表现出色，但在处理复杂法律任务时仍然面临诸多挑战，主要体现在以下几点：1、推理能力的局限性：现有模型在处理复杂法律任务时常常无法进行深度语义分析和多步推理，导致推理质量不足，特别是在法律判决预测和法律咨询中，模型往往无法生成充分可信的法律推理过程。2、幻觉问题：法律大语言模型在生成推理时可能会出现幻觉问题，即生成与法律逻辑或真实情况不符的内容。这对法律领域的应用特别致命，因为任何错误的推理都会导致严重的法律后果。3、数据和知识库的局限性：当前的大模型依赖于有限的内部数据集和知识库，无法充分处理法律任务中涉及的广泛多样的法律条文和案例，导致模型对特定领域的问题解答能力受限，难以泛化。
研究创新点：
1.为解决上述挑战， LegalGPT通过引入特定功能的推理链、智能体协作机制和外部知识支持，显著提升了法律大模型在复杂法律任务处理中的性能。
2.推理链的引入：针对法律考试、法律咨询和判决预测三大核心任务，团队为每一类任务设计了专门的法律推理链。推理链能够引导大语言模型逐步完成从问题分析、法律条文识别到最终推理结果生成的全过程，确保推理过程符合逻辑。法律考试推理链：通过对问题选项进行详细分析和关联法律条文的判断，结合外部知识库的使用，提升模型对考试问题的推理准确性。法律咨询推理链：采用结构化方法，系统化处理用户咨询问题，确保模型输出的法律建议专业、准确且具有实际应用价值。判决预测推理链：基于法律三段论推理方法，模型能够通过分析相关法律条文和案件事实，进行逻辑推理以得出预测判决。
3.能体协作框架：LegalGPT框架通过引入多个功能特定的智能体来优化推理过程。每个智能体负责不同的任务模块，如法律文本检索、语义分析、推理过程控制等，智能体之间通过高效协作提升了整体的推理效率与准确性。该框架还解决了现有模型常见的“指令冗余”与“无限消息循环”问题，确保了多智能体协作的有效性。
4.知识库与反思机制：为应对法律模型中的幻觉问题，LegalGPT引入了外部法律知识库，模型可以根据实际需求从外部检索相关法律条文或案例，确保推理结果的合法性和可信度。此外，反思机制使得模型可以对初步生成的推理结果进行自我审查和修正，进一步提高了复杂法律问题的处理能力。
实验与评估：
为了验证LegalGPT框架的有效性，研究团队在多个具有挑战性的法律数据集上进行了广泛的实验测试，包括法律基础问题库、国家统一法律职业资格考试题库和中国法考模拟题等。这些数据集覆盖了不同层次的法律知识和应用场景，确保了实验的全面性和代表性。
在法律考试问题的测试中，LegalGPT在三个数据集上的表现显著优于其他现有法律模型，准确率分别比最高的基准模型高出15%、16%和20%。这表明LegalGPT在处理复杂法律考试问题时具有明显优势。
| Model | LBK | UNGEE | NJE |
| Ziya-LlaMA-13B | 43.27 | 40.94 | 25.70 |
| ChatGLM-6B | 42.91 | 39.69 | 31.66 |
| Baichuan-13B-Chat | 53.45 | 50.00 | 31.47 |
| LegalGPT | 68.17 | 64.19 | 60.01 |
在主观法律咨询和判决预测的任务中，研究团队设计了一个包含1,000个真实案例的主观数据集。通过专业法律人员对模型生成的法律建议和判决结果进行评估，LegalGPT在准确性、完整性、清晰度和语言质量方面均显著优于其他法律模型，特别是在语言质量和推理清晰度上表现突出。
研究总结与展望：
LegalGPT框架通过创新性地引入法律推理链、多智能体协作机制及外部知识库，不仅有效解决了现有法律大语言模型在处理复杂法律任务时推理能力不足和幻觉问题的瓶颈，还大幅提升了法律模型在实际应用场景中的表现。通过一系列的实验与评估，LegalGPT在法律考试、法律咨询和判决预测等核心任务中均表现出色，显著领先于现有的法律大模型。
未来，随着法律领域的数据和任务复杂性不断增加，LegalGPT框架有望在实际应用中得到进一步的优化和扩展。例如，可以探索更多外部知识库的整合、推理链的自动化生成及智能体的协同优化。此外，LegalGPT的多智能体框架与推理机制还可进一步应用于其他需要复杂推理与深度分析的领域，如金融法律、国际法及刑法等。
总之，LegalGPT的研究成果不仅为法律大模型的发展提供了重要的技术参考，也为推动法律科技的智能化应用开辟了新的道路。
