법률 생성형 AI: 답변의 정확성과 퀄리티가 가장 중요

By Simon Weierman

법률 전문가는 고객과 상담하거나, 사업 계약서 초안을 작성하거나, 법원에 제출할 법률 문서를 작성할 때 법률 리서치 솔루션의 정확성과 다양한 기능을 가장 많이 사용합니다. 법률 데이터베이스 솔루션을 사용할 때, 검색결과가 부정확하거나 응답이 없는 결과는 법률 전문가의 업무에 영향을 미쳐 변호사의 신뢰를 잃게 할 수 있습니다.

법률 전문가는 계약서 및 합의서 초안을 작성할 때 정확한 법률 리서치에 의존해야 합니다. 판례를 참고하면 기존 해석과 일치함을 확인하여, 소송 위험을 줄이고 승소 예측 가능성을 높일 수 있습니다. 현행 규정을 검토할 때는, 업데이트 된 최신 규정을 준수할 수 있습니다. 이는 변화가 잦고 활발하게 논의되는 분야에서는 더욱더 중요합니다. 규정을 준수하지 않으면 계약을 이행을 할 수 없게 되거나 벌금이 부과될 수 있습니다. 판례와 규정을 반영하여 만들어진 법률 문서는 모든 이해 당사자의 이익을 보호합니다. 이는 생성형 AI 도구의 등장으로 더욱 중요하게 되었으며, 일부 범용 생성형 AI는 'Hallucinated' 된 답변을 제공하기 때문에, 로펌은 법률 전문가들을 위해 만들어 진 법률 생성형 AI를 사용하기를 권정하고 있습니다. 

2023년, 작년 많은 변호사들이 법률 리서치 업무에 범용 AI 를 사용했으나, 범용 Gen AI는 환각을 통해 나온 법률 리서치 결과를 제공하는 심각한 문제들이 드러나기 시작했습니다.  
이로 인해 점점 더 많은 로펌과 사내 법무팀은 법률 전문가를 위해 훈련된 법률 생성형 AI에 관심을 돌리고 있습니다. 변호사들은 기존 업무패턴에 효율적으로 통합될 수 있는 법률 생성형 AI 를 선택하기 전에 제품의 퀄리티 을 신중하게 고려해야 합니다. 이러한 이해를 돕기 위해 최근 로펌과 사내 법무팀에 가장 적합한 솔루션을 선택할 수 있도록 렉시스넥시스는 무료 가이드인 “The Definitive Guide to Choosing a Gen AI Legal Research Solution”를 발간했습니다.

이 가이드에서 다루는 핵심 사항 중 하나는 바로 결과의 퀄리티입니다.

3가지 주요 측정 기준

 법률 생성형 AI 솔루션을 평가할 때는 해당 솔루션이 조금 수정된 LLM만으로 구동되는지, 아니면 권위 있는 콘텐츠 데이터에 액세스하고 RAG 또는 다른 접근 방식을 활용하여 해당 데이터에서 내용을 추출하는지를 살펴봐야 합니다. 법률 생성형 AI 솔루션이 법률 지식이 필수로 필요하다면, 전 세계적으로 권위 있는 콘텐츠가 이를 뒷받침해주어야 합니다.  이러한 기술 모델은 쿼리에 반응하는 가장 포괄적이고 정확한 결과 집합을 표시하는 데 필요합니다.

법률 생성형 AI 솔루션의 내부 작동을 이해하고 답변의 정확성과 퀄리티를 평가하는 데 사용할 수 있는 몇 가지 중요한 부분은 다음과 같습니다:

1. 포괄적인 결과물

법률 리서치 및 초안 작성은 다양한 고객의 문제, 실무 분야 와 관할지역에 대해 생각해야 합니다. " end-to-end"를 표방하는 모든 법률 생성형 AI 솔루션은 각각의 실무자의 다양한 니즈를 충족하기 위해서 대규모 스토리지를 가지고 있고 그 안에서는 정확하고 가장 최신 법률 자료를 제공할 수 있어야 합니다. 이는 결과물에 관련된 모든 대규모 언어 모델의 기초 인사이트 역할을 하므로, 법률이 아닌 데이터를 포함하는 자체 사전 학습에 의존하여 부정확하고 잘못된 응답을 초래할 수 있습니다.

2. 시맨틱 (Semantic)검색

시맨틱(Semantic) 검색은 사용자가 입력한 단어의 행간을 읽어 의도를 파악한 다음 관련 개념과 검색어를 일치시켜 검색 쿼리의 기본 메시지를 이해할 수 있게 하는 기술 모델입니다. 이는 단순히 검색창에 입력한 텍스트와 일치하는 답변만 검색하는 키워드 검색과는 차이가 있습니다. 시맨틱 검색은 결과의 정확도를 높여 관련성이 높은 답변을 제공하기 때문에 불필요한 정보를 탐색하는 데 필요한 시간을 절약할 수 있기 때문에 법률 생성형AI 솔루션에 탁월한 모델입니다.

3. 인용 검증 및 근거 제시

법률 업계 관계자들은 범용 생성형 AI의 환각으로 존재하지도 않는 판례를 인용한 사건들을 많이 접했기 때문에 'Open Web' 의 AI 위험성에 대해 잘 알고 있습니다. 이러한 범용 생성형 AI 에서 제공되는 기본 콘텐츠는 대부분 오래된 정보이며, 인용할 수 있는 콘텐츠의 양이 부족하여 사실관계와 개념적 착각에 취약하기 때문에 사용에 어려움을 겪습니다. 신뢰할 수 있는 법률 생성형AI 솔루션은 권위 있는 법률 콘텐츠에 기반을 두고, 연결된 모든 법률 인용을 신뢰할 수 있는 인용 서비스에서 확인하여 검증을 보장하며, 검증 가능한 기관이 뒷받침하는 결과를 제공해야 합니다.

답변의 정확성과 퀄리티

법률 AI 솔루션을 평가할 때, 답변의 정확성과 퀄리티에 대해 솔루션 제공업체에 제기해야 할 몇 가지 질문이 있습니다:

• 솔루션이 검색 쿼리에 대해 응답하여 정확한 법률 콘텐츠에 액세스할 수 있는 1차, 2차 법률 데이터베이스의 규모는 얼마인가요?
• 이러한 기본 및 보조 소스에 액세스하려면 별도의 구독이 필요한 도구인가요, 아니면 하나의 제품 환경에 모두 통합되어 있나요?
  
  
• 키워드와 시맨틱 검색 기법이 함께 결합되는 러서치 옵션에는 어떤 것이 있나요?
• 법률 생성형 AI 결과에 인라인 인용과 답변 작성에 사용된 원본 소스 자료로 돌아가는 링크를 제공하나요?
  
• 환각의 위험을 최소화하기 위해 어떤 조치를 취하고 있나요?

Lexis+ AI 는?

Lexis+ AI는 혁신적인 법률 생성형 AI 솔루션으로, 법률 리서치, 초안 작성, 법률 문서 요약 등의 기능을 제공하여 법률 생성형 AI 기술의 잠재력을 실현하고 있습니다.

Lexis+ AI는 탁월한 법률 콘텐츠와 획기적인 Gen AI 기술을 결합하여 법률 리서치 업무와 법률 전문가의 업무 방식을 재정의할 수 있습니다. Lexis+ AI는업계 최고의 데이터 보안과 개인정보 보호에 주의를 기울이는 LexisNexis의 정확하고 세계 최대 규모의 독점적인 법률 콘텐츠를 기반으로 합니다. 무료 평가판을 통해 법률 생성형 AI에 대해 더 자세히 알아보려면 여기를 클릭하세요.

"The Definitive Guide to Choosing a Generative AI Legal Research Solution"를 다운로드하려면, 여기를 클릭하세요.  

원본 블로그 기사보기: Assessing the Accuracy and Quality of Answers from Your Legal AI Tool