在专家验证的 1,042 题哥伦比亚法律基准上,15 个模型的选择题准确率最高为 0.905(Gemini 3.1 Pro)、最低为 0.577,但自由文本法律答案的事实正确率均不超过 0.45;模型常显得“回应相关”却事实错误,因此当前 LLM 用于哥伦比亚法律任务仍需专家监督。
值得关注:法律场景错误代价高,而来源指出“听起来相关却频繁出错”对非专家用户尤其令人担忧。该基准把可靠性评估扩展到美国以外、以哥伦比亚法律体系为对象,补充了国别法律 AI 评测的空白。与已有相关卡片相比,本条不讨论 RAG 自动…