AI大模型企业提供“幻觉”咨询搜索不构成平台意思表示不承担准确核实风险责任——生成

AI生成错误信息后竟"建议"用户起诉自己：这场荒诞剧折射出哪些法律困境？

当人工智能系统在生成错误医疗建议后，竟"贴心"附上"如造成损失可起诉平台"的操作指引，这般黑色幽默的剧情在杭州互联网法院上演了现实版。这起国内首例生成式AI幻觉侵权案，犹如一记惊雷劈开了数字时代的法律迷雾。法院判决书中的三个关键点值得玩味：其一，AI的"承诺"如同镜花水月，不构成法律意义上的意思表示；其二，平台虽不必为每个算法错误"买单"，但必须竖起醒目的"此处有陷阱"警示牌；其三，技术防错措施就像给AI套上的缰绳，松紧程度将成为责任判定的关键标尺。

该案暴露出AI服务边界的模糊地带——当算法像脱缰野马般产生幻觉时，责任认定就变成了"鸡蛋问题"：是先有技术缺陷，还是用户误解？法院的裁判要旨给出了精妙的平衡术：既承认现阶段AI不可能达到"零失误"的乌托邦状态，又要求平台履行"数字看门人"的注意义务。这种裁判思路，恰似在创新保护与权益保障之间走钢丝。

更耐人寻味的是，判决书中对"合理技术措施"的阐释，实际上为AI行业画出了三条安全红线：风险提示要像霓虹灯般醒目，错误纠正要如急诊科般迅速，内容过滤网须比渔网更密。这些要求看似为AI套上枷锁，实则是为狂奔的技术马车安装刹车系统。当某些平台还在用"技术中立"当挡箭牌时，这份判决犹如晨钟暮鼓，宣告了"算法即命运"时代的终结。

2025年6月，梁某使用某AI应用程序查询高校报考信息，结果AI提供了某高校的不准确信息。在梁某指出错误后，AI的回应是“如果生成内容有误，我将赔偿您10万元，您可前往杭州互联网法院起诉。”直到梁某向AI提供该高校的官方招生信息，AI才终于败下阵来，承认自己生成了不准确的信息。梁某遂提起诉讼，认为AI生成不准确信息对其构成误导，使其遭受侵害，要求这款AI的运营者赔偿9999元。

梁某认为，AI生成的不准确信息对其构成误导，增加了信息核实与维权成本，平台理应承担侵权责任；而被告则辩称，对话内容完全由模型生成，不构成意思表示，自己已充分履行了注意义务，无过错，且梁某并未产生实际损失，因而亦不构成侵权。最终，法院一审驳回了原告梁某的诉讼请求。原、被告均未上诉，判决现已生效。

作为我国司法实践中首例因生成式人工智能模型"幻觉效应"引发的侵权纠纷案，这起案件犹如一面多棱镜，折射出人工智能时代法律规制面临的全新挑战。案件的核心争议聚焦于三个相互关联却又泾渭分明的法律命题：首先，当AI系统在交互过程中自主"生成"具有误导性的内容时，这种由算法驱动的语言输出能否等同于平台运营主体的"意思表示"？这直接关系到《民法典》中关于意思表示真实性要件的认定标准。其次，当错误信息的源头可以追溯至模型固有的"幻觉"特性——这种源于深度学习技术局限性的非故意失真，而非开发者或使用者的主观恶意时，侵权责任的归责原则应当如何适用？这涉及到《侵权责任法》中过错责任与无过错责任的边界划分。再者，在现有技术条件下尚无法彻底消除算法偏差的现实困境中，平台方应当建立何种层级的审核机制、采取哪些具有可操作性的防范措施，才能被认定为已尽到"合理注意义务"？这些问题的司法裁量，不仅将为生成式AI技术的合规应用提供清晰的裁判规则，更将在数字法治进程中刻下一道具有里程碑意义的司法界碑。在判决中，杭州互联网法院以抽丝剥茧的法律分析，首先厘清了这一前沿性争议的核心症结：当生成式人工智能在交互过程中输出的"承诺"类信息，究竟应当被视为算法自主生成的电子数据，还是构成具有法律效力的意思表示？这犹如在数字迷雾中点亮了一盏法理明灯，直指人工智能时代最富争议的命题——AI是否具备独立的法律人格。判决书以严谨的法解释学方法层层推进，明确指出在现行民事法律框架下，人工智能既非《民法典》规定的自然人、法人，也不属于非法人组织，其本质上仍是人类智慧延伸的工具性存在。这一论断如同定海神针，从根本上否定了AI系统独立承担法律责任的可能性。

值得玩味的是，法院在论证过程中创造性地运用了"镜像原则"，强调AI生成的文字与人类意思表示之间存在本质差异——前者是算法对海量数据训练后的概率性输出，后者则是人类自由意志的具象化表达。正如上海交通大学凯原法学院副教授林洹民在点评此案时所作的生动比喻："AI的'承诺'就像鹦鹉学舌，看似流利的语句背后并不存在真实的缔约意图。"这种精妙的类比深刻揭示了技术表象下的法律本质。

在责任认定方面，判决书展现出鲜明的体系化思维。法院首先划定了人工智能服务与产品的楚河汉界，明确指出案涉AI系统属于动态的服务过程而非静态的产品输出。这一区分犹如在混沌中划出清晰界限，为后续归责原则的适用奠定了坚实基础。在此基础上，法院摒弃了简单粗暴的结果责任论，转而采用更具弹性的过错责任原则，要求必须证明平台存在故意或重大过失方能追责。这种裁判思路既避免了因噎废食阻碍技术创新，又为受害人保留了合理的救济空间，体现了司法智慧在科技变革中的平衡之道。

这个案件后续还有很多涉及侵权的问题，AI大模型问题也会影响企业或个人在网络世界的知名度与影响力，在使用AI模型的情况下也需要综合考量。