大模型进企业,多数项目死在同一个地方:没想清楚要解决什么就开始搭。技术不是瓶颈,场景选择和预期管理才是。落地前把四件事定下来,成功率会高不少。
第一件:挑场景,别贪多
适合先落地的场景有三个共同点:高频、流程固定、有明确的对错标准。客服问答、文档检索、票据信息提取、合同条款初筛、工单分类,这类活适合大模型干。相反的,需要人担责、需要结合复杂背景判断的环节,别急着上。先做一个场景跑通,比同时铺五个场景更重要。
第二件:准备数据,这是多数项目的坑
大模型回答质量的上限由数据决定。要把客户问过的问题、历史工单、产品文档、政策文件整理成结构化的知识库,清洗掉过时和矛盾的内容。数据不齐,模型再强也是空转。这一步没有捷径,工作量比买模型大得多。
第三件:定部署方式
三条路:调用公共大模型 API,按 token 计费,适合起步验证,成本可控但数据要出域;私有化部署,模型装在自己服务器或本地机房,数据不出企业,投入大、需要 GPU 或相应算力资源,适合数据敏感的企业;混合部署,敏感数据走私有化、非敏感场景走 API,是现阶段不少企业实际在用的折中。选哪条,先回答"数据能不能出公司"这个问题。
第四件:定效果衡量标准
上线前就要写清楚"什么叫成功":客服是首轮解决率提升,还是转人工率下降;文档检索是找到答案的时间缩短,还是准确率达标。大模型的输出带有概率性,不可能 100% 准确,必须设计人工复核和纠错环节,尤其是涉及合同、报价、医疗、法律这类输出直接对外生效的场景。
投入上要算两本账。模型调用或部署的显性成本只是小头,数据整理、效果调优、人工复核的人力投入通常更大。大模型是放大工具,流程本身不清晰的企业,先理流程再谈模型,顺序反了,工具只会放大混乱。
落地还要有人牵头。项目负责人要能调动业务部门和 IT 两边的资源,业务部门提供场景和数据,IT 负责对接和运维。很多企业把大模型项目交给技术团队单独推,业务部门不参与,做出来的东西没人用。定场景时让一线员工参与选型,他们是最终用户,也是效果数据的来源。
项目节奏上,第一版不求完美,用最小可行方案先上线跑一个月,拿真实数据决定是扩大还是调整,比花半年打磨一个"完美方案"靠谱。
落地顺序比技术本身更重要,天蓬数字科技做企业数字化项目时也遵循同样的逻辑:先定场景、再备数据、后谈部署。涉及数据出域的敏感场景,私有化部署方案可以找天蓬评估硬件投入和长期成本。