一、为什么要需要大小模型协同
随着大模型技术技术在各行各业中深入推进，通用大模型在行业应用时遇到了几个典型的问题，这些问题制约了AI技术的继续推广。
1.1、问题一：大模型部署需要算力成本较高
模型对算力的需求每2个月就会翻倍，以deepseekR1为例，如果要部署一个，部署32B成本是百万元人民币级，部署满血版需要600万以上，者对于对于中小企业来说成本和性价比是难以接受的。
参考链接：
https://www.fx168news.com/article/623995
1.2、问题二：使用云端算力遭遇隐私保护和稳定性限制
采用云服务商提供的模型服务，调用API方式调用模型是ROI较高的解决方案，但该方案面临隐私泄漏和稳定性问题，特别是对金融、通讯等行业客户来说，隐私问题限制了使用公有云调用API的方案的使用，阻碍了AI技术在这些行业的深入应用。
参考链接：https://www.oschina.net/news/335885
1.2、问题三：通用模型对私域知识缺乏，模型精调和RAG等技术面临准确性质疑
此外即使解决的隐私保护和稳定性问题，通用大模型也存在着私域知识缺乏的问题，虽然采用RAG技术可以提升模型对私域知识的理解能力，但是仍然存在着模型召回准确性不高，精调模型技术难道相对较高等问题。如下图所示，通过各类技术提升RAG的召回率，最高也只能达到75%左右。
参考链接：https://ihey.cc/rag/fusion-rerank-top-n-in-rag/
二、业界优秀实践:云端协同+大小模型协同
笔者通过对最近几次行业会议的观察，发现云端协同+大小模型协同方案是当前页面解决上述问题的一种解决方案。该方案利用一种类似“掩码”的技术，将部署在云上的大模型投射到端侧的小模型上，可以实现对小模型的动态刷新，从而在提升了小模型的灵活性的同时有效降低了模型的部署和更新成本。该方案的“掩码”形式也大大降低了大小模型协同的通信开销，从而为方案的大规模推广扫清了障碍。
这项技术已经被应用在淘宝商城，通过对用户手机端的小模型进行动态刷新，可以实现对用户兴趣的及时捕捉。另外在智能制造领域，也可以使用该技术对靠近产线的各类小模型进行实时刷新，提升小模版的判断准确性。
发表回复