本专题服务重点
本地大模型、多模态、RAG与设备工具调用
评估、开发和验收围绕该任务组织；涉及相邻模型、系统、硬件或量产工作时，按对应专题边界组合实施。
SERVICE BOUNDARY
先确定业务闭环，再选择模型参数量
演示可运行、业务可用和长期稳定运行是三个阶段。模型压缩不能替代知识更新、权限控制、失败处理和人工兜底。
项目实施边界
- 不承诺模型对开放问题始终正确
- 涉及决策或受监管业务时必须增加规则、审核和责任边界
- 第三方模型、数据和内容许可在上线前确认
ENGINEERING SCOPE
工程服务范围
各项服务可按项目单独实施，也可与相关专题组合；任务书将逐项明确输入、输出、第三方依赖、样机和测试责任。
任务与模型路线
拆分问答、摘要、分类、视觉理解、语音交互和工具调用需求。
- 质量基线
- 模型候选
- 资源预算
低比特与运行时
评估权重、KV Cache、上下文、算子、CPU/GPU/NPU分配和内存映射。
- 量化方式
- 内存峰值
- 热状态
RAG与知识更新
处理文档解析、切分、索引、检索、引用、权限和版本更新。
- 数据来源
- 检索评估
- 引用追溯
智能体与安全控制
限定工具、参数、身份、日志、超时、确认和失败回退。
- 最小权限
- 人工确认
- 审计记录
DELIVERY PROCESS
实施路径
先确认项目基线和关键前置条件，再进入详细开发与验证；各阶段结论均对应具体版本与记录。
定义任务集
用真实问题、文档和工具动作建立验收样本。
模型与设备评估
比较质量、内存、速度、功耗和运行时支持。
构建知识与工具链
实现检索、引用、权限、工具描述和回退。
端侧集成
接入语音、视觉、UI、设备服务和本地存储。
安全与稳定测试
覆盖幻觉、越权、超时、断网、资源不足和升级。
DELIVERABLES
交付内容
最终交付范围由双方在任务书或合同中确认，文件均对应具体硬件、软件、工具链和测试版本。
- 业务任务与安全边界
- 模型及量化配置
- 端侧推理服务
- RAG索引与更新工具
- 受控工具调用接口
- 质量、性能、资源和风险报告
ACCEPTANCE
验收条件
环境适应性、可靠性、认证和批量生产如需纳入验收，应在任务书中另行约定范围、样本与标准。
- 使用冻结任务集评估回答和工具行为
- 首token与生成速度绑定上下文和输出长度
- 内存、功耗和温度覆盖连续交互
- 检索结果可追溯到来源文档与版本
- 高风险工具调用具有权限、确认和审计
- 模型拒答、超时和异常有可预测回退
PROJECT INPUT
项目评估需要的输入
资料暂不完整时，可先开展基线检查和可行性评估；正式范围与技术结论在关键输入确认后形成。
- 01目标用户与任务清单
- 02候选模型或模型许可要求
- 03代表性问题与期望答案
- 04知识库文档及权限
- 05设备资源与离线要求
- 06允许调用的工具和风险等级
取决于任务质量、模型规模、上下文、更新频率和设备资源。可采用完全离线或云边分工路线。
先用任务集确定质量底线，再比较量化后内存、首token、生成速度、功耗和许可，不按参数量单独决定。
不会自动消除。仍需评估检索召回、引用一致性、模型回答、拒答和过期文档处理。
可以按VLM输入、图像预处理、上下文、帧策略和设备资源评估，实时视频与单图问答需要分开设计。
采用工具白名单、参数校验、最小权限、关键动作确认、超时、回滚和审计日志。
使用冻结任务集、知识库和工具场景，分别检查正确性、引用、拒答、越权、延迟、资源和持续运行。
PROJECT INTAKE
先提供基线资料，再形成范围与验收条件
提交目标、现有资料、版本、问题、样机条件和必须达到的指标，可先进行资料审查或可行性评估。
在线咨询
电话咨询
微信咨询
回到顶部