星空人工智能技术网

科大讯飞发布星火Token Factory,打造企业级AI模型智能路由与治理新底座

 AI产业澎湃,越来越多企业开始将星空人工智能深度融入研发、生产、客服、营销等核心业务场景。在大模型应用规模快速增长的同时,企业也面临新的挑战:模型种类不断增加、调用成本持续攀升、系统稳定性要求不断提高,而跨模型管理、成本控制、安全治理和运行监控等能力建设却相对滞后。

面对企业AI规模化落地过程中普遍存在的运营管理难题,科大讯飞7月19日正式推出星火Token Factory,通过统一接入、智能路由、全链路治理与成本优化能力,为企业构建面向未来的大模型基础设施底座。

聚焦企业AI规模化落地挑战

当前,大模型应用正从单点试点走向多业务、多场景、多团队协同应用的新阶段。

企业往往需要同时接入多个模型服务,支撑代码助手、智能客服、知识问答、内容生成、文档处理等不同业务场景。随着调用规模增长,企业面临的管理压力也在持续加大。

一方面,不同任务复杂度差异显著,但实际应用中往往采用统一模型处理,导致资源利用效率不高,Token成本持续增长;另一方面,多模型并行运行也对系统稳定性、安全治理以及运营管理提出更高要求。

与此同时,企业AI建设正逐步从“模型能力建设”迈向“AI基础设施建设”阶段。企业关注的重点,不再仅仅是模型本身能力是否足够强大,而是如何让模型能力真正融入业务体系,实现稳定运行、统一治理和持续优化。如何在保障业务效果的同时降低成本、提升稳定性、实现统一管理,正在成为企业推进AI规模化应用的重要课题。

星火Token Factory正式发布

基于企业客户的实际需求,科大讯飞推出星火Token Factory,旨在帮助企业提升大模型应用效率与管理水平,为其构建长期可持续的AI能力体系提供支撑。

作为企业级AI模型智能路由平台,星火Token Factory定位于企业应用与大模型之间的统一中间层,面向企业提供模型统一接入、智能路由调度、Token成本优化、安全合规治理等核心能力,造覆盖“接入—治理—观测—运营”的完整闭环,为企业构建统一的大模型服务入口,让大模型应用实现真正意义上的可管、可控、可追溯,帮助企业实现大模型资源的高效管理与规模化运营。

智能路由:驱动模型资源高效利用

在企业实际应用中,不同任务对于模型能力的要求并不相同。例如文本分类、信息抽取等简单任务,与长文档分析、复杂推理等高复杂度任务,对模型能力和资源消耗的需求存在显著差异。

针对这一特点,星火Token Factory构建了基于Prompt长短、规则预置、自定义规则、对话轮次、session亲和等多维度特征综合判定任务的复杂度,对请求进行L1至L3智能分级管理并实现智能路由机制。平台综合考虑质量、成本、延迟、可用性、安全等级五个因子匹配适合的模型资源,让简单任务调用更具性价比的模型,复杂任务优先匹配高能力模型,从而实现模型资源的精细化调度与利用。而且整个决策平均延迟可控制在100毫秒以内。

 

通过智能路由能力,平台能够有效降低大尺寸模型调用压力,为企业释放更多成本优化空间。

推理引擎:提升国产模型本地推理效率