京东开源基于国产芯片自研的 xLLM 大模型推理引擎
最近,京东宣布开源大模型推理引擎xLLM。据介绍,xLLM是基于国产芯片自研的一款大模型推理引擎,目前,该技术服务了京东AI助手京言、智能客服、风控、供应链助手、广告等场景,效率提升5倍以上,机器成本降低90%。
原创文章,作者:DEV编辑,如若转载,请注明出处:https://devcn.xin/6151.html
京东开源基于国产芯片自研的 xLLM 大模型推理引擎
最近,京东宣布开源大模型推理引擎xLLM。据介绍,xLLM是基于国产芯片自研的一款大模型推理引擎,目前,该技术服务了京东AI助手京言、智能客服、风控、供应链助手、广告等场景,效率提升5倍以上,机器成本降低90%。
原创文章,作者:DEV编辑,如若转载,请注明出处:https://devcn.xin/6151.html