邱跃鹏还透露，在推理加速方面，腾讯云向DeepSeek、vLLM、SGLang等开源社区提交多项优化技术，并自研开源FlexKV多级缓存技术，显著降低KVCache占用，使首字时延最多下降70%。
观点网讯：9月16日，据腾讯集团副总裁、腾讯云总裁邱跃鹏透露，目前，腾讯云已在推理加速、AgentInfra和国际化布局等方面取得突破，腾讯云正不断升级云基础设施，以支撑Agent规模化落地和企业全球化发展。
邱跃鹏还透露，在推理加速方面，腾讯云向DeepSeek、vLLM、SGLang等开源社区提交多项优化技术，并自研开源FlexKV多级缓存技术，显著降低KVCache占用，使首字时延最多下降70%。针对Agent大规模应用，腾讯云推出AgentRuntime解决方案，集成执行引擎、云沙箱和安全可观测等五大能力，提供稳定运行环境。其中，云沙箱基于自研技术，启动时间仅100毫秒，可支持数十万实例并发。
免责声明：本文内容与数据由观点根据公开信息整理，不构成投资建议，使用前请核实。
审校：劳蓉蓉
版权声明：觀點網絡信息科技有限公司及广州观点信息资讯服务有限公司拥有及保留其主办暨承办网站、论坛及活动的所有资料（包括但不限于文字、图片、音频、视频资料及页面设计、编排、软件等）的所有权、版权等其他相关知识产权。除经授权合法使用上述资料外，未征得我司书面许可并付费，任何单位和个人不得以任何理由及方式使用上述资料（包括但不限于转载、转让、授权他人使用等），否则我司将依法追究其法律责任以及赔偿责任。
观点 © 2001- guandian.cn, All Rights Reserved. 粤ICP备20003243号-1
| 网上110
粤公网安备 44010402001235号
移动端下载