商汤方舟多模态能力引领城市服务进入大模型时代

近日，在2024 世界人工智能大会（WAIC）期间，商汤科技发布了首个“大模型+城市服务”的解决方案及应用实践“SenseFoundry-VL 方舟多模态新智平台”（以下简称“方舟多模态新智平台”）。该平台基于 “日日新5.5”大模型体系能力，在此前推出的“SenseFoundry 商汤方舟城市开放平台”基础上进行全新产品架构升级，助力城市服务场景提智提效，赋能释放新质生产力。

三大升级，多模态大模型赋能城市管理

AI 2.0时代，商汤结合丰富的行业理解及前沿大模型能力，进一步提升了AI服务的效率和准确率，正式推出了方舟城市开放平台全新升级版——“方舟多模态新智平台”，着力解决传统视觉业务所面临的交互方式单一化、泛化场景看不懂、复杂场景误报高、大模型应用难上手等问题。据悉，该平台在传统的智慧城市解决方案基础上，主要进行了三方面的升级：

一、“需求即指令”。通过Agent技术，方舟多模态新智平台构建了可理解并处理多种业务的AI智能体，实现了需求描述向具象指令的高效转化。这种方式更接近于人类之间的交互，用户可以像提问一样输入查询，大模型则会理解用户的意图，并给出相应的答案。例如在交通运输场景，交通部门或物流企业可通过构建物流运力分析智能体，提取车辆位置、车流状况、天气等相应信息提取派单信息，最终制定更科学合理的物流车辆运输时空图谱。

二、“对话即检索”。依托大模型视图语义理解能力，可实现图文资源的智能语义化检索和对话式研判。让用户获得“所说即所得”“所问即所应”的体验。例如在剧烈台风后，城市管理者可通过对话即刻检索出树木倒伏、电线杆翻倒等各类危害交通安全的场景，从而进行快速响应处理。

三、“提示即提优”。依托大模型良好的泛化能力，无需海量的定制研发投入，只需少量正负样例数据和提示词调整，即可一键生成通用模型和特定模型，对部分复杂城市事件的识别准确率高达90%以上，真正实现了模型生产和调优的使用易、落地快、成本低。

作为一款“听的懂、会交流、擅优化”多模态大模型平台，方舟多模态新智平台未来有望持续推动智慧城市+大模型的迭代升级，聚焦多模态、高效化、个性化、可解释性和数据驱动决策等方向，并拓展至智能交通、公共服务智能化、应急响应、城市服务与决策支持、区域协同发展等应用场景，进一步为企业及城市管理者提升运营效率，为城市居民提供安全、便利、高效、高质的城市服务。

落地一线，方舟多模态新智平台实现城市服务的十倍提效

目前，方舟多模态新智平台已在城市服务场景中实际落地。以城市便民服务为例，该平台可以实现便民窗口服务的智能化分类分拨、智能视频设备调取，智能处置建议、智能系统信息查询等能力。

在某一线城市的12345公共服务便民热线场景中，方舟多模态新智平台助力12345工单的分类分拨速度提升至原先的10倍以上，并统一了分类标准。在短短一个月内，完成了超过30万次的诉求分拨，平均每天处理一万余次。换言之，借助方舟多模态新智平台，单个分拨员原本一个月的工作量现在仅需一天即可完成，且经过二次复核，准确率高达90%以上。这一智能化分拨的应用不仅切实有效，更极大地减轻了政务工作的压力，显著提升了工作效率。

此外，方舟多模态新智平台支持自然语言调取10万路以上前端点位，实现分钟级精准检索；升级后的模型架构支持通过简单提示词，即刻创建全新场景分析功能，实现1天内快速部署上线，3天内手动快速调优，部分场景通过二次分析后的准确率可达90%以上。真正让大模型可以迅速落地在各类应用场景中，实现所想即所得。

稳扎稳打，方舟多模态新智平台强化优势打造行业新标杆

据了解，方舟多模态新智平台（SenseFoundry-VL）与常见的行业方案相比，其差异化及优势主要体现在平台的技术布局、硬件选型、业务应用三方面。

首先，是其融合架构的技术布局。商汤科技在视觉领域的深厚算法积累，以及日日新体系的大模型能力，为方舟多模态新智平台的全面架构升级奠定了扎实基础。方舟多模态新智平台采用的视觉-语言多模态大模型，集图文对比、文本理解生成及交错图文理解三大能力为一体，在国际权威机构的国产化大模型评测中，位列第一梯队；同时视觉模型+大模型融合架构，AI智能体等技术引入，为城市AI应用创新提供了全方位的技术支撑。

其优势之二，是国产适配的硬件选型。据悉，方舟多模态新智平台充分研讨了国产自主可控的方针政策；商汤也是国内最早一批启动国产化适配的大模型AI公司，目前充分适配了国内主流的国产芯片和硬件服务器，为大模型国产化落地提供了全面的算力保障。

优势之三，在于灵活可配的业务应用。城市场景有复杂性高、碎片化强的特点，而方舟多模态新智平台能够根据智慧城市的具体需求，进行高度定制化开发，应对城市交通安全、应急响应，公共安全、养老关怀等方面的需求。此外，其创新性配套图文可视化的提示工程设计，也很好地兼顾了方案落地的泛化性及系统应用的低门槛，有效保障了AI大模型的落地效果。

未来可期，方舟多模态新智平台让城市服务更上一层楼

随着全球数字化转型的加速，“智慧城市”与“大模型”的结合被视为未来城市发展的关键。近年来，政策、场景、数据等多方因素的驱动，也正在加速未来城市的构建和实现。根据市场研究机构Grand View Research预计，2027年全球智慧城市市场规模将达4639亿美元，2020-2027年的年复合增长率将达24.7%。

方舟多模态新智平台的问世和应用，是商汤科技在助力城市服务智能化发展中取得的突破性进展，也代表着人工智能在城市集约化、智能化发展的进程中必将逐步发挥不可替代的作用。未来，我们相信大模型在城市中的应用，必将作为新质生产力，开启城市智能化发展的新篇章，为构建更加人性化、绿色、高效的未来城市奠定坚实基础。