stake官网

       stake官网微 RK1820/RK1828 AI 协处置器 RKNN3 SDK V1.0.0 正式版颁布，，，，， 美满适配 RK3588/RK3576+RK1820/RK1828 硬件组合，，，，，为端侧 AI 模型部署提供全栈式软件支持，，，，，在机能、模型适配、职能、精度上全方位升级，，，，，兼具高机能、高适配、高能耗迸着势。。。。。。

       本次 SDK 覆盖 PC 端开发套件、板端运行 API、模型转换部署示例，，，，，支持 Android/Linux 系统，，，，，PCIe/USB 高速接话柄现低延长数据交互；；；；；；；主题职能优化亮点凸起：

1. 推理效能升级：支持数据传输与推理并行，，，，，优化主题算子，，，，，多核多模型同时推理适配高并发；；；；；；；

2. 大模型适配更强：支持 mRoPE、Function Call，，，，，兼容主流大模型个性；；；；；；；

3. 开发部署更便捷：支持连板精度分析，，，，，提供 Python API 轻量化工具包，，，，，协处置器可自界说模型后处置，，，，，rkllm3 server 新增 embedding 模型支持。。。。。。

       本次 SDK 正式版的主题突破之一，，，，，就是LLM Decode 机能整体提升超过 15%，，，，，针对 0.5B-8B 分歧参数量级 LLM 模型实现深度适配优化，，，，，RK1820/RK1828 凭据算力个性做差距化适配，，，，，可满足分歧端侧场景的 LLM 推理需要。。。。。。

       测试数据显示，，，，，RK182X 在轻量型 LLM 模型上的机能阐发尤为亮眼，，，，，3B 量级模型实现了 Decode TPS 破百的关键突破，，，，，Qwen2.5-3B 模型 Decode TPS 达 102.01，，，，，为端侧实时大模型交互提供了高效支持；；；；；；；极致轻量的 Qwen2.5-0.5B 模型同样阐发杰出，，，，，TTFT 仅 21.89ms、TPOT 4.63ms、Decode TPS 215.86；；；；；；；中大型 LLM 模型方面，，，，，Qwen3-8B 在 RK1828 上实现不变推理，，，，，Decode TPS 达 61.11，，，，，可充分满足端侧中大型 LLM 的部署需要。。。。。。

*分歧参数量 LLM 模型在 RK182X 上的主题肠能数据如下：

       在一样尺度测试环境下，，，，，RK182X 对多款主流 VLM 及全模态模型实现深度推理优化，，，，，RK1820/RK1828 凭据算力个性实现差距化适配，，，，，分歧视觉分辨率下均维持不变的视觉推理耗时，，，，，且 LLM 解码端机能高效，，，，，其中美满支持 Qwen3-VL 系列模型，，，，，Qwen3-VL-4B 的 LLM Decode TPS 靠近 90TPS，，，，，RK1828 更实现中大型 VLM 模型全协处置器端推理，，，，，多模态交互机能阐发优异。。。。。。

*分歧 VLM 模型在 RK182X 上的主题肠能数据如下：

       RK1828 美满适配 Qwen2.5-Omni-3B 全模态模型，，，，，实现音视觉 + 说话全链路高效推理，，，，，解码 TPS 达 102.63 成功破百；；；；；；；全协处置器端独立实现推理，，，，，392*392 视觉分辨率下推理耗时不变，，，，，音频推理仅 98.91ms，，，，，多模态处置效能优异。。。。。。

CNN 模型机能：单核算力扎实，，，，，多核多 batch 吞吐能力大幅跃升

       RK182X 针对经典分类、检测类 CNN 模型实现单核及多 batch 多核推理深杜着化，，，，，依附多核多模型同时推理的个性充分开释算力，，，，，DINOv3 的 ViT 机能阐发尤为凸起；；；；；；；在维持单核算力不变的基础上，，，，，多batch 多核模式下帧率实现数倍提升，，，，，高吞吐个性可高效适配智能监控、工业检测等高并发推算机视觉利用场景，，，，，机能与能耗比兼具。。。。。。

* 分歧 CNN 模型在RK182X 上的主题肠能数据如下： 

       RKNN3 SDK V1.0.0 针对分歧类型模型选取差距化量化战术，，，，，其中 LLM/VLM 模型选取 W4A16 G32 量化战术，，，，，CNN 模型选取 W8A8 量化战术。。。。。。在大幅提升推理机能的同时，，，，，量化后模型精杜纂原始 float32 版本根基吃旖，，，，，部门模型精度实现反超，，，，，有效节造精度损失，，，，，真正做到机能升级、成效不减。。。。。。

       RKNN3 SDK V1.0.0 紧扣 AIoT2.0感知 - 决策 - 执行的主题架构，，，，，实现超 30 款主流 AI 模型全维度适配，，，，，深度联动高低游主题合作同伴，，，，，买通硬件算力、软件栈与算法模型的生态壁垒，，，，，模型支持齐全、适配成效好，，，，，充分开释 RK182X 协处置器的算力价值。。。。。。

       在感知层：多模态数据采集能力拉满，，，，，头部同伴模型深度适配。。。。。。打造端侧多模态智能数据入口，，，，，视觉端全面适配 Mobilenet、YOLO 系列等经典 CNN 视觉模型及深度估计模型；；；；；；；音频端深度联动科大讯飞、思必驰、大象声科等感知层头部同伴，，，，，实现 ASR、TTS 等主题语音模型适配，，，，，多模态感知能力高效落地。。。。。。

       在决策层：全规格模型生态关环，，，，，头部厂商主题模型逐一适配。。。。。。适配 Qwen3-VL、GLM Edge 等主流开源大模型，，，，，全兼容 0.5B-8B全规格 LLM 模型，，，，，同时深度适配千问 Qwen2.5-Omni-3B、智谱 MiniCPM、阶跃星辰 Step-GUI-Edge 等头部厂商主题模型，，，，，全模态智能决策能力端侧高效运杏祝。。。。。

       在执行层：软硬协同赋能场景落地，，，，，适配全链路模型能力转化。。。。。。依附 RK3588/RK3576+RK182X 软硬件组合，，，，，支持协处置器自界说模型后处置，，，，，可矫捷适配各类模型决策了局执行逻辑；；；；；；；兼容 Android/Linux 系统，，，，，让全品类 AI 能力无缝落地到智能硬件、工业检测等多元场景，，，，，实现从算法到利用的齐全转化。。。。。。

       此表，，，，，SDK 全面兼容 Hugging Face、ModelScope、GitHub 等开源平台，，，，，用户可直接从Github获取预先转好的 RKNN 模型：

• Model Zoo地址：https://github.com/airockchip/rknn3-model-zoo；；；；；；；

• 工具提取地址：https://github.com/airockchip/rknn3-toolkit；；；；；；；

 

       RK1820/RK1828 RKNN3 SDK V1.0.0 正式版的颁布，，，，，是stake官网微在端侧 AI 协处置器领域的沉要突破，，，，，从机能跃升、模型扩大到精杜着化，，，，，每一项更新均紧扣开发者现实部署需要，，，，，让 RK182X 的高算力、高能耗迸着势充分开释。。。。。。将来，，，，，stake官网微将持续迭代优化 RKNN3 SDK，，，，，不休扩大模型支持领域、提升算力阐发，，，，，打造更高效的端侧 AI 开发工具链，，，，，助力更多 AI 创新利用在端侧落地。。。。。。

       stake官网微市场部邮箱：rkmarketing@rock-chips.com，，，，，迎接各来自五湖四海的AI 同伴对接互换，，，，，携手索求端侧 AI 多场景落地新可能。。。。。。