Копроцессор RK182X разработан для высокопроизводительного вывода ИИ на периферии.Его архитектура с трехмерным стекированием оперативной памяти обеспечивает сверхвысокую пропускную способность DRAM, устраняя узкие места в передаче данных и обеспечивая плавную работу параметров 3B/7B LLM и VLM, значительно снижая задержки.Он поддерживает многоточечные вычисления для INT4/INT8/INT16 и основные фреймворки, такие как TensorFlow и PyTorch, удовлетворяя разнообразные потребности в разработке периферийного ИИ.
2025-06-19 https://servernews.ru/1126213
Rockchip - китайская компания RK182X - ИИ-ускоритель на базе архитектуры RISC-V DRAM применяется 2,5 ГБ или 5 ГБ в зависимости от версии решения. Память с экстремально высокой пропускной способностью, скорость которой компания предпочла не уточнять. ИИ-ускоритель поддерживает интерфейсы PCIe 2.0, USB 3.0 и Ethernet.
RK182X Series is high-performance vision co-processor SoC for machine vision application, especially for AI related application. It is based on three 64-bit independent RISC-V cores with FPU. There is a 32KB I-cache、 32KB D-cache and 128KB L2 cache for each core. The build-in NPU Support INT4/INT8/INT16/FP8/FP16/BF16 hybrid operation and computing power is up to 20TOPs
По заявлению производителя, RK182X способен выполнять инференс LLM/VLM моделей объемом до 7 миллиардов параметров. Для моделей такого масштаба требуется примерно 3,5 ГБ памяти при использовании режимов INT4/FP4.
для моделей DeepSeek-R1-Distill-Qwen-7B, Qwen2.5-1.5B и Qwen2.5-3B. Выпущен специализированный SDK для LLM-инференса с поддержкой DeepSeek-R1, LLaMA-3, Qwen-2.5 в количественной версии INT4/INT8. Внедрён инструмент автоматической компиляции моделей — теперь инженеры могут переносить модели с PyTorch/TensorFlow на RK182X
Компания предлагает совместимость с популярными ИИ-фреймворками PyTorch, ONNX, TensorFlow и HuggingFace GGUF.