A vLLM (0.12.0) out-of-tree platform plugin that enables running vLLM on NPU (Ascend/torch_npu).
最近更新: 12小时前ACL作为AI计算语言开发和运行平台,提供了Device管理、Context管理、Stream管理、内存管理、模型加载与执行、算子加载与执行、媒体数据处理等API,供用户开发AI应用,实现目标识别、图像分类、语言和文字处理等功能。
最近更新: 1个月前Omni_Infer is a suite of inference accelerators designed for the Ascend NPU platform, offering native support and an expanding feature set.
最近更新: 4个月前TorchAir 支持用户基于PyTorch框架和torch_npu插件在昇腾NPU上使用图模式进行训练和推理
最近更新: 5个月前TorchAir 支持用户基于PyTorch框架和torch_npu插件在昇腾NPU上使用图模式进行训练和推理
最近更新: 6个月前