从头开始构建的轻量级 vLLM 。 主要特点 快速离线推理 – 与 vLLM 相当的推理速度 可读代码库 - 不到 1200 行 Python 代码的干净实现 优化套件 - 前缀缓存、Torch 编译、CUDA 图形等
这是一个个人(Zhijie Wong)维护的、使用TypeScript编写的轻量级终端AI助手项目。虽然社区影响力不及前两者,但项目本身功能完整,持续更新,是一个可靠的个人开源项目。 项目地址:https://github.com/zhijiewong/openharness。核心定位:一个面向终端(Terminal)的AI编码助手,强调本地化和轻量级。
TTS模型
最近一年贡献:6 次
最长连续贡献:1 日
最近连续贡献:1 日
贡献度的统计数据包括代码提交、创建任务 / Pull Request、合并 Pull Request,其中代码提交的次数需本地配置的 git 邮箱是 Gitee 帐号已确认绑定的才会被统计。