@luobidada
洛必达 暂无简介
AI00 RWKV Server是一个基于RWKV模型的推理API服务器。 支持VULKAN推理加速,可以在所有支持VULKAN的GPU上运行。不用N卡!!!A卡甚至集成显卡都可加速!!! 无需臃肿的pytorch、CUDA等运行环境,小巧身材,开箱即用! 兼容OpenAI的ChatGPT API接口。 100% 开源可商用,采用MIT协议。
用Rust实现仿nginx,力争实现一个可替代方案,http/https代理, socks5代理, 负载均衡, 反向代理, 静态文件服务器,四层TCP/UDP转发,websocket转发, 内网穿透NAT
日志