Shimmy 是一个超轻量级（仅 5MB）的本地 AI 推理服务器，具备与 OpenAI API 兼容的接口、自动模型发现、热切换以及工具调用功能。采用 Rust 编写的单二进制文件方案，支持 GGUF 模型和 LoRA 微调适配器，完全免费且永久开源。
最近更新: 10个月前高吞吐、低内存大模型推理引擎，其设计初衷直击行业痛点：传统推理框架在处理多请求并发时，普遍存在KV缓存内存碎片化严重、GPU利用率低下等问题。通过 PagedAttention 这一革命性技术，vLLM实现了近零浪费的KV缓存管理，同时完美兼容OpenAI API协议，让开发者无需改造现有生态...
最近更新: 11个月前整合主流的各种高效训练微调技术，适配市场主流开源模型，形成一个功能丰富，适配性好的训练框架。项目提供了多个高层次抽象的调用接口，包含多阶段训练，推理测试，benchmark评测，API Server等，使开发者开箱即用。同时借鉴 Stable Diffsion WebUI相关，本项目提供了基于...
最近更新: 11个月前ScrapeGraphAI 是一款创新的网络爬虫 Python 库，它巧妙地结合了大型语言模型和直接图逻辑，为网站和本地文档（如 XML、HTML、JSON 等）创建高效的爬取管道。这个工具的核心优势在于其简单性和强大功能的完美结合 - 用户只需告诉库想要提取哪些信息，ScrapeGraphA...
最近更新: 11个月前一个 “模型即服务”(MaaS) 平台，旨在汇集来自 AI 社区的最先进的机器学习模型，并简化在实际应用中使用 AI 模型的流程。ModelScope 库使开发人员能够通过丰富的 API 设计执行推理、训练和评估，从而促进跨不同 AI 领域的最先进模型的统一体验。
最近更新: 11个月前StarCoder 是一个专注于代码生成的模型，由 BigCode 项目开发。该模型基于 15.5B 参数，训练数据包括来自 The Stack 的 80 多种编程语言。StarCoder 旨在通过开源和开放科学推进和普及人工智能技术。
最近更新: 11个月前由BigCode项目团队打造的一款强大的代码生成模型系列，包含了3B、7B以及15B三个版本。该模型在超过600种编程语言的海量数据上训练而成，数据来源广泛，包括The Stack v2、Wikipedia、Arxiv和GitHub上的问题等。星代码2采用了先进的组查询注意力机制，并利用了滑动...
最近更新: 11个月前OpenAI Python 库是一个官方提供的 Python 3.8+ 版本兼容的客户端库，旨在方便开发者通过 Python 程序访问 OpenAI 的 REST API。它提供了对 OpenAI 各种模型和服务的接口支持，包括文本生成、聊天、图像处理、音频处理等功能，支持同步和异步操作模式。...
最近更新: 1年前Semantic Kernel是一个开源的软件开发工具包（SDK），旨在将大型语言模型（LLM）如OpenAI、Azure OpenAI和Hugging Face与传统的编程语言如C#、Python和Java集成。这个项目通过提供插件系统，允许开发者轻松地创建能够调用这些大型语言模型的应用程序。
最近更新: 1年前一个用户友好的插件，使用Automatic或ComfyUI作为后端，可以在Photoshop中轻松生成稳定的扩散图像。
最近更新: 1年多前
