提交项目

llama.cpp llama.cpp

llama.cpp由ggml-org创建于 2 年前, 最后更新于 23 天前

LLM inference in C/C++
C++ 91.30MB MIT Github
Stars
74.7k
Fork
10.8k
Watch
581
Open Issues
718

LocalAI

30k Go MIT

:robot: The free, Open Source alternative to OpenAI, Claude and others. Self-hosted and local-first. Drop-in replacement for OpenAI, running on consumer-grade hardware. No GPU required. Runs gguf, transformers, diffusers and many more models architectures. Features: Generate Text, Audio, Video, Images, Voice Cloning, Distributed, P2P inference

1 1 年前 2 天前
查看详情 代码仓库

LLaMA-Factory

43.2k Python Apache-2.0

Unified Efficient Fine-Tuning of 100+ LLMs & VLMs (ACL 2024)

1 1 年前 7 天前
查看详情 代码仓库

vllm

33.9k Python Apache-2.0

A high-throughput and memory-efficient inference and serving engine for LLMs

1 2 年前 1 个月前
查看详情 代码仓库

Langchain-Chatchat

33.3k TypeScript Apache-2.0

Langchain-Chatchat（原Langchain-ChatGLM）基于 Langchain 与 ChatGLM, Qwen 与 Llama 等语言模型的 RAG 与 Agent 应用 | Langchain-Chatchat (formerly langchain-ChatGLM), local knowledge based LLM (like ChatGLM, Qwen and Llama) RAG and Agent app with langchain

1 1 年前 1 个月前
查看详情 代码仓库

llama.cpp

74.7k C++ MIT

LLM inference in C/C++

1 2 年前 23 天前
查看详情 代码仓库

ollama

108.1k Go MIT

Get up and running with Llama 3.3, Phi 4, Gemma 2, and other large language models.

1 1 年前 1 个月前
查看详情 代码仓库