llama.cpp — движок инференса LLM на C/C++ с лицензией MIT, который запускает большие языковые и визуальные модели локально или в облаке без лишних зависимостей.