24feb
AI LLM Relay
Vandaag lanceren we: AI LLM Relay
Het project is te vinden op onze github: https://github.com/DomoticX/ai-llm-relay
Wat is het?
Een flexibele PHP-gebaseerde relay voor OpenAI-compatibele LLM-servers (LM Studio, Ollama, vLLM, Anthropic, enz.).
Eenvoudig te deployen op shared hosting of een VPS/dedicated server, geen SQL-database nodig!
Waarvoor te gebruiken?
- Je hebt LLM software lokaal draaien op je eigen netwerk (bijvoorbeeld met LM Studio)
- Via de router is portforwarding ingesteld.
- Je wilt je eigen prive IP adres verbergen.
- Je hebt meerdere LLM computers in je netwerk actief, dan kan men deze relay gebruiken om de target computer in te stellen.
- Je kan IP en poort routen op basis van de meegeleverde token.
Functies:
- Token-routing: Route inkomende Bearer-tokens naar verschillende upstream LLM-servers
- Beheerpaneel: XHTML/CSS/JavaScript-interface voor het beheren van relay-regels
- Veilige login: Wachtwoordhash (bcrypt) + anti-brute-force rekensom-challenge
- Streaming: Directe streaming-doorgifte naar de client
- Verbindingstests: Test upstream-verbindingen vanuit het beheerpaneel
- Export: Download de volledige configuratie als JSON
- Meertalige UI: Interface beschikbaar in Nederlands, Engels en Duits
