Lokala modeller
Lokal är genomförbar, men OpenClaw förväntar sig stort sammanhang + starka försvar mot snabb injektion. Små kort trunkerar sammanhang och läcker säkerhet. Sikta hög: <unk> 2 maxed-out Mac Studios eller motsvarande GPU rigg (~$30k+). En enda 24 GB GPU fungerar endast för lättare uppmaningar med högre latens. Använd den största / fullstora modellvarianten du kan köra; aggressivt kvantifierade eller “små” kontrollpunkter öka risken för snabb injektion (se Security).Rekommenderat: LM Studio + MiniMax M2.1 (Responses API, fullstor)
Bästa nuvarande lokal stack. Ladda MiniMax M2.1 i LM Studio, aktivera den lokala servern (standardhttp://127.0.1:1234), och använd Responses API för att hålla resonemanget separat från slutlig text.
- Installera LM Studio: https://lmstudio.ai
- I LM Studio, ladda ner den största tillgängliga MiniMax M2.1‑builden (undvik ”small”/kraftigt kvantiserade varianter), starta servern och bekräfta att
http://127.0.0.1:1234/v1/modelslistar den. - Håll modellen laddad; kallstart lägger till startlatens.
- Justera
contextWindow/maxTokensom din LM Studio‑build skiljer sig. - För WhatsApp, håll dig till Responses API så att endast sluttext skickas.
models.mode: "merge" så att fallback‑alternativ finns kvar.
Hybridkonfig: hostad primär, lokal fallback
Lokalt först med hostat säkerhetsnät
Byt ordning på primär och fallback; behåll samma providers‑block ochmodels.mode: "merge" så att du kan falla tillbaka till Sonnet eller Opus när den lokala maskinen är nere.
Regional hosting / datarouting
- Hosted MiniMax/Kimi/GLM varianter finns också på OpenRouter med regionfästa ändpunkter (t.ex., US-hosted). Välj den regionala varianten där för att hålla trafiken i din valda jurisdiktion medan du fortfarande använder
models.mode: "merge"för Anthropic/OpenAI fallbacks. - Endast lokalt är den starkaste integritetsvägen; regional hostning är en mellanväg när du behöver leverantörsfunktioner men vill ha kontroll över dataflödet.
Andra OpenAI‑kompatibla lokala proxylösningar
vLLM, LiteLLM, OAI-proxy, eller anpassade gateways fungerar om de exponerar en OpenAI-stil/v1-slutpunkt. Ersätt leverantörsblocket ovan med ditt slutpunkt och modell-ID:
models.mode: "merge" så att hostade modeller finns kvar som fallback.
Felsökning
- Gateway kan nå proxy?
curl http://127.0.0.1:1234/v1/models. - LM Studio-modell olastad? Ladda om; kallstart är en vanlig “hängande” orsak.
- Kontextfel? Lägre
contextWindoweller höja din servergräns. - Säkerhet: lokala modeller hoppar över leverantörsfilter; håll agenter smala och komprimering påslagen för att begränsa sprängradien för prompt‑injektion.