mini-me sur Kronk
agent.kronk.yaml fait tourner mini-me sur Kronk, le serveur d'inférence Go d'Ardan Labs, avec mradermacher/Qwopus3.5-4B-Coder.Q8_0, un Qwen3.5 4B orienté code qui réfléchit avant de répondre. English version: README.en.md.
Lancer la démo
kronk model pull mradermacher/Qwopus3.5-4B-Coder.Q8_0
kronk server start # 127.0.0.1:11435
cd demos/kronk
../../mm -config agent.kronk.yaml
La bannière doit afficher provider: kronk et ctx: 131072 (/v1/kronk/models).
Un modèle plus petit marche aussi, Qwen3.5 2B. Kronk le sert sous un autre id que celui du téléchargement :
kronk model pull unsloth/Qwen3.5-2B-GGUF:Q4_K_M --local # serveur arrêté
model: unsloth/Qwen3.5-2B-Q4_K_M # l'id que donne GET /v1/models
Depuis une sandbox Docker, lancez Kronk sur l'hôte avec kronk server start --api-host 0.0.0.0:11435 et autorisez localhost:11435 dans la politique de la sandbox : mm se replie tout seul sur host.docker.internal:11435.
Ce qui a été vérifié (2026-11-11, Kronk 1.33.2, depuis une sandbox sbx)
- Un tour avec des appels d'outils : l'agent a lancé
wc -l, créé un fichier avecbash, puis l'a relu. /unload:unloaded …, puis… was not loaded: nothing to unload.mm init --provider kronk --checka écrit un fichier avec la fenêtre (131072), l'échantillonnage du GGUF et l'interrupteur de raisonnement du template lus auprès de Kronk, et le modèle a répondu.- Vu une fois : le modèle a terminé un tour avec sa réponse dans son raisonnement et un texte vide (
⚠ empty answer). Cela vient du modèle, pas de Kronk.
Pas vérifié en direct : un vrai téléchargement par autoPull (le flux n'a été lu que sur un modèle déjà installé), une compaction, et un Kronk protégé (KRONK_TOKEN).
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 |
|