Comment faire tourner mini-me sur llmman

Ce guide montre comment brancher mm sur llmman via son point d'accès compatible OpenAI. Il suppose que llmman est installé et que vous savez compiler mm.

Étapes

Démarrez le démon. Il écoute sur 127.0.0.1:17434 :
```
llmman serve
```
Téléchargez le modèle au préalable si vous le souhaitez. Sinon llmman le télécharge à la première question, qui attend la fin du téléchargement :
```
llmman pull hf.co/unsloth/Qwen3.5-4B-GGUF:Q4_K_M
```
Lancez la configuration de démo depuis son dossier (son skillsDir vaut ../skills) :
```
cd demos/llmman
../../mm agent.llmman.yaml
```
Vérifiez la bannière. provider: llmman confirme le fournisseur. ctx: 262144 (/api/ps) signifie que le modèle était déjà chargé et que mm a lu la fenêtre avec laquelle il est servi ; ctx: unknown signifie qu'il ne l'était pas encore — mm redemande avant la question suivante et affiche ctx: … (/api/ps) dès qu'il la connaît.

Variantes

Un autre modèle. Mettez dans model: l'identifiant exactement tel que llmman list (ou GET /v1/models) l'écrit.
Depuis un Docker Sandbox. Rien à changer : quand 127.0.0.1:17434 ne répond pas, mm se replie sur http://host.docker.internal:17434/v1, le démon de l'hôte.
Démon lancé avec LLMMAN_API_KEYS (obligatoire quand il écoute au-delà de la boucle locale). Exportez une des clés dans LLMMAN_API_KEY, la variable par défaut du fournisseur, ou nommez une autre variable dans apiKeyEnv.
LLMMAN_CONTEXT_LENGTH réglé sur le démon. /api/ps la rapporte déjà une fois le modèle chargé ; mettez la même valeur dans contextWindow si vous voulez que la compression la connaisse dès la première question.
Garder votre propre agent.yaml. AGENT_PROVIDER=llmman ./mm fonctionne tant que le fichier laisse baseUrl vide.

Voir aussi

Fournisseurs : une implémentation par protocole — pourquoi la fenêtre de llmman vient de /api/ps et non de /props.
Référence de configuration — valeurs par défaut des fournisseurs.

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39


# Comment faire tourner mini-me sur llmman

Ce guide montre comment brancher `mm` sur [llmman](https://github.com/llmmanorg/llmman) via son point d'accès compatible OpenAI. Il suppose que llmman est installé et que vous savez compiler `mm`.

## Étapes

1. Démarrez le démon. Il écoute sur `127.0.0.1:17434` :

   ```bash
   llmman serve
   ```

2. Téléchargez le modèle au préalable si vous le souhaitez. Sinon llmman le télécharge à la première question, qui attend la fin du téléchargement :

   ```bash
   llmman pull hf.co/unsloth/Qwen3.5-4B-GGUF:Q4_K_M
   ```

3. Lancez la configuration de démo depuis son dossier (son `skillsDir` vaut `../skills`) :

   ```bash
   cd demos/llmman
   ../../mm agent.llmman.yaml
   ```

4. Vérifiez la bannière. `provider: llmman` confirme le fournisseur. `ctx: 262144 (/api/ps)` signifie que le modèle était déjà chargé et que `mm` a lu la fenêtre avec laquelle il est servi ; `ctx: unknown` signifie qu'il ne l'était pas encore — `mm` redemande avant la question suivante et affiche `ctx: … (/api/ps)` dès qu'il la connaît.

## Variantes

- **Un autre modèle.** Mettez dans `model:` l'identifiant exactement tel que `llmman list` (ou `GET /v1/models`) l'écrit.
- **Depuis un Docker Sandbox.** Rien à changer : quand `127.0.0.1:17434` ne répond pas, `mm` se replie sur `http://host.docker.internal:17434/v1`, le démon de l'hôte.
- **Démon lancé avec `LLMMAN_API_KEYS`** (obligatoire quand il écoute au-delà de la boucle locale). Exportez une des clés dans `LLMMAN_API_KEY`, la variable par défaut du fournisseur, ou nommez une autre variable dans `apiKeyEnv`.
- **`LLMMAN_CONTEXT_LENGTH` réglé sur le démon.** `/api/ps` la rapporte déjà une fois le modèle chargé ; mettez la même valeur dans `contextWindow` si vous voulez que la compression la connaisse dès la première question.
- **Garder votre propre `agent.yaml`.** `AGENT_PROVIDER=llmman ./mm` fonctionne tant que le fichier laisse `baseUrl` vide.

## Voir aussi

- [Fournisseurs : une implémentation par protocole](../explanation/providers.md) — pourquoi la fenêtre de llmman vient de `/api/ps` et non de `/props`.
- [Référence de configuration](../reference/configuration.md) — valeurs par défaut des fournisseurs.