Comment faire tourner mini-me sur Ollama

Ce guide montre comment brancher mm sur Ollama via son point d'accès compatible OpenAI. Il suppose qu'Ollama est installé et que vous savez compiler mm.

Étapes

Téléchargez le modèle. L'API OpenAI d'Ollama ne télécharge pas un modèle absent : une question échoue alors avec model '…' not found :
```
ollama pull qwen3.5:2b
```
Vérifiez que le serveur tourne sur localhost:11434 (l'application de bureau le démarre ; sinon ollama serve).
Lancez la configuration de démo depuis son dossier (son skillsDir vaut ../skills) :
```
cd demos/ollama
../../mm agent.ollama.yaml
```
Vérifiez la bannière. provider: ollama confirme le fournisseur. ctx: 32768 (/api/ps) signifie que le modèle était déjà chargé et que mm a lu la fenêtre avec laquelle il est servi ; ctx: unknown signifie qu'il ne l'était pas encore — mm redemande avant la question suivante.

Variantes

Un autre modèle. Mettez dans model: le nom exactement tel que ollama list l'écrit (qwen3.5:9b, …).
Depuis un Docker Sandbox. Rien à changer : quand localhost:11434 ne répond pas, mm se replie sur http://host.docker.internal:11434/v1, l'Ollama de l'hôte.
Une fenêtre plus grande. L'API OpenAI ne peut pas régler num_ctx par requête : démarrez Ollama avec OLLAMA_CONTEXT_LENGTH, et mettez la même valeur dans contextWindow si vous voulez que la compression la connaisse dès la première question.
L'API d'ollama.com. Mettez son point d'accès OpenAI dans baseUrl et exportez la clé dans OLLAMA_API_KEY (ou nommez une autre variable dans apiKeyEnv).
Garder votre propre agent.yaml. AGENT_PROVIDER=ollama ./mm fonctionne tant que le fichier laisse baseUrl vide.

Ce qui diffère des serveurs llama.cpp

Pas de ligne Reading the prompt … : Ollama n'envoie pas d'avancement pendant la lecture, donc firstTokenTimeout doit couvrir tout le prompt et le chargement du modèle.
Le résumé d'une compaction coupe le raisonnement avec reasoning_effort: "none" — Ollama ignore chat_template_kwargs.

Voir aussi

Fournisseurs : une implémentation par protocole — ce qui a été mesuré sur Ollama, et pourquoi chaque serveur garde sa propre entrée.
Référence de configuration — valeurs par défaut des fournisseurs.

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40


# Comment faire tourner mini-me sur Ollama

Ce guide montre comment brancher `mm` sur [Ollama](https://ollama.com) via son point d'accès compatible OpenAI. Il suppose qu'Ollama est installé et que vous savez compiler `mm`.

## Étapes

1. Téléchargez le modèle. L'API OpenAI d'Ollama ne télécharge pas un modèle absent : une question échoue alors avec `model '…' not found` :

   ```bash
   ollama pull qwen3.5:2b
   ```

2. Vérifiez que le serveur tourne sur `localhost:11434` (l'application de bureau le démarre ; sinon `ollama serve`).

3. Lancez la configuration de démo depuis son dossier (son `skillsDir` vaut `../skills`) :

   ```bash
   cd demos/ollama
   ../../mm agent.ollama.yaml
   ```

4. Vérifiez la bannière. `provider: ollama` confirme le fournisseur. `ctx: 32768 (/api/ps)` signifie que le modèle était déjà chargé et que `mm` a lu la fenêtre avec laquelle il est servi ; `ctx: unknown` signifie qu'il ne l'était pas encore — `mm` redemande avant la question suivante.

## Variantes

- **Un autre modèle.** Mettez dans `model:` le nom exactement tel que `ollama list` l'écrit (`qwen3.5:9b`, …).
- **Depuis un Docker Sandbox.** Rien à changer : quand `localhost:11434` ne répond pas, `mm` se replie sur `http://host.docker.internal:11434/v1`, l'Ollama de l'hôte.
- **Une fenêtre plus grande.** L'API OpenAI ne peut pas régler `num_ctx` par requête : démarrez Ollama avec `OLLAMA_CONTEXT_LENGTH`, et mettez la même valeur dans `contextWindow` si vous voulez que la compression la connaisse dès la première question.
- **L'API d'ollama.com.** Mettez son point d'accès OpenAI dans `baseUrl` et exportez la clé dans `OLLAMA_API_KEY` (ou nommez une autre variable dans `apiKeyEnv`).
- **Garder votre propre `agent.yaml`.** `AGENT_PROVIDER=ollama ./mm` fonctionne tant que le fichier laisse `baseUrl` vide.

## Ce qui diffère des serveurs llama.cpp

- Pas de ligne `Reading the prompt …` : Ollama n'envoie pas d'avancement pendant la lecture, donc `firstTokenTimeout` doit couvrir tout le prompt et le chargement du modèle.
- Le résumé d'une compaction coupe le raisonnement avec `reasoning_effort: "none"` — Ollama ignore `chat_template_kwargs`.

## Voir aussi

- [Fournisseurs : une implémentation par protocole](../explanation/providers.md) — ce qui a été mesuré sur Ollama, et pourquoi chaque serveur garde sa propre entrée.
- [Référence de configuration](../reference/configuration.md) — valeurs par défaut des fournisseurs.