bots-garden/houlapublic Fork
⑂ v0.0.1
Commits
⬇ Clone ▾
git clone https://git.rickub.com/bots-garden/houla.git
git clone ssh://git@rickub.com/bots-garden/houla.git

Host key fingerprint (ed25519): SHA256:iycHnxEyq0Q7uyVpB7JlznP0G7JrTPXLYRcAU5CSLhc — verify it before your first connect.

Download ZIP
🛟 Updated. 1dfc968Unverified · on v0.0.1 · k33g · 4h ago
README.fr.md · 110 lines · 4.3 KBmarkdown
Blame HistoryOpen raw

Houla ... Houla

🇬🇧 English version

1. C'est quoi ce projet ?

Houla fait tourner le modèle de langage Olala-v1.0-mini-7A1B (d'OVHai) sur ta machine, dans un sandbox Docker (sbx), et l'expose sous forme d'API compatible OpenAI sur http://localhost:8080.

  • Le modèle est servi par llama-server, issu du fork llama.cpp d'OVHai (CPU uniquement, pas besoin de GPU).
  • Le fichier du modèle (GGUF, ~7 Go) est téléchargé une seule fois dans le dossier ./models, puis réutilisé.
  • Tout est décrit dans sbxenv.yaml : une seule commande crée le sandbox, télécharge le modèle et démarre le serveur.

2. Créer le secret Hugging Face

Pourquoi ? Le modèle est téléchargé depuis Hugging Face. Avec un token, les téléchargements sont authentifiés (moins de limites de débit, et accès aux modèles restreints ou privés).

Le vrai token n'entre jamais dans le sandbox : le sandbox ne voit qu'une valeur factice dans HF_TOKEN, et le proxy sbx la remplace par le vrai token quand une requête part vers huggingface.co.

  1. Crée un token Read sur https://huggingface.co/settings/tokens.
  2. Sur la machine hôte, lance une fois (remplace hf_xxx par ton token) :
printf '%s' "hf_xxx" | sbx secret set-custom \
    --host huggingface.co \
    --host '*.huggingface.co' \
    --env HF_TOKEN \
    --value-stdin

Le secret est global (il s'applique à tous les sandboxes). Fais-le avant de créer le sandbox. Plus de détails : docs/huggingface-token-sbx.fr.md.

Ne mets jamais le token dans sbxenv.yaml : ce fichier est commité.

3. Premier lancement

Sur la machine hôte, à la racine du projet :

sbx env create sbxenv.yaml

Cela crée le sandbox houla-olala, télécharge le modèle (la première fois seulement, quelques minutes) et démarre le serveur sur le port 8080.

Pour tester depuis l'hôte :

# Le serveur répond ?
curl -s http://localhost:8080/health

# Quel modèle est servi ?
curl -s http://localhost:8080/v1/models

# Poser une question
curl -s http://localhost:8080/v1/chat/completions \
  -H 'Content-Type: application/json' \
  -d '{
    "model": "Olala-v1.0-mini-7A1B-q8_0-safe2",
    "messages": [{"role": "user", "content": "Explique le fonctionnement d'\''une pompe à chaleur en deux phrases."}],
    "reasoning_effort": "low"
  }' | jq -r '.choices[0].message.content'

# Réponse en streaming
curl -sN http://localhost:8080/v1/chat/completions \
  -H 'Content-Type: application/json' \
  -d '{
    "model": "Olala-v1.0-mini-7A1B-q8_0-safe2",
    "stream": true,
    "reasoning_effort": "disabled",
    "messages": [{"role": "user", "content": "Dis bonjour"}]
  }'

reasoning_effort peut valoir disabled, low, medium (par défaut) ou high.

4. Relancer après avoir supprimé le sandbox

sbx env rm sbxenv.yaml       # supprime le sandbox (le modèle reste dans ./models)
sbx env create sbxenv.yaml   # le recrée : pas de nouveau téléchargement, le serveur démarre directement

Si le sandbox a seulement été arrêté (sbx stop, redémarrage de la machine), pas besoin de le recréer :

sbx run -d --name houla-olala
sbx env exec --no-input sbxenv.yaml -- bash -lc "$PWD/scripts/olala.sh serve"

5. Paramètres : port et modèle

Passe-les avec --env-arg à la création du sandbox :

# Un autre port sur l'hôte
sbx env create sbxenv.yaml --env-arg host_port=9090

# Un autre fichier de modèle (du même dépôt Hugging Face)
sbx env create sbxenv.yaml --env-arg model_file=Olala-v1.0-mini-7A1B-q5_k_m.gguf
Argument Défaut Rôle
host_port 8080 Port sur l'hôte
model_repo OVHaiLLM/Olala-v1.0-mini-7A1B-GGUF Dépôt Hugging Face
model_file Olala-v1.0-mini-7A1B-q8_0-safe2.gguf Fichier GGUF à télécharger et servir

Utilise les mêmes valeurs --env-arg pour toutes les commandes sbx env de ce sandbox (rm, exec…).
Avec un autre port, remplace 8080 dans les URL curl. Avec un autre modèle, le nom "model" dans les requêtes est le nom du fichier sans .gguf.

Autres paramètres (models_dir, threads, ctx) et détails : docs/olala-sbx.fr.md.

  1
  2
  3
  4
  5
  6
  7
  8
  9
 10
 11
 12
 13
 14
 15
 16
 17
 18
 19
 20
 21
 22
 23
 24
 25
 26
 27
 28
 29
 30
 31
 32
 33
 34
 35
 36
 37
 38
 39
 40
 41
 42
 43
 44
 45
 46
 47
 48
 49
 50
 51
 52
 53
 54
 55
 56
 57
 58
 59
 60
 61
 62
 63
 64
 65
 66
 67
 68
 69
 70
 71
 72
 73
 74
 75
 76
 77
 78
 79
 80
 81
 82
 83
 84
 85
 86
 87
 88
 89
 90
 91
 92
 93
 94
 95
 96
 97
 98
 99
100
101
102
103
104
105
106
107
108
109
110
# Houla ... Houla

🇬🇧 [English version](README.md)

## 1. C'est quoi ce projet ?

Houla fait tourner le modèle de langage **Olala-v1.0-mini-7A1B** (d'OVHai) sur ta machine, dans un sandbox Docker (`sbx`), et l'expose sous forme d'**API compatible OpenAI** sur `http://localhost:8080`.

- Le modèle est servi par `llama-server`, issu du [fork llama.cpp d'OVHai](https://github.com/OVHai-LLM/llama.cpp) (CPU uniquement, pas besoin de GPU).
- Le fichier du modèle (GGUF, ~7 Go) est téléchargé une seule fois dans le dossier `./models`, puis réutilisé.
- Tout est décrit dans [`sbxenv.yaml`](sbxenv.yaml) : une seule commande crée le sandbox, télécharge le modèle et démarre le serveur.

## 2. Créer le secret Hugging Face

**Pourquoi ?** Le modèle est téléchargé depuis [Hugging Face](https://huggingface.co/OVHaiLLM/Olala-v1.0-mini-7A1B-GGUF). Avec un token, les téléchargements sont authentifiés (moins de limites de débit, et accès aux modèles restreints ou privés).

Le vrai token n'entre jamais dans le sandbox : le sandbox ne voit qu'une valeur factice dans `HF_TOKEN`, et le proxy sbx la remplace par le vrai token quand une requête part vers `huggingface.co`.

1. Crée un token **Read** sur <https://huggingface.co/settings/tokens>.
2. Sur la machine hôte, lance une fois (remplace `hf_xxx` par ton token) :

```bash
printf '%s' "hf_xxx" | sbx secret set-custom \
    --host huggingface.co \
    --host '*.huggingface.co' \
    --env HF_TOKEN \
    --value-stdin
```

Le secret est global (il s'applique à tous les sandboxes). Fais-le **avant** de créer le sandbox. Plus de détails : [docs/huggingface-token-sbx.fr.md](docs/huggingface-token-sbx.fr.md).

> Ne mets jamais le token dans `sbxenv.yaml` : ce fichier est commité.

## 3. Premier lancement

Sur la machine hôte, à la racine du projet :

```bash
sbx env create sbxenv.yaml
```

Cela crée le sandbox `houla-olala`, télécharge le modèle (la première fois seulement, quelques minutes) et démarre le serveur sur le port 8080.

Pour tester depuis l'hôte :

```bash
# Le serveur répond ?
curl -s http://localhost:8080/health

# Quel modèle est servi ?
curl -s http://localhost:8080/v1/models

# Poser une question
curl -s http://localhost:8080/v1/chat/completions \
  -H 'Content-Type: application/json' \
  -d '{
    "model": "Olala-v1.0-mini-7A1B-q8_0-safe2",
    "messages": [{"role": "user", "content": "Explique le fonctionnement d'\''une pompe à chaleur en deux phrases."}],
    "reasoning_effort": "low"
  }' | jq -r '.choices[0].message.content'

# Réponse en streaming
curl -sN http://localhost:8080/v1/chat/completions \
  -H 'Content-Type: application/json' \
  -d '{
    "model": "Olala-v1.0-mini-7A1B-q8_0-safe2",
    "stream": true,
    "reasoning_effort": "disabled",
    "messages": [{"role": "user", "content": "Dis bonjour"}]
  }'
```

`reasoning_effort` peut valoir `disabled`, `low`, `medium` (par défaut) ou `high`.

## 4. Relancer après avoir supprimé le sandbox

```bash
sbx env rm sbxenv.yaml       # supprime le sandbox (le modèle reste dans ./models)
sbx env create sbxenv.yaml   # le recrée : pas de nouveau téléchargement, le serveur démarre directement
```

Si le sandbox a seulement été **arrêté** (`sbx stop`, redémarrage de la machine), pas besoin de le recréer :

```bash
sbx run -d --name houla-olala
sbx env exec --no-input sbxenv.yaml -- bash -lc "$PWD/scripts/olala.sh serve"
```

## 5. Paramètres : port et modèle

Passe-les avec `--env-arg` à la création du sandbox :

```bash
# Un autre port sur l'hôte
sbx env create sbxenv.yaml --env-arg host_port=9090

# Un autre fichier de modèle (du même dépôt Hugging Face)
sbx env create sbxenv.yaml --env-arg model_file=Olala-v1.0-mini-7A1B-q5_k_m.gguf
```

| Argument | Défaut | Rôle |
| --- | --- | --- |
| `host_port` | `8080` | Port sur l'hôte |
| `model_repo` | `OVHaiLLM/Olala-v1.0-mini-7A1B-GGUF` | Dépôt Hugging Face |
| `model_file` | `Olala-v1.0-mini-7A1B-q8_0-safe2.gguf` | Fichier GGUF à télécharger et servir |

> Utilise les **mêmes** valeurs `--env-arg` pour toutes les commandes `sbx env` de ce sandbox (`rm`, `exec`…).
> Avec un autre port, remplace `8080` dans les URL curl. Avec un autre modèle, le nom `"model"` dans les requêtes est le nom du fichier sans `.gguf`.

Autres paramètres (`models_dir`, `threads`, `ctx`) et détails : [docs/olala-sbx.fr.md](docs/olala-sbx.fr.md).