Houla ... Houla
1. C'est quoi ce projet ?
Houla fait tourner le modèle de langage Olala-v1.0-mini-7A1B (d'OVHai) sur ta machine, dans un sandbox Docker (sbx), et l'expose sous forme d'API compatible OpenAI sur http://localhost:8080.
- Le modèle est servi par
llama-server, issu du fork llama.cpp d'OVHai (CPU uniquement, pas besoin de GPU). - Le fichier du modèle (GGUF, ~7 Go) est téléchargé une seule fois dans le dossier
./models, puis réutilisé. - Tout est décrit dans
sbxenv.yaml: une seule commande crée le sandbox, télécharge le modèle et démarre le serveur.
2. Créer le secret Hugging Face
Pourquoi ? Le modèle est téléchargé depuis Hugging Face. Avec un token, les téléchargements sont authentifiés (moins de limites de débit, et accès aux modèles restreints ou privés).
Le vrai token n'entre jamais dans le sandbox : le sandbox ne voit qu'une valeur factice dans HF_TOKEN, et le proxy sbx la remplace par le vrai token quand une requête part vers huggingface.co.
- Crée un token Read sur https://huggingface.co/settings/tokens.
- Sur la machine hôte, lance une fois (remplace
hf_xxxpar ton token) :
printf '%s' "hf_xxx" | sbx secret set-custom \
--host huggingface.co \
--host '*.huggingface.co' \
--env HF_TOKEN \
--value-stdin
Le secret est global (il s'applique à tous les sandboxes). Fais-le avant de créer le sandbox. Plus de détails : docs/huggingface-token-sbx.fr.md.
Ne mets jamais le token dans
sbxenv.yaml: ce fichier est commité.
3. Premier lancement
Sur la machine hôte, à la racine du projet :
sbx env create sbxenv.yaml
Cela crée le sandbox houla-olala, télécharge le modèle (la première fois seulement, quelques minutes) et démarre le serveur sur le port 8080.
Pour tester depuis l'hôte :
# Le serveur répond ?
curl -s http://localhost:8080/health
# Quel modèle est servi ?
curl -s http://localhost:8080/v1/models
# Poser une question
curl -s http://localhost:8080/v1/chat/completions \
-H 'Content-Type: application/json' \
-d '{
"model": "Olala-v1.0-mini-7A1B-q8_0-safe2",
"messages": [{"role": "user", "content": "Explique le fonctionnement d'\''une pompe à chaleur en deux phrases."}],
"reasoning_effort": "low"
}' | jq -r '.choices[0].message.content'
# Réponse en streaming
curl -sN http://localhost:8080/v1/chat/completions \
-H 'Content-Type: application/json' \
-d '{
"model": "Olala-v1.0-mini-7A1B-q8_0-safe2",
"stream": true,
"reasoning_effort": "disabled",
"messages": [{"role": "user", "content": "Dis bonjour"}]
}'
reasoning_effort peut valoir disabled, low, medium (par défaut) ou high.
4. Relancer après avoir supprimé le sandbox
sbx env rm sbxenv.yaml # supprime le sandbox (le modèle reste dans ./models)
sbx env create sbxenv.yaml # le recrée : pas de nouveau téléchargement, le serveur démarre directement
Si le sandbox a seulement été arrêté (sbx stop, redémarrage de la machine), pas besoin de le recréer :
sbx run -d --name houla-olala
sbx env exec --no-input sbxenv.yaml -- bash -lc "$PWD/scripts/olala.sh serve"
5. Paramètres : port et modèle
Passe-les avec --env-arg à la création du sandbox :
# Un autre port sur l'hôte
sbx env create sbxenv.yaml --env-arg host_port=9090
# Un autre fichier de modèle (du même dépôt Hugging Face)
sbx env create sbxenv.yaml --env-arg model_file=Olala-v1.0-mini-7A1B-q5_k_m.gguf
| Argument | Défaut | Rôle |
|---|---|---|
host_port |
8080 |
Port sur l'hôte |
model_repo |
OVHaiLLM/Olala-v1.0-mini-7A1B-GGUF |
Dépôt Hugging Face |
model_file |
Olala-v1.0-mini-7A1B-q8_0-safe2.gguf |
Fichier GGUF à télécharger et servir |
Utilise les mêmes valeurs
--env-argpour toutes les commandessbx envde ce sandbox (rm,exec…).
Avec un autre port, remplace8080dans les URL curl. Avec un autre modèle, le nom"model"dans les requêtes est le nom du fichier sans.gguf.
Autres paramètres (models_dir, threads, ctx) et détails : docs/olala-sbx.fr.md.
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 |
|