llama.cpp : Impact de "-fa on" sur le Prompt Speed

Tuxedo17

Mon architecture :

 nvidia-smi 
Fri Aug  7 15:51:53 2026       
+-----------------------------------------------------------------------------------------+
| NVIDIA-SMI 610.43.03              KMD Version: 610.43.03     CUDA UMD Version: 13.3     |
+-----------------------------------------+------------------------+----------------------+
| GPU  Name                 Persistence-M | Bus-Id          Disp.A | Volatile Uncorr. ECC |
| Fan  Temp   Perf          Pwr:Usage/Cap |           Memory-Usage | GPU-Util  Compute M. |
|                                         |                        |               MIG M. |
|=========================================+========================+======================|
|   0  NVIDIA GeForce RTX 3060 ...    Off |   00000000:01:00.0 Off |                  N/A |
| N/A   64C    P0             33W /  115W |    1918MiB /   6144MiB |      8%      Default |
|                                         |                        |                  N/A |
+-----------------------------------------+------------------------+----------------------+
|   1  NVIDIA GeForce RTX 5060 Ti     Off |   00000000:05:00.0 Off |                  N/A |
| 30%   51C    P1             41W /  180W |    7550MiB /  16311MiB |     25%      Default |
|                                         |                        |                  N/A |
+-----------------------------------------+------------------------+----------------------+

+-----------------------------------------------------------------------------------------+
| Processes:                                                                              |
|  GPU   GI   CI              PID   Type   Process name                        GPU Memory |
|        ID   ID                                                               Usage      |
|=========================================================================================|
|    0   N/A  N/A         1863585      C   /usr/local/bin/llama-server            1910MiB |
|    1   N/A  N/A         1863585      C   /usr/local/bin/llama-server            7542MiB |
+-----------------------------------------------------------------------------------------+

Ma configuration :

/usr/local/bin/llama-server -m /models/Qwen3.6-35B-A3B-UD-Q4_K_M.gguf --ctx-size ${default_ctx} --temp ${temp} --top-p 0.95 --top-k 20 --min-p 0.00  --reasoning-preserve  --host 0.0.0.0 --fit off -ngl 99  --port 8999 --n-cpu-moe 35 -fa on --flash-attn on

Résultat :

Tuxedo17

SKILL HERMES

name: llama-swap-prompt-speed
description: Generate llama-swap Prompt Speed min/max charts from SQLite database.

llama-swap-prompt-speed — Compétence portable

Génère des graphiques de Prompt Speed (min/max/moyenne) depuis la base de données SQLite de llama-swap.

Prérequis

pip install matplotlib numpy pyyaml

Structure

├── SKILL.md                 # Ce fichier
├── config.yaml              # Configuration des chemins
├── llama-swap-prompt-speed.py  # Script unique (multi-type)
└── llama-swap-prompt-speed-daily.py  # Script journalier (standalone)

Configuration

Éditer config.yaml pour modifier les chemins :

# Chemin de la base SQLite llama-swap
db_path: /root/llama-swap.sqlite

# Répertoire de sortie des graphiques PNG
output_dir: ./

# Types de graphiques disponibles
chart_types:
  - daily    # Par jour (historique complet)
  - hourly   # Par heure de journée (tous jours confondus)

# Scripts générés
scripts:
  daily: ./llama-swap-prompt-speed-daily.py
  hourly: ./llama-swap-prompt-speed-hourly.py

Utilisation

Graphique par jour (historique complet)

# Via le script unifié
python3 llama-swap-prompt-speed.py --type daily

# Ou script standalone
python3 llama-swap-prompt-speed-daily.py

# Chemin de config personnalisé
python3 llama-swap-prompt-speed.py --type daily --config /chemin/vers/config.yaml

Graphique par heure de journée

python3 llama-swap-prompt-speed.py --type hourly

Résultat

Fichier : llama-swap-prompt-speed-daily.png ou llama-swap-prompt-speed-by-hour.png
Sortie : dans le répertoire défini dans output_dir de config.yaml
Filtre : uniquement les requêtes avec prompt_per_second > 0 (server actif)

Description des graphiques

Daily (`--type daily`)

Axe X : dates (jour par jour)
Ligne verte (▼) : min prompt speed par jour
Ligne orange (▲) : max prompt speed par jour
Ligne bleue (◆) : moyenne par jour
Zone bleue semi-transparente : plage min-max

Hourly (`--type hourly`)

Axe X : heures de la journée (00-23 UTC)
Même codage couleurs que daily
Agrégation sur tous les jours disponibles

Schéma de la base de données

Table activity dans /root/llama-swap.sqlite :

Colonne	Type	Description
ts_created	INTEGER	Timestamp (Unix epoch)
prompt_per_second	REAL	Vitesse prompt (tokens/seconde)
input_tokens	INTEGER	Tokens en entrée
output_tokens	INTEGER	Tokens générés
duration_ms	INTEGER	Durée de traitement (ms)

Exemples de requêtes SQL

-- Compter les jours disponibles
SELECT COUNT(DISTINCT date(datetime(ts_created, 'unixepoch', 'utc')))
FROM activity WHERE prompt_per_second > 0;

-- Voir les données brutes par jour
SELECT date(datetime(ts_created, 'unixepoch', 'utc')) AS jour,
       MIN(prompt_per_second) AS min,
       MAX(prompt_per_second) AS max,
       AVG(prompt_per_second) AS moy
FROM activity
WHERE prompt_per_second > 0
GROUP BY jour ORDER BY jour;

Personnalisation des chemins

Modifier config.yaml :

db_path : chemin vers le fichier SQLite
output_dir : où écrire les PNG
chart_types : quels graphiques générer

Le script lit automatiquement config.yaml dans son propre répertoire.

Résolution de problèmes

Problème	Solution
`ModuleNotFoundError: matplotlib`	`pip install matplotlib numpy pyyaml`
Aucune donnée	Vérifier `prompt_per_second > 0` dans la DB
DB introuvable	Corriger `db_path` dans config.yaml
Répertoire de sortie introuvable	Le script le crée automatiquement

Tuxedo17

Je viens de refaire un graphique :

NodeBB