<?xml version="1.0" encoding="UTF-8"?><rss xmlns:dc="http://purl.org/dc/elements/1.1/" xmlns:content="http://purl.org/rss/1.0/modules/content/" xmlns:atom="http://www.w3.org/2005/Atom" version="2.0"><channel><title><![CDATA[llama.cpp : Impact de  "-fa on"  sur le Prompt Speed]]></title><description><![CDATA[<h1><a class="anchor-offset" name="mon-architecture"></a>Mon architecture :</h1>
<pre><code class="language-bash"> nvidia-smi 
Fri Aug  7 15:51:53 2026       
+-----------------------------------------------------------------------------------------+
| NVIDIA-SMI 610.43.03              KMD Version: 610.43.03     CUDA UMD Version: 13.3     |
+-----------------------------------------+------------------------+----------------------+
| GPU  Name                 Persistence-M | Bus-Id          Disp.A | Volatile Uncorr. ECC |
| Fan  Temp   Perf          Pwr:Usage/Cap |           Memory-Usage | GPU-Util  Compute M. |
|                                         |                        |               MIG M. |
|=========================================+========================+======================|
|   0  NVIDIA GeForce RTX 3060 ...    Off |   00000000:01:00.0 Off |                  N/A |
| N/A   64C    P0             33W /  115W |    1918MiB /   6144MiB |      8%      Default |
|                                         |                        |                  N/A |
+-----------------------------------------+------------------------+----------------------+
|   1  NVIDIA GeForce RTX 5060 Ti     Off |   00000000:05:00.0 Off |                  N/A |
| 30%   51C    P1             41W /  180W |    7550MiB /  16311MiB |     25%      Default |
|                                         |                        |                  N/A |
+-----------------------------------------+------------------------+----------------------+

+-----------------------------------------------------------------------------------------+
| Processes:                                                                              |
|  GPU   GI   CI              PID   Type   Process name                        GPU Memory |
|        ID   ID                                                               Usage      |
|=========================================================================================|
|    0   N/A  N/A         1863585      C   /usr/local/bin/llama-server            1910MiB |
|    1   N/A  N/A         1863585      C   /usr/local/bin/llama-server            7542MiB |
+-----------------------------------------------------------------------------------------+

</code></pre>
<h1><a class="anchor-offset" name="ma-configuration"></a>Ma configuration :</h1>
<pre><code class="language-bash">/usr/local/bin/llama-server -m /models/Qwen3.6-35B-A3B-UD-Q4_K_M.gguf --ctx-size ${default_ctx} --temp ${temp} --top-p 0.95 --top-k 20 --min-p 0.00  --reasoning-preserve  --host 0.0.0.0 --fit off -ngl 99  --port 8999 --n-cpu-moe 35 -fa on --flash-attn on
</code></pre>
<h1><a class="anchor-offset" name="résultat"></a>Résultat :</h1>
<p dir="auto"><img src="/assets/uploads/files/1786110699137-llama-swap-prompt-speed-daily-resized.png" alt="llama-swap-prompt-speed-daily.png" class=" img-fluid img-markdown" width="2383" height="1042" /></p>
]]></description><link>https://lemmy.cyber-neurones.org/topic/392/llama.cpp-impact-de-fa-on-sur-le-prompt-speed</link><generator>RSS for Node</generator><lastBuildDate>Mon, 21 Sep 2026 07:06:48 GMT</lastBuildDate><atom:link href="https://lemmy.cyber-neurones.org/topic/392.rss" rel="self" type="application/rss+xml"/><pubDate>Fri, 07 Aug 2026 13:53:13 GMT</pubDate><ttl>60</ttl><item><title><![CDATA[Reply to llama.cpp : Impact de  "-fa on"  sur le Prompt Speed on Fri, 14 Aug 2026 13:43:59 GMT]]></title><description><![CDATA[<p dir="auto">Je viens de refaire un graphique :</p>
<p dir="auto"><img src="/assets/uploads/files/1786715037753-llama-swap-prompt-speed-daily-resized.png" alt="llama-swap-prompt-speed-daily.png" class=" img-fluid img-markdown" width="2083" height="1042" /></p>
]]></description><link>https://lemmy.cyber-neurones.org/post/1221</link><guid isPermaLink="true">https://lemmy.cyber-neurones.org/post/1221</guid><dc:creator><![CDATA[Tuxedo17]]></dc:creator><pubDate>Fri, 14 Aug 2026 13:43:59 GMT</pubDate></item><item><title><![CDATA[Reply to llama.cpp : Impact de  "-fa on"  sur le Prompt Speed on Fri, 07 Aug 2026 14:10:31 GMT]]></title><description><![CDATA[<h1><a class="anchor-offset" name="skill-hermes"></a>SKILL HERMES</h1>
<hr />
<h2><a class="anchor-offset" name="name-llama-swap-prompt-speed-br-description-generate-llama-swap-prompt-speed-min-max-charts-from-sqlite-database."></a>name: llama-swap-prompt-speed<br />
description: Generate llama-swap Prompt Speed min/max charts from SQLite database.</h2>
<h1><a class="anchor-offset" name="llama-swap-prompt-speed-compétence-portable"></a>llama-swap-prompt-speed — Compétence portable</h1>
<p dir="auto">Génère des graphiques de Prompt Speed (min/max/moyenne) depuis la base de données SQLite de llama-swap.</p>
<h2><a class="anchor-offset" name="prérequis"></a>Prérequis</h2>
<pre><code class="language-bash">pip install matplotlib numpy pyyaml
</code></pre>
<h2><a class="anchor-offset" name="structure"></a>Structure</h2>
<pre><code class="language-bash">├── SKILL.md                 # Ce fichier
├── config.yaml              # Configuration des chemins
├── llama-swap-prompt-speed.py  # Script unique (multi-type)
└── llama-swap-prompt-speed-daily.py  # Script journalier (standalone)
</code></pre>
<h2><a class="anchor-offset" name="configuration"></a>Configuration</h2>
<p dir="auto">Éditer <code>config.yaml</code> pour modifier les chemins :</p>
<pre><code class="language-yaml"># Chemin de la base SQLite llama-swap
db_path: /root/llama-swap.sqlite

# Répertoire de sortie des graphiques PNG
output_dir: ./

# Types de graphiques disponibles
chart_types:
  - daily    # Par jour (historique complet)
  - hourly   # Par heure de journée (tous jours confondus)

# Scripts générés
scripts:
  daily: ./llama-swap-prompt-speed-daily.py
  hourly: ./llama-swap-prompt-speed-hourly.py
</code></pre>
<h2><a class="anchor-offset" name="utilisation"></a>Utilisation</h2>
<h3><a class="anchor-offset" name="graphique-par-jour-historique-complet"></a>Graphique par jour (historique complet)</h3>
<pre><code class="language-bash"># Via le script unifié
python3 llama-swap-prompt-speed.py --type daily

# Ou script standalone
python3 llama-swap-prompt-speed-daily.py

# Chemin de config personnalisé
python3 llama-swap-prompt-speed.py --type daily --config /chemin/vers/config.yaml
</code></pre>
<h3><a class="anchor-offset" name="graphique-par-heure-de-journée"></a>Graphique par heure de journée</h3>
<pre><code class="language-bash">python3 llama-swap-prompt-speed.py --type hourly
</code></pre>
<h3><a class="anchor-offset" name="résultat"></a>Résultat</h3>
<ul>
<li><strong>Fichier</strong> : <code>llama-swap-prompt-speed-daily.png</code> ou <code>llama-swap-prompt-speed-by-hour.png</code></li>
<li><strong>Sortie</strong> : dans le répertoire défini dans <code>output_dir</code> de <code>config.yaml</code></li>
<li><strong>Filtre</strong> : uniquement les requêtes avec <code>prompt_per_second &gt; 0</code> (server actif)</li>
</ul>
<h2><a class="anchor-offset" name="description-des-graphiques"></a>Description des graphiques</h2>
<h3><a class="anchor-offset" name="daily-code-type-daily-code"></a>Daily (<code>--type daily</code>)</h3>
<ul>
<li>Axe X : dates (jour par jour)</li>
<li>Ligne verte (▼) : min prompt speed par jour</li>
<li>Ligne orange (▲) : max prompt speed par jour</li>
<li>Ligne bleue (◆) : moyenne par jour</li>
<li>Zone bleue semi-transparente : plage min-max</li>
</ul>
<h3><a class="anchor-offset" name="hourly-code-type-hourly-code"></a>Hourly (<code>--type hourly</code>)</h3>
<ul>
<li>Axe X : heures de la journée (00-23 UTC)</li>
<li>Même codage couleurs que daily</li>
<li>Agrégation sur tous les jours disponibles</li>
</ul>
<h2><a class="anchor-offset" name="schéma-de-la-base-de-données"></a>Schéma de la base de données</h2>
<p dir="auto">Table <code>activity</code> dans <code>/root/llama-swap.sqlite</code> :</p>
<table class="table table-bordered table-striped">
<thead>
<tr>
<th>Colonne</th>
<th>Type</th>
<th>Description</th>
</tr>
</thead>
<tbody>
<tr>
<td>ts_created</td>
<td>INTEGER</td>
<td>Timestamp (Unix epoch)</td>
</tr>
<tr>
<td>prompt_per_second</td>
<td>REAL</td>
<td>Vitesse prompt (tokens/seconde)</td>
</tr>
<tr>
<td>input_tokens</td>
<td>INTEGER</td>
<td>Tokens en entrée</td>
</tr>
<tr>
<td>output_tokens</td>
<td>INTEGER</td>
<td>Tokens générés</td>
</tr>
<tr>
<td>duration_ms</td>
<td>INTEGER</td>
<td>Durée de traitement (ms)</td>
</tr>
</tbody>
</table>
<h2><a class="anchor-offset" name="exemples-de-requêtes-sql"></a>Exemples de requêtes SQL</h2>
<pre><code class="language-sql">-- Compter les jours disponibles
SELECT COUNT(DISTINCT date(datetime(ts_created, 'unixepoch', 'utc')))
FROM activity WHERE prompt_per_second &gt; 0;

-- Voir les données brutes par jour
SELECT date(datetime(ts_created, 'unixepoch', 'utc')) AS jour,
       MIN(prompt_per_second) AS min,
       MAX(prompt_per_second) AS max,
       AVG(prompt_per_second) AS moy
FROM activity
WHERE prompt_per_second &gt; 0
GROUP BY jour ORDER BY jour;
</code></pre>
<h2><a class="anchor-offset" name="personnalisation-des-chemins"></a>Personnalisation des chemins</h2>
<p dir="auto">Modifier <code>config.yaml</code> :</p>
<ul>
<li><code>db_path</code> : chemin vers le fichier SQLite</li>
<li><code>output_dir</code> : où écrire les PNG</li>
<li><code>chart_types</code> : quels graphiques générer</li>
</ul>
<p dir="auto">Le script lit automatiquement <code>config.yaml</code> dans son propre répertoire.</p>
<h2><a class="anchor-offset" name="résolution-de-problèmes"></a>Résolution de problèmes</h2>
<table class="table table-bordered table-striped">
<thead>
<tr>
<th>Problème</th>
<th>Solution</th>
</tr>
</thead>
<tbody>
<tr>
<td><code>ModuleNotFoundError: matplotlib</code></td>
<td><code>pip install matplotlib numpy pyyaml</code></td>
</tr>
<tr>
<td>Aucune donnée</td>
<td>Vérifier <code>prompt_per_second &gt; 0</code> dans la DB</td>
</tr>
<tr>
<td>DB introuvable</td>
<td>Corriger <code>db_path</code> dans config.yaml</td>
</tr>
<tr>
<td>Répertoire de sortie introuvable</td>
<td>Le script le crée automatiquement</td>
</tr>
</tbody>
</table>
]]></description><link>https://lemmy.cyber-neurones.org/post/1204</link><guid isPermaLink="true">https://lemmy.cyber-neurones.org/post/1204</guid><dc:creator><![CDATA[Tuxedo17]]></dc:creator><pubDate>Fri, 07 Aug 2026 14:10:31 GMT</pubDate></item></channel></rss>