Installation llama.cpp sous Windows 11 avec Ubuntu 22

[Remi]

Nouveau test : https://rocm.docs.amd.com/projects/llama-cpp/en/docs-25.08/install/llama-cpp-install.html

[Remi]

Lancement de docker :

# docker run -it       --name=$(whoami)_llamacpp       --privileged --network=host       --device=/dev/kfd --device=/dev/dri       --group-add video --cap-add=SYS_PTRACE       --security-opt seccomp=unconfined       --ipc=host --shm-size 16G       -v $MODEL_PATH:/data rocm/dev-ubuntu-24.04:6.4-complete

[Remi]

Il faut déplacer votre distribution Ubuntu WSL vers un autre disque …

[Remi]

Aie …

#  llama-bench -m  /models/qwen2.5-1.5b-instruct-q4_k_m.gguf
llama-bench: error while loading shared libraries: libllama-bench-impl.so: cannot open shared object file: No such file or directory

Pourtant pas de problème de compilation avec https://rocm.docs.amd.com/projects/llama-cpp/en/docs-25.08/install/llama-cpp-install.html

Cela ne fonctionne pas :

# ./build/bin/test-backend-ops
ggml_cuda_init: failed to initialize ROCm: no ROCm-capable device is detected
Testing 1 devices

Backend 1/1: CPU
  Skipping CPU backend
1/1 backends passed
OK

Alors que j’ai fait le build pour toutes les architectures :

export LLAMACPP_ROCM_ARCH=gfx803,gfx900,gfx906,gfx908,gfx90a,gfx942,gfx1010,gfx1030,gfx1032,gfx1100,gfx1101,gfx1102

[Remi]

J’essaye de déplacer …

PS C:\Windows\system32> wsl --list --verbose
  NAME      STATE           VERSION
* Ubuntu    Running         2
PS C:\Windows\system32> wsl --terminate Ubuntu
L’opération a réussi.
PS C:\Windows\system32> wsl --list --verbose
  NAME      STATE           VERSION
* Ubuntu    Stopped         2
PS C:\Windows\system32> wsl --manage Ubuntu --move D:\WSL\Ubuntu
Le processus ne peut pas accéder au fichier car ce fichier est utilisé par un autre processus.
Code d'erreur : Wsl/Service/MoveDistro/ERROR_SHARING_VIOLATION
PS C:\Windows\system32> wsl --manage Ubuntu --move D:\WSL\Ubuntu
Le processus ne peut pas accéder au fichier car ce fichier est utilisé par un autre processus.
Code d'erreur : Wsl/Service/MoveDistro/ERROR_SHARING_VIOLATION

[Remi]

Ouf …

PS C:\Windows\system32> wsl --shutdown
PS C:\Windows\system32> wsl --manage Ubuntu --move D:\WSL\Ubuntu
L’opération a réussi.

[Remi]

Nouveau build :

# export LLAMACPP_ROCM_ARCH=gfx803,gfx900,gfx906,gfx908,gfx90a,gfx942,gfx1010,gfx1030,gfx1032,gfx1100,gfx1101,gfx1102
# HIPCXX="$(hipconfig -l)/clang" HIP_PATH="$(hipconfig -R)" \
cmake -S . -B build -DGGML_HIP=ON -DAMDGPU_TARGETS=$LLAMACPP_ROCM_ARCH \
-DCMAKE_BUILD_TYPE=Release -DLLAMA_CURL=ON \
&& cmake --build build --config Release -j$(nproc)

[Remi]

Je vais essayer la version Docker :

# export MODEL_PATH='/models/'
# docker run --privileged            --network=host            --device=/dev/kfd            --device=/dev/dri            --group-add video            --cap-add=SYS_PTRACE            --security-opt seccomp=unconfined            --ipc=host            --shm-size 16G            -v $MODEL_PATH:/data            rocm/llama.cpp:llama.cpp-b5997_rocm6.4.0_ubuntu24.04_full              -m /data/Qwen3.6-27B-Q4_K_M.gguf              -p "Building a website can be done in 10 simple steps:" -n 512 --n-gpu-layers 999
Unable to find image 'rocm/llama.cpp:llama.cpp-b5997_rocm6.4.0_ubuntu24.04_full' locally
llama.cpp-b5997_rocm6.4.0_ubuntu24.04_full: Pulling from rocm/llama.cpp
757fe5b21110: Downloading [==>                                                ]  6.291MB/114.7MB
0f1832fb3fb1: Downloading [>                                                  ]  5.243MB/646.4MB
52ae0682347f: Downloading [======================================>            ]    107MB/138.7MB
b00fa23324d1: Pull complete