| ##--mmproj ~/Models/mmproj-BF16.gguf \
|
|
|
| ./llama-server \
|
| -m ~/Models/Qwen3.5-0.8B-Q8_0.gguf \
|
| --ctx-size 262144 \
|
| --threads "$THREADS" \
|
| --offline \
|
| --image-min-tokens 1024 \
|
| --image-max-tokens 10240 \
|
| --repeat-penalty 1.0 \
|
| --presence-penalty 0 \
|
| --no-mmap --no-kv-offload --cpu-moe \
|
| --swa-full \
|
| --mlock \
|
| --cache-reuse 256 \
|
| --temp 0.2 \
|
| --top-p 0.96 \
|
| --top-k 24 \
|
| --min-p 0.00 \
|
| -rea "$REA" \
|
| --host 192.168.1.11 --port 8093
|