Documenten doorzoekbaar maken met bronverwijzing (RAG) op een taalmodel van 8 tot 14 miljard parameters, lokaal bij jou geinstalleerd.
DGX Spark/GX10-klasse of RTX 5090-tower
Voor: Technische groothandel of installatiebedrijf met een artikel- of handleiding-assistent, Klein-MKB met een eerste lokale RAG-toepassing
Richtprijs jaar 1
€ 9.500 tot € 13.000
Beheerabonnement
€ 150 tot € 300 per maand
- RAG op je eigen documentatie: handleidingen, artikelinformatie, interne kennisbank, met bronverwijzing.
- Een taalmodel tot ongeveer 14 miljard parameters, lokaal en zonder dat documenten de deur uit gaan.
- Een eerste stap richting lokale AI, met een overzichtelijk instapbudget.
- Een taalmodel van 70 miljard parameters of groter: de decodesnelheid op deze klasse hardware ligt op ongeveer 4 tot 5 tokens per seconde, niet de tientallen die in marketingmateriaal worden gesuggereerd.
- Trainen of finetunen van een model: deze box is ingericht op inferentie en RAG, niet op training.
- Meerdere zware workloads tegelijk naast elkaar.