Wat betekent AI lokaal draaien?
Je downloadt de gewichten van een open taalmodel en laat dat model antwoorden genereren op je eigen computer of server. Dat heet inferentie. Je traint dus geen nieuw model. Je gebruikt een bestaand model, alleen draait het bij jou.
Het verschil met een clouddienst zit in de route van je vraag. Bij een clouddienst gaat je prompt naar de server van de aanbieder. Bij lokale inferentie blijft de berekening op jouw hardware.
Wat heb je nodig?
Geheugen bepaalt welk model je kunt draaien. Een model moet volledig in het werkgeheugen van je GPU passen, of in het gedeelde geheugen van een Mac met Apple Silicon. Modellen worden daarvoor meestal gekwantiseerd naar 4 bits per gewicht. Een vuistregel: reken op ruwweg 0,6 GB per miljard parameters, plus ruimte voor de context van het gesprek.
| Modelgrootte | Ongeveer nodig | Past op |
|---|---|---|
| 7 à 8 miljard parameters | 5 GB | Laptop of Mac met 16 GB |
| 32 miljard parameters | 20 GB | Mac met 32 GB of meer, GPU met 24 GB |
| 70 miljard parameters | 40 GB | Mac met 64 GB, of twee grote GPU's |
Dit zijn benaderingen. Een lang gesprek of een groot document vraagt extra geheugen bovenop het model zelf.
Software
Je hebt een programma nodig dat het model laadt en vragen doorgeeft. De bekendste zijn Ollama, LM Studio en llama.cpp. Wij gebruiken Ollama, omdat het als achtergronddienst draait en een lokale API heeft waar onze agents mee praten.
Wat wij zelf draaien
Onze opstelling heet de Subfactory. Het is een Mac Mini M4 Pro met 64 GB geheugen. Daarop draait Ollama met qwen3:32b voor de antwoorden en nomic-embed-text om documenten doorzoekbaar te maken. Drie community-agents en zes interne agents gebruiken dezelfde machine.
Als de Mini onbereikbaar is, neemt een cloudmodel bij Cloudflare het over. Dat staat dan zichtbaar bij het antwoord. De volledige opstelling beschrijven we op de pagina Mac Mini als AI server.
Waar lokaal ophoudt
Lokaal draaien lost een deel van het privacyvraagstuk op. Het zegt iets over waar het model rekent. Het zegt niets over waar je gesprekken worden opgeslagen of over de route die een vraag aflegt. Bij ons staat de gespreksgeschiedenis bijvoorbeeld in de database van het portal bij Cloudflare. Dat schrijven we er bewust bij.
De grootste cloudmodellen zijn sterker in lastig redeneerwerk. Voor samenvatten, zoeken in eigen documenten en vaste taken merken wij in onze eigen tests dat een model van 32 miljard parameters ver komt. Jouw ervaring kan afwijken, dus test het op je eigen werk.
Je beheert het ook zelf. Updates, herstarts en een machine die uitvalt zijn jouw zorg.
Een eerste stap van tien minuten
- Installeer Ollama via ollama.com.
- Start een klein model in de terminal:
ollama run qwen3:8b - Stel een vraag over een tekst uit je eigen werk en vergelijk het antwoord met wat je nu gebruikt.
Werkt dat, dan is de volgende vraag welke machine je wilt neerzetten en wie er gebruik van maakt. Daar helpt Han mee in het Builder-spoor.
Veelgestelde vragen
Kan ik ChatGPT lokaal draaien?
Nee. ChatGPT is een product van OpenAI en draait alleen op hun servers. Open modellen zoals Qwen, Llama, Mistral en Gemma kun je wel lokaal draaien. Voor veel dagelijkse taken komen die dichtbij.
Is lokale AI automatisch privé?
Het model rekent lokaal, en dat helpt. Kijk daarnaast waar gesprekken worden opgeslagen, wie toegang heeft tot de machine en of er een cloudfallback is. Pas als je die drie kent, weet je hoe privé je opstelling is.
Heb ik een NVIDIA GPU nodig?
Niet per se. Een Mac met Apple Silicon gebruikt hetzelfde geheugen voor processor en grafische chip, waardoor ook grotere modellen passen. Op een pc zonder sterke GPU draait een klein model op de processor, alleen langzamer.
Wat kost het om AI lokaal te draaien?
Je betaalt vooral de hardware en stroom. Er zijn geen kosten per vraag. Of dat goedkoper is dan een abonnement hangt af van hoeveel je het gebruikt en hoeveel mensen meedoen.
Doe mee met het Builder-spoor
Lid worden is gratis. Je kiest een spoor, krijgt een eigen AI-agent en leert van wat andere leden in de praktijk tegenkomen.
Word gratis lid