Opgericht door IT-professionals, voor IT-professionals
Een hechte AI-kennisclub voor mensen die AI echt willen begrijpen — niet alleen, maar samen.
Over Inference AI
Inference AI is een hechte kennisclub voor IT-professionals die AI niet aan zich voorbij willen laten gaan. We zijn geen cursus, geen bedrijf en geen congres. We zijn een groep vakgenoten die dezelfde overtuiging delen: kunstmatige intelligentie vraagt om de diepgang die het verdient.
Als IT'ers zijn we gewend aan continue kennisontwikkeling. Wat AI anders maakt, is de schaal en de snelheid. Door dit gezamenlijk aan te pakken, voeg je een dimensie toe die zelfstudie nooit biedt: het perspectief van de ander.
Hoe het werkt
"De snelste manier om AI echt te begrijpen, is omringd zijn door mensen die net zo kritisch en nieuwsgierig zijn als jij — en die vanuit een andere hoek kijken."
Inference AI — AI KennisclubVoor wie
Inference AI is er voor mensen die al technisch onderlegd zijn, maar AI willen doorgronden op een niveau dat verder gaat dan de gemiddelde LinkedIn-post of introductiecursus. Je bent gewend om dingen uit te zoeken, kritisch te denken en kennis te delen — en je doet dat het liefst in goed gezelschap.
Sessies
In deze sessie liepen we na wat er gebeurt tussen een prompt en het eerste woord van het antwoord. We bespraken hoe tekst wordt omgezet in tokens en vectoren, hoe attention-lagen bepalen welke woorden bij elkaar horen, en hoe het model het meest waarschijnlijke volgende token berekent totdat het antwoord compleet is. Ook de beperkingen kwamen aan bod: een model rekent met tokens en heeft daardoor moeite om letters in een woord te tellen, verliest in lange gesprekken eerdere context, en kan zelfverzekerd onjuiste informatie presenteren. Tot slot bekeken we de rekenkosten van dit proces en agentic AI, waarbij een model zelf tools aanroept om taken uit te voeren.
In de 4e sessie doken we in Retrieval Augmented Generation (RAG): een techniek waarmee een taalmodel informatie kan gebruiken die niet in zijn training zat, zoals interne documenten of actuele gegevens. We bekeken hoe zo'n systeem werkt, van het opknippen en indexeren van documenten tot verschillende zoekstrategieën en het meten van de kwaliteit van de resultaten. Ook alternatieven als long context en fine-tuning kwamen langs. Daarbij stonden we stil bij de afwegingen: RAG voegt complexiteit toe en vraagt aandacht voor een goede zoekstap. Een demo liet zien hoe dit er in de praktijk uitziet.
In de 3e sessie werden we ondergedompeld in de basis van neurale netwerken en deep learning. Aan de hand van een eenvoudig voorbeeld — een model dat kat of geen kat herkent — zagen we hoe een netwerk kenmerken omzet in getallen en via gewichten en een bias tot een voorspelling komt. Daarna kwam het leren zelf aan bod: fouten meten en met backpropagation de gewichten bijstellen. Een demo in Python maakte het geheel tastbaar. Echte beeldherkenning vraagt om complexere architecturen zoals CNN's en de nodige data en rekenkracht, maar de onderliggende principes blijven precies wat we in deze sessie hebben gezien.
In onze tweede sessie keken we naar wat er fysiek nodig is om AI in een datacenter te draaien. Achter elk model zit een berg hardware: AI-accelerators voor het rekenwerk, plus geheugen, opslag en netwerk om de data aan te voeren. Opvallend was dat de chips niet de grootste hindernis vormen, maar stroom, koeling en netwerk. Een AI-rack verbruikt tientallen kilowatts en een groot datacenter loopt al snel in de miljarden. Het laat zien dat de groei van AI net zo goed een vraagstuk van energie en gebouwen is als van software.
In onze eerste sessie keken we naar AI die volledig op je eigen laptop draait, zonder cloud. Dat is interessant omdat je data op je eigen machine blijft, je geen abonnement betaalt en je zelf bepaalt welk model je gebruikt. De keerzijde is dat je stevige hardware nodig hebt en dat zo'n model nog niet aan de grootste cloudmodellen kan tippen. Na een stuk theorie kregen we met Ollama een model lokaal draaiend en koppelden we dat aan een code-assistent.
De leden