Opgericht door IT-professionals, voor IT-professionals
Een AI-kennisclub voor mensen die AI echt willen begrijpen.
Over Inference AI
Inference AI is een hechte kennisclub voor IT-professionals die AI niet aan zich voorbij willen laten gaan. We zijn een groep vakgenoten, nerds en vrienden die samen grondig willen uitzoeken hoe AI van binnen werkt.
Als IT'ers zijn we gewend aan continue kennisontwikkeling. Wat AI anders maakt, is de schaal en de snelheid. Door dit gezamenlijk aan te pakken, leren we sneller en zien we meer dan ieder voor zich.
Hoe het werkt
"De snelste manier om AI echt te begrijpen, is omringd zijn door mensen die net zo kritisch en nieuwsgierig zijn als jij."
Inference AI — AI KennisclubSessies
In oktober bespraken we het Model Context Protocol (MCP), een open standaard waarmee AI-modellen op een vaste manier verbinding maken met tools, bestanden en systemen. De voorloper hiervan is function calling: het model schrijft alleen een aanroep en de software eromheen voert die uit. MCP maakt die koppelingen herbruikbaar doordat een server zelf meldt wat hij aanbiedt. Met ruim 17.000 publieke servers kan er nu heel veel. Tegelijk vonden we het spannend om al je tools en inloggegevens aan een AI-assistent te koppelen, omdat het model zelf kiest wanneer het iets aanroept en niet elke actie terug te draaien is.
In deze sessie liepen we na wat er gebeurt tussen een prompt en het eerste woord van het antwoord. We bespraken hoe tekst wordt omgezet in tokens en vectoren, hoe attention-lagen bepalen welke woorden bij elkaar horen, en hoe het model het meest waarschijnlijke volgende token berekent totdat het antwoord compleet is. Ook de beperkingen kwamen aan bod: een model rekent met tokens en heeft daardoor moeite om letters in een woord te tellen, verliest in lange gesprekken eerdere context, en kan zelfverzekerd onjuiste informatie presenteren. Tot slot bekeken we de rekenkosten van dit proces en agentic AI, waarbij een model zelf tools aanroept om taken uit te voeren.
In de 4e sessie doken we in Retrieval Augmented Generation (RAG): een techniek waarmee een taalmodel informatie kan gebruiken die niet in zijn training zat, zoals interne documenten of actuele gegevens. We bekeken hoe zo'n systeem werkt, van het opknippen en indexeren van documenten tot verschillende zoekstrategieën en het meten van de kwaliteit van de resultaten. Ook alternatieven als long context en fine-tuning kwamen langs. Daarbij stonden we stil bij de afwegingen: RAG voegt complexiteit toe en vraagt aandacht voor een goede zoekstap. Een demo liet zien hoe dit er in de praktijk uitziet.
In de 3e sessie werden we ondergedompeld in de basis van neurale netwerken en deep learning. Aan de hand van een eenvoudig voorbeeld — een model dat kat of geen kat herkent — zagen we hoe een netwerk kenmerken omzet in getallen en via gewichten en een bias tot een voorspelling komt. Daarna kwam het leren zelf aan bod: fouten meten en met backpropagation de gewichten bijstellen. Een demo in Python maakte het geheel tastbaar. Echte beeldherkenning vraagt om complexere architecturen zoals CNN's en de nodige data en rekenkracht, maar de onderliggende principes blijven precies wat we in deze sessie hebben gezien.
In onze tweede sessie keken we naar wat er fysiek nodig is om AI in een datacenter te draaien. Achter elk model zit een berg hardware: AI-accelerators voor het rekenwerk, plus geheugen, opslag en netwerk om de data aan te voeren. Opvallend was dat de chips niet de grootste hindernis vormen, maar stroom, koeling en netwerk. Een AI-rack verbruikt tientallen kilowatts en een groot datacenter loopt al snel in de miljarden. Het laat zien dat de groei van AI net zo goed een vraagstuk van energie en gebouwen is als van software.
In onze eerste sessie keken we naar AI die volledig op je eigen laptop draait, zonder cloud. Dat is interessant omdat je data op je eigen machine blijft, je geen abonnement betaalt en je zelf bepaalt welk model je gebruikt. De keerzijde is dat je stevige hardware nodig hebt en dat zo'n model nog niet aan de grootste cloudmodellen kan tippen. Na een stuk theorie kregen we met Ollama een model lokaal draaiend en koppelden we dat aan een code-assistent.
De leden