Engramora – Langetermijngeheugen voor AI-agents

Projectoverzicht

Engramora is een zelfstandig ontwikkeld softwareproject van Merdan IT Solutions, gericht op duurzaam geheugen voor AI-agents. Het platform biedt een afzonderlijke geheugenlaag waarin agents gestructureerde kennis en context kunnen bewaren en later opnieuw kunnen opvragen.

Het project combineert de ontwikkeling van een eigen Long-Term Memory-kern (LTM) met API-integratie, ontwikkelaarstools en praktijkgerichte validatie. Engramora.nl vormt het publieke informatiepunt voor het project.

Mijn rol omvat het systeemontwerp, de ontwikkeling van de geheugenkern, de integratielaag en de testsoftware. De nadruk ligt op betrouwbare opslag, contextgerichte Recall en een duidelijke scheiding tussen het taalmodel, de agent en zijn geheugen.

Projectstatus: actieve ontwikkeling en interne validatie. De kernfunctionaliteit voor Storage en Recall is gerealiseerd. De Cloud-dienst, publieke ontwikkelaarstoegang en aanvullende toepassingen worden verder voorbereid en gevalideerd.

1. Aanleiding en doelstelling

Een AI-agent heeft voor langdurige taken informatie nodig die verder teruggaat dan de context van één modelaanroep. Denk aan eerdere bevindingen, projectafspraken en kennis die tijdens onderzoek is verzameld. Zonder afzonderlijke geheugenvoorziening moet de applicatie deze informatie telkens opnieuw aanleveren of reconstrueren.

Engramora ontwikkelt hiervoor een herbruikbare geheugenlaag. Een agent kan relevante informatie vastleggen en bij een volgende taak gericht geheugen opvragen. De applicatie bepaalt vervolgens welke resultaten aan het taalmodel worden meegegeven.

De doelstelling is continuïteit: agents moeten op eerdere informatie kunnen voortbouwen, ook wanneer een werksessie eindigt of de applicatie opnieuw wordt gestart.

2. Architectuur en verantwoordelijkheden

De architectuur onderscheidt drie hoofdonderdelen:

OnderdeelVerantwoordelijkheidAI-agentTaken uitvoeren, bronnen verwerken en bepalen welke informatie moet worden bewaard of opgevraagd.TaalmodelInformatie interpreteren, redeneren en antwoorden of gestructureerde inhoud genereren.Engramora LTMGestructureerde geheugeninformatie duurzaam opslaan en via Recall beschikbaar maken.

Deze scheiding maakt het mogelijk de agentlogica en modelintegratie verder te ontwikkelen via een afzonderlijk geheugencontract. Engramora is daarbij ontworpen als infrastructuur die door verschillende toepassingen kan worden gebruikt.

Het geheugen vormt geen aanpassing van de modelgewichten. Het is een externe voorziening die de applicatie expliciet raadpleegt.

3. Gestructureerd geheugen

Engramora werkt met gestructureerde geheugenrecords, aangeduid als patterns. De integratie beschrijft welke inhoud wordt bewaard en welke kenmerken en context daarbij horen.

Een toepassing kan bijvoorbeeld kennis over een softwareproject vastleggen, samen met relevante onderwerpen en projectcontext. Bij een latere vraag kan deze structuur helpen om passende geheugeninformatie terug te vinden.

Belangrijke ontwerpprincipes zijn:

Expliciete invoercontracten voor geheugenopslag.
Behoud van relevante context bij opgeslagen informatie.
Scheiding tussen inhoudelijke verwerking door de agent en opslag door LTM.
Consistente gegevensformaten voor verschillende clients.

De kwaliteit van het aangeleverde geheugen blijft afhankelijk van de toepassing. De agent of integratielaag is verantwoordelijk voor het selecteren en structureren van bruikbare informatie.

4. Storage en betrouwbaarheid

De eigen Storage-kern verzorgt de persistente opslag van geheugeninformatie. Daarbij richt de ontwikkeling zich op voorspelbaar schrijfgedrag, consistente verwerking en herstel na onderbrekingen.

De integratielaag maakt onderscheid tussen het indienen van een schrijfverzoek en het vaststellen van de definitieve schrijfstatus. Dat is relevant wanneer een netwerkverbinding wegvalt of een client geen antwoord ontvangt.

Een vaste schrijfidentiteit ondersteunt het veilig opnieuw aanbieden van hetzelfde verzoek. Een herhaling mag niet ongemerkt tot dubbele opslag leiden. Interne validatie omvat daarom naast reguliere schrijfacties ook herhaalde verzoeken, statuscontrole en herstelgedrag.

Betrouwbaarheid wordt zo onderdeel van het geheugencontract tussen client en server.

5. Recall en contextgebruik

Recall is de functie waarmee een toepassing eerder opgeslagen geheugen opvraagt. De huidige integratie gebruikt gestructureerde zoekinvoer, waaronder kenmerken en context.

De gebruikelijke verwerking bestaat uit vier stappen:

De agent bepaalt welke informatie voor de huidige taak nodig is.
De integratielaag stelt een gestructureerd Recall-verzoek samen.
Engramora retourneert geheugenresultaten binnen de toegestane geheugenruimte.
De applicatie selecteert de informatie die zij in de volgende modelaanroep gebruikt.

Deze aanpak geeft ontwikkelaars controle over het moment waarop geheugen wordt geraadpleegd en over de informatie die het taalmodel ontvangt. Recall en tekstgeneratie blijven afzonderlijke onderdelen van de verwerking.

6. API, autorisatie en gegevensisolatie

De API-laag verbindt toepassingen met de geheugenkern. De huidige ontwikkeling omvat initialisatie, schrijven, schrijfstatus, Recall en het opvragen van toegestane resource-informatie.

Gegevensisolatie is een centraal onderdeel van het ontwerp. De server moet bij iedere relevante actie controleren of het gebruikte token toegang heeft tot de gevraagde agent en geheugenruimte. Een filter in de gebruikersinterface is daarvoor onvoldoende.

Interne integratietests hebben onder meer gecontroleerd dat twee afzonderlijk geautoriseerde accounts elkaars geheugenresources, schrijfstatus en Recall-functies niet kunnen benaderen. Deze controles worden aan de serverzijde afgedwongen.

De toegang wordt begrensd door de autorisatie van het token; een client krijgt daarmee geen algemeen overzicht van alle agents binnen het platform.

7. AgentLab als ontwikkel- en testomgeving

Naast de geheugenkern wordt Engramora AgentLab ontwikkeld: een desktopomgeving voor het testen van agents die LTM gebruiken. De eerste implementatie gebruikt C# en Avalonia.

AgentLab brengt de geheugenintegratie dichter bij daadwerkelijk agentgebruik. De ontwikkelrichting omvat doelgerichte taken, informatieverwerking, gestructureerde geheugenopslag en het opnieuw gebruiken van eerder vastgelegde kennis.

Een belangrijk validatiescenario is de volledige keten: een agent verzamelt informatie, verwerkt die met een model, schrijft bruikbare resultaten naar LTM en raadpleegt deze later opnieuw. De verdere ontwikkeling richt zich ook op taakplanning en inzichtelijke uitvoeringsresultaten.

Toekomstige clients in andere programmeertalen moeten dezelfde functionele afspraken en API-formaten volgen. De gebruikersinterface en implementatietechniek kunnen per platform verschillen.

8. Schaalbaarheid en interne validatie

Engramora is intern getest met geheugendatasets tot 100 miljoen patterns. Deze tests ondersteunen de verdere analyse van Recall, geheugengebruik en het gedrag bij grotere datasets.

Een benchmarkresultaat krijgt alleen betekenis met de bijbehorende omstandigheden. Datasetomvang, hardware, cachetoestand en het onderscheid tussen alleen Recall en een volledige schrijf- en leescyclus bepalen hoe een meting moet worden geïnterpreteerd.

De interne schaaltests zijn daarom geen algemene garantie voor Cloud-prestaties. De verdere validatie richt zich op reproduceerbare scenario’s, gelijktijdige verzoeken, foutafhandeling en werkelijk agentgebruik. Daarbij worden onder meer doorvoer, responstijdverdeling en correctheid onderzocht.

9. Publieke integratie en beschermde kerntechnologie

De publicatiestrategie maakt onderscheid tussen hulpmiddelen voor ontwikkelaars en de eigen kerntechnologie.

Na deployment en validatie van de Cloud-omgeving is het de bedoeling SDK-materiaal, API-voorbeelden en testsoftware publiek beschikbaar te maken. Daarmee kunnen ontwikkelaars de integratie beoordelen en beschreven testscenario’s zelf uitvoeren.

De broncode van de LTM-kern en de Cloud API-server blijft privaat. Publieke documentatie richt zich op het gebruik van de interfaces, waarneembaar systeemgedrag en reproduceerbare validatie.

10. Verdere ontwikkelrichting

De eerstvolgende stappen zijn het afronden van de integratielaag, het verder valideren met AgentLab en het gecontroleerd beschikbaar maken van de Cloud-dienst.

Op langere termijn omvat de roadmap:

Geheugenoverdracht tussen ondersteunde apparaten en platformen.
Aanvullende clients die dezelfde geheugencontracten gebruiken.
Een afzonderlijke compatibiliteitslaag voor andere geheugeninterfaces.
Verdere optimalisatie van opslag, resourcegebruik en gelijktijdige verwerking.

Deze onderdelen worden stapsgewijs ontwikkeld en gevalideerd. Ze vormen de toekomstige richting en zijn geen opsomming van reeds beschikbare productfuncties.

Technische betekenis van het project

Engramora brengt systeemontwerp, persistente opslag, API-ontwikkeling, autorisatie en prestatietesten samen in één zelfstandig ontwikkeld infrastructuurproject. De technische uitdaging ligt in het combineren van duurzaam geheugen met een bruikbaar en controleerbaar integratiecontract voor AI-agents.

Met dit project werk ik aan een geheugenfundament waarop toepassingen langdurige taken en opgebouwde kennis kunnen laten voortbouwen.