Een betrouwbare maritieme AI-agent bouwen blijkt veel meer te draaien om systeemontwerp dan om modelkeuze. Dat is de belangrijkste les die Skylight trok uit de ontwikkeling van Shippy, een AI-agent die specifiek is gebouwd voor realtime maritieme domeinbewaking — een domein waar een fout antwoord niet alleen een gebruiker frustreert, maar een patrouillevaartuig mijlen uit koers kan sturen, schaarse middelen kan uitputten en mogelijk personeel in gevaar kan brengen.
Summary
Belangrijkste punten
- Shippy is een AI-agent die door Skylight is gebouwd voor realtime maritieme domeinbewaking, en ondersteunt zoekopdrachten naar vaargedrag, EEZ- en MPA-grenzen en vaartuigsporen.
- De architectuur is opgebouwd rond drie componenten: een ziel (systeemprompt), vaardigheden (taakafhandeling) en config (runtime-instellingen, waaronder het gebruik van Claude Opus 4.6).
- Shippy communiceert met de API van Skylight via een doelgerichte deterministische CLI, waarmee de foutpatronen worden geëlimineerd die ontstonden toen het model rechtstreeks ruwe API-calls construeerde.
- Elke gebruikerssessie draait in een speciale Kubernetes-sandbox die wordt ingericht door Mothership, wat volledige gegevensisolatie garandeert voor de honderden overheids- en NGO-klanten van Skylight.
- Evaluatie is gebaseerd op een taak- en rubricagegericht raamwerk met een LLM-rechter die antwoorden beoordeelt aan de hand van live data — een bewuste afwijking van statische benchmarks.
Waarom maritieme domeinbewaking de lat voor betrouwbaarheid hoger legt
De meeste AI-tools werken in omgevingen waar een middelmatig antwoord hooguit onhandig is. Maritieme operaties zijn anders. Skylight bedient honderden overheidsinstanties en NGO’s in meer dan 70 landen, van visserijhandhaving tot monitoring van natuurbescherming. Wanneer een analist in die context vraagt of vaartuigen illegaal opereren binnen een marien beschermd gebied, zijn de gevolgen van een hallucinant of onnauwkeurig antwoord direct en operationeel.
Die context bepaalde elke architecturale beslissing achter Shippy. De vraag waar het Skylight-team steeds op terugkwam was niet “wat kan het model doen?” — maar “hoe bouwen we een systeem dat we kunnen vertrouwen om correct te zijn, binnen zijn grenzen te blijven en stand te houden over een breed scala aan taken?” Alles moest worden geverifieerd aan de hand van de live data van Skylight, die continu wordt bijgewerkt naarmate nieuwe satelliet- en vaartuigsignalen binnenkomen.
De architectuur van Shippy: ziel, vaardigheden en config
Skylight beschrijft de maritieme AI-agent Shippy via drie afzonderlijke lagen: een ziel, vaardigheden en config. Het onderscheid is belangrijker dan het op het eerste gezicht lijkt.
De ziel is de systeemprompt — deze definieert Shippy’s persona en stelt harde gedragsgrenzen. Wat Shippy wel zal doen, en cruciaal, wat niet. De ziel is expliciet en controleerbaar: Shippy zal geen juridische oordelen vellen over de vraag of een vaartuig de wet overtreedt, en zal niet speculeren buiten wat de data ondersteunt. Dit zijn geen zachte vangrails die in fine-tuning zijn ingebakken; ze zijn rechtstreeks in de systeemprompt geschreven, waardoor ze eenvoudig te inspecteren en te herzien zijn.
Vaardigheden vertellen Shippy hoe hij specifieke soorten verzoeken moet afhandelen. Ze volgen dezelfde agent-vaardigheden-specificatie die wordt gebruikt door coderingstools zoals Claude Code en Codex — gewone markdown-bestanden met gestructureerde frontmatter, waardoor elke vaardigheid versieerbaar en begrijpelijk blijft. Shippy’s huidige set vaardigheden omvat:
- Het bevragen van de Skylight API voor vaargedrag en gebeurtenissen (visserij, overladen tussen vaartuigen)
- Het opzoeken van grenzen van Exclusieve Economische Zones (EEZ) en mariene beschermde gebieden (MPA)
- Het interpreteren van vaartuigspoorgegevens en positieberichten, voortbouwend op activiteitsclassificaties die al door de eigen modellen van Skylight worden geproduceerd
- Het genereren van interactieve kaartlinks zodat analisten vanuit een chatantwoord direct kunnen springen naar een exacte locatie op de Skylight-kaart
Eén enkele gebruikersvraag kan meerdere vaardigheden tegelijk activeren. Vraag of vaartuigen opereren nabij de Cordillera de Coiba MPA, en Shippy maakt gebruik van Skylight’s dataquery-vaardigheid, de grenzendatabase van ProtectedSeas en de vaardigheid voor interpretatie van vaartuigsporen — allemaal binnen één enkele dialoogbeurt.
Config en de modelvraag
De config-laag behandelt alles wat met runtime te maken heeft: welke agent-harnas moet draaien, welk LLM moet worden gebruikt en geïnjecteerde geheimen zoals API-sleutels. Shippy draait momenteel op Claude Opus 4.6 als zijn large language model. Belangrijk is dat het onderliggende model vervangen een config-wijziging is in plaats van een herbouw — de ziel en vaardigheden zijn onafhankelijk in een Docker-image ingebakken, waardoor het team de flexibiliteit heeft om verschillende soorten zoekopdrachten naar verschillende modellen te routeren naarmate het systeem zich ontwikkelt.
Deterministische tooling voor een niet-deterministische agent
Een van de meest leerzame vroege lessen kwam voort uit het Shippy rechtstreeks ruwe API-calls laten construeren. Het resultaat was een gestage stroom subtiele fouten: onjuist vormgegeven paginering die stilletjes resultaten wegliet, fouten in geometrie-encoding en queries die er correct uitzagen maar verkeerde data opleverden door verkeerd begrepen filtertypen. De Skylight API heeft tientallen invoertypen, geneste filterobjecten, pagineringscursors en complexe geometrie-invoer — het soort oppervlak dat modelgegenereerde fouten uitlokt.
De oplossing was een doelgerichte deterministische CLI. In plaats van ruwe API-calls te construeren, geeft Shippy één enkele opdracht — bijvoorbeeld skylight events search met getypeerde filtervlaggen — en de CLI verzorgt authenticatie, paginering en gestructureerde output. De CLI is zelfdocumenterend, met gedetailleerde helpteksten en foutmeldingen die de agent in staat stellen te herstellen van fouten zonder te hoeven raden. Resultaten worden altijd naar een lokaal JSON-bestand geschreven in plaats van via de shell gepiped, waardoor beperkingen van pipe-buffers worden omzeild die in vroege prototypes problemen veroorzaakten bij grote resultaatsets.
Het gelaagde ontwerp — getypeerde API, deterministische CLI, agentvaardigheden die naar CLI-commando’s verwijzen — betekent dat elke component onafhankelijk kan worden getest. Elke laag verkleint wat de volgende laag fout kan doen. Dit is het soort architecturale discipline dat een onderzoeksprototype onderscheidt van een productiesysteem in een domein met hoge inzet.
Kubernetes-sandboxing en de uitdaging van gegevensisolatie
De gebruikersbasis van Skylight omvat overheidsinstanties met gevoelige, jurisdictiespecifieke data. Een visserijambtenaar op de Filipijnen heeft watchlists, aandachtsgebieden en waarschuwingsconfiguraties die zijn beperkt tot zijn eigen account. Ervoor zorgen dat hun data nooit in de sessie van een andere gebruiker terechtkomt — en dat hun gespreksgeschiedenis volledig privé blijft — was een van de belangrijkste technische inspanningen in het project.
De oplossing is Mothership, het platform van Skylight voor het hosten van agents. Mothership voorziet in een speciale Kubernetes-deployment voor elke gebruikerssessie. Wanneer een gesprek wordt geopend, start het systeem een set pods op waarin de agent-runtime, zijn vaardigheden en de Skylight CLI zijn verpakt. Het JWT-token van de gebruiker wordt tijdens de inrichting geïnjecteerd, waardoor alle API-calls worden beperkt tot de data van die gebruiker. Bestanden die de agent schrijft tijdens een meerstapsanalyse bestaan alleen binnen die sessie en zijn nooit toegankelijk tussen gebruikers onderling.
Binnen de sandbox behoudt de agent aanzienlijke operationele capaciteit — hij kan code schrijven en uitvoeren, afhankelijkheden installeren, datasets binnenhalen en meerstapsanalyses uitvoeren. Op netwerk niveau is de sandbox beperkt tot alleen de services die hij nodig heeft. De isolatie is sessie-gebonden, tijdelijk en wordt op infrastructuurniveau afgedwongen in plaats van uitsluitend te vertrouwen op applicatielogica.
Een agent evalueren in live operationele contexten
Standaard AI-benchmarks beoordelen modellen op statische vragenverzamelingen. Ze leggen niet vast wat er gebeurt wanneer een agent in een echte workflow wordt geïntegreerd — hoe hij tools selecteert, live data bevraagt, op de resultaten reageert en weet wanneer hij moet stoppen. Skylight bouwde om precies die reden een aangepast evaluatiesysteem.
Een rubricagegericht raamwerk met een LLM-rechter
In het evaluatieraamwerk van Skylight schrijven inhoudsdeskundigen scenario’s en rubrics, bepalen ze welke criteria op elke taak van toepassing zijn en stellen ze de wegingen vast. Een zoekopdracht naar visserijgebeurtenissen weegt bijvoorbeeld gegevensnauwkeurigheid het zwaarst, met grensbepaling en tijdsbestek daarna, en bronvermelding met minder gewicht. Experts annoteren ook individuele antwoorden als correct of onjuist, waardoor de rechter grondwaarheid heeft om tegen te scoren.
De pijplijn stuurt een natuurlijke-taalprompt door de live sandbox, en een LLM-rechter beoordeelt elk criterium op een schaal van 0 tot 1 met geschreven redenering waarin wordt uitgelegd waarom het antwoord wel of niet aan het criterium voldeed. De gewogen som wordt vervolgens vergeleken met een vaste slaagdrempel. Taken worden uitgevoerd via Harbor, een open evaluatieraamwerk, via een door Skylight gebouwde plugin die een echte Shippy-sessie opstart tegen dezelfde live data die een gebruiker zou tegenkomen.
De resultaten van recente evaluatieruns wijzen op specifieke, actiegerichte faalpatronen. Bij patrouilleplannings-taken bleek Shippy zich te ver te wagen in tactische aanbevelingen in plaats van binnen de grenzen van besluitondersteuning te blijven. Geometriegevoelige zoekopdrachten legden gemiste gebeurtenissen bloot die werden veroorzaakt door grensvereenvoudiging. En in één geval genereerde de agent een CLI-commando dat niet bestond. Elk patroon correspondeert direct met een doel voor verbetering van een vaardigheid — precies wat een goed ontworpen evaluatiesysteem zou moeten opleveren.
Wat volgt voor Shippy — en daarbuiten
Skylight stelt Shippy gefaseerd open voor early adopters en nodigt expliciet uit tot stresstests om zwakke vangrails en slecht afgehandelde zoekopdrachten aan het licht te brengen. De volgende ontwikkelcyclus richt zich op drie gebieden: agentgestuurde UI-bediening (de overgang van het teruggeven van kaartlinks naar het direct bedienen van de Skylight-kaart, filters toepassen en tijdsbereiken aanpassen); modelrouting (eenvoudige opzoekacties doorsturen naar kleinere, snellere modellen terwijl het volledige model wordt gereserveerd voor complexe onderzoeken); en geheugen over threads heen (blijvende feiten zoals de jurisdictie van een analist of voorkeurbronnen meenemen over afzonderlijke gespreksthreads heen).
De bredere implicaties reiken veel verder dan maritieme toepassingen. Mothership is ontworpen als domeinonafhankelijk, en de moederorganisatie van Skylight, Ai2, past de lessen van Shippy al toe op EarthRanger, het platform voor natuurbescherming, en OlmoEarth, de open suite van aardobservatietools. De architectuur — ziel, vaardigheden, config, deterministische tooling, sessiegeïsoleerde sandboxing en evaluatie met live data — vormt een blauwdruk voor het inzetten van AI-agents in elk domein waar de kosten van een fout antwoord in iets anders worden gemeten dan gebruikersfrustratie.
FAQ
Waarvoor is Shippy ontworpen?
Shippy is een AI-agent die door Skylight is ontwikkeld voor realtime maritieme domeinbewaking. Het helpt analisten bij het bevragen van vaargedrag, het opzoeken van grenzen van Exclusieve Economische Zones en mariene beschermde gebieden, het interpreteren van vaartuigspoorgegevens en het genereren van interactieve kaartlinks die direct zijn gekoppeld aan het live dataplatform van Skylight.
Hoe zorgt Shippy voor betrouwbaarheid bij het beantwoorden van vragen?
Shippy gebruikt een deterministische CLI om alle Skylight API-calls af te handelen, waardoor de foutpatronen worden vermeden die ontstonden toen het model rechtstreeks ruwe API-calls construeerde. In combinatie met een modulaire architectuur — ziel, vaardigheden en config — en strikte gedragsgrenzen in de systeemprompt, geeft het ontwerp prioriteit aan voorspelbaar, controleerbaar gedrag boven flexibiliteit.
Hoe wordt Shippy geëvalueerd op nauwkeurigheid en betrouwbaarheid?
Skylight heeft een aangepast evaluatieraamwerk gebouwd waarin inhoudsdeskundigen taaksituaties en gewogen rubrics schrijven. Een LLM-rechter beoordeelt elk agentantwoord aan de hand van live data op een schaal van 0 tot 1 per criterium, met geschreven redenering. De gewogen som wordt vergeleken met een vaste slaagdrempel, en elke versie van Shippy die terugvalt op evaluatiecriteria bereikt de eindgebruikers niet.
Behandelt Shippy juridische oordelen over vaartuigactiviteiten?
Nee. Shippy vermijdt expliciet het vellen van juridische oordelen over de vraag of een vaartuig enige wet overtreedt, en zal niet speculeren buiten wat de data ondersteunt. Die oordelen worden overgelaten aan menselijke analisten. Deze grenzen zijn rechtstreeks in de systeemprompt geschreven — waardoor ze controleerbaar en aanpasbaar zijn — in plaats van impliciet te zijn in model-fine-tuning.
{“@context”:”https://schema.org”,”@type”:”FAQPage”,”mainEntity”:[{“@type”:”Question”,”name”:”Waarvoor is Shippy ontworpen?”,”acceptedAnswer”:{“@type”:”Answer”,”text”:”Shippy is een AI-agent die door Skylight is ontwikkeld voor realtime maritieme domeinbewaking. Het helpt analisten bij het bevragen van vaargedrag, het opzoeken van grenzen van Exclusieve Economische Zones en mariene beschermde gebieden, het interpreteren van vaartuigspoorgegevens en het genereren van interactieve kaartlinks die direct zijn gekoppeld aan het live dataplatform van Skylight.”}},{“@type”:”Question”,”name”:”Hoe zorgt Shippy voor betrouwbaarheid bij het beantwoorden van vragen?”,”acceptedAnswer”:{“@type”:”Answer”,”text”:”Shippy gebruikt een deterministische CLI om alle Skylight API-calls af te handelen, waardoor de foutpatronen worden vermeden die ontstonden toen het model rechtstreeks ruwe API-calls construeerde. In combinatie met een modulaire architectuur — ziel, vaardigheden en config — en strikte gedragsgrenzen in de systeemprompt, geeft het ontwerp prioriteit aan voorspelbaar, controleerbaar gedrag boven flexibiliteit.”}},{“@type”:”Question”,”name”:”Hoe wordt Shippy geëvalueerd op nauwkeurigheid en betrouwbaarheid?”,”acceptedAnswer”:{“@type”:”Answer”,”text”:”Skylight heeft een aangepast evaluatieraamwerk gebouwd waarin inhoudsdeskundigen taaksituaties en gewogen rubrics schrijven. Een LLM-rechter beoordeelt elk agentantwoord aan de hand van live data op een schaal van 0 tot 1 per criterium, met geschreven redenering. De gewogen som wordt vergeleken met een vaste slaagdrempel, en elke versie van Shippy die terugvalt op evaluatiecriteria bereikt de eindgebruikers niet.”}},{“@type”:”Question”,”name”:”Behandelt Shippy juridische oordelen over vaartuigactiviteiten?”,”acceptedAnswer”:{“@type”:”Answer”,”text”:”Nee. Shippy vermijdt expliciet het vellen van juridische oordelen over de vraag of een vaartuig enige wet overtreedt, en zal niet speculeren buiten wat de data ondersteunt. Die oordelen worden overgelaten aan menselijke analisten. Deze grenzen zijn rechtstreeks in de systeemprompt geschreven — waardoor ze controleerbaar en aanpasbaar zijn — in plaats van impliciet te zijn in model-fine-tuning.”}}]}
Artikel geproduceerd met behulp van kunstmatige intelligentie en beoordeeld door de redactie.
