Maar hoe werkt deze Generative Search Assistant eigenlijk? Om de toenemende stroom aan informatie te kunnen verwerken wordt er – nog voordat de daadwerkelijke search plaatsvindt – gestart met het maken van een onderverdeling van alle beschikbare documenten. Deze semantisch logische onderverdelingen, ook wel ‘chunks’ genoemd, worden niet apart opgeslagen. In plaats daarvan krijgt elke chunk zijn eigen pointer zodat de gewenste informatie op een later tijdstip eenvoudig teruggevonden kan worden. Door middel van een sentence transformer model worden de tekstuele chunks omgezet in een numerieke representatie, ook wel embedding genoemd, die vervolgens wordt opgeslagen als vector in een ‘vectorstore’. Deze ‘vectorstore’ is een speciale database geoptimaliseerd voor het zoeken op basis van vectoren.

Vervolgens gaat de daadwerkelijke zoekopdracht echt beginnen. Wanneer er een vraag gesteld wordt aan de Generative Search Assistant zijn er twee manieren waarop deze op zoek gaat naar het beste antwoord op de vraag.

1. Keyword Search:
   De zoekopdracht wordt geanalyseerd en op basis van keywords worden zo veel mogelijk relevante chunks opgehaald uit de vectorstore.
2. Embedding Search:
   Gebruikmakend van dezelfde tools als waarmee de documenten omgezet zijn wordt de zoekopdracht omgezet in een embedding, die vervolgens wordt vergeleken met alle chunks in de vectorstore om zo de chunks op te halen die semantisch het dichtste aanleunen bij de gestelde vraag.

Vervolgens worden de resultaten gecombineerd en wordt er met behulp van een ‘reranker’ gekozen welke chunks het relevantst zijn voor de zoekopdracht. Op basis van deze chunks en de originele vraag gaat de Generative Search Assistant vervolgens met behulp van een LLM (Large Language Models) op zoek naar het antwoord op de gestelde vraag. Dit antwoord wordt op een duidelijk leesbare manier weergegeven, vergezeld door een duidelijke bronvermelding binnen de eigen documenten.

Werken met de Generative Search Assistant biedt u verschillende voordelen die uw zoekervaring significant kunnen verbeteren:

• Tijdsbesparing: U hoeft niet eindeloos te zoeken door mappen of bladeren in documenten; stel uw vraag aan de assistent en u ontvangt direct uw antwoord.
• Veilige segmentatie: Doordat uw documenten via contexten worden gescheiden, krijgt u alleen relevante informatie te zien, wat de efficiëntie van de assistent verhoogt.
• Menselijke interactie: Het LLM levert antwoorden op een natuurlijke, leesbare manier, zonder dat u kennis nodig hebt van complexe zoekopdrachten of query-talen.