Definujte malé doménové nástroje s presnou vstupnou a výstupnou schémou. Argumenty overte na serveri, oprávnenie posúďte podľa identity a objektu, zápisné alebo nevratné akcie zobrazte na potvrdenie a vykonávajte idempotentne. Logujte rozhodnutie a výsledok bez tajomstiev a testujte škodlivé kombinácie volaní.
Tool calling umožňuje modelu požiadať aplikáciu o vyhľadanie údajov alebo vykonanie akcie cez definovanú funkciu. Model však nástroj priamo nevlastní a jeho argumenty nemožno považovať za dôveryhodné. Aplikačná vrstva musí každé volanie validovať, autorizovať a rozhodnúť, či ho vykoná, zamietne alebo požiada človeka o potvrdenie.
Najbezpečnejší nástroj má úzky účel, malú schému a predvídateľný výsledok. Všeobecné vykonaj požiadavku alebo spusti SQL prenášajú príliš veľa zodpovednosti na jazykový model. Čítanie a zápis sa oddeľujú, citlivé hodnoty sa nezobrazujú v kontexte a každá vykonaná akcia zostáva spojená s používateľom, prípadom a auditnou stopou.
Navrhujte nástroje podľa pracovného zámeru
Nástroj má pomenovať konkrétnu schopnosť, napríklad nájsť objednávku podľa oprávneného identifikátora alebo pripraviť návrh zmeny termínu. Model potom vyberá z jasných možností. Univerzálny prístup k databáze, súborom alebo ľubovoľnej URL zväčšuje priestor zneužitia a sťažuje audit. To, čo model nepotrebuje na daný cieľ, vôbec nesprístupňujte.
Oddeľte čítanie, návrh a vykonanie. Nástroj môže najprv vrátiť náhľad dôsledku a stabilný token návrhu; samostatný krok po potvrdení vykoná zmenu. Ak systém podporuje hromadnú operáciu, limitujte počet objektov a zobrazte ich používateľovi. Názvy a popisy nástrojov majú byť jednoznačné aj pri podobných procesoch.
Validujte schému aj obchodný význam argumentov
Vstupná schéma obmedzí typy, povinné polia, dĺžku, formát a povolené hodnoty. Server odmietne neznáme polia a neočakávaný rozsah. Schéma však nestačí: dátum môže byť formálne správny, no mimo povoleného obdobia, a identifikátor môže patriť inému zákazníkovi. Doménové pravidlá sa vykonajú mimo modelu pri každom volaní.
Model nesmie dodávať identitu používateľa, tenant ani rolu ako autoritatívny argument. Aplikácia ich odvodí z overenej relácie. Pri práci s textom rozlíšte obsah určený na uloženie od interných inštrukcií. URL povoľte iba podľa zoznamu a sieťových pravidiel, aby nástroj nečítal interné služby alebo nedôveryhodné adresy podľa vloženého pokynu.
- presná schéma bez neočakávaných polí
- serverom odvodená identita, rola a tenant
- doménové limity nad rámec formátovej kontroly
- bezpečný zoznam povolených cieľov a operácií
Vynucujte oprávnenie pri každom objekte
Autorizácia sa kontroluje tesne pred čítaním alebo zmenou, nie iba pri otvorení chatu. Používateľ môže mať prístup k jednému projektu a nie k druhému, hoci používa rovnaký nástroj. Výsledok filtrujte na dátovej vrstve. Model nedostane ani názov zakázaného objektu, pretože samotná existencia môže byť citlivá.
Servisná identita má najmenšie potrebné práva a podľa možnosti koná v delegovanom kontexte používateľa. Dlhodobý široký kľúč pre všetky nástroje sťažuje odvolanie a vyšetrovanie. Pri zmene role alebo ukončení relácie sa právo prejaví okamžite aj v cache. Zamietnutie vráti bezpečnú informáciu bez detailu, ktorý by uľahčil skúšanie cudzích identifikátorov.
Potvrdzujte citlivé akcie a riešte opakovanie
Pred odoslaním správy, zmazaním, finančnou operáciou alebo zmenou dôležitého stavu zobrazte človeku cieľ, hodnoty a očakávaný účinok. Potvrdenie sa viaže na konkrétny nemenný návrh a po úprave sa obnoví. Všeobecné povoľ všetky ďalšie akcie nezodpovedá informovanému rozhodnutiu. Niektoré operácie môžu zostať mimo dosahu modelu úplne.
Nástroj používa idempotentný kľúč a vracia jednoznačný stav, pretože timeout môže viesť k opakovaniu. Model nesmie pri nejasnom výsledku automaticky skúšať inú cestu s rovnakým účinkom. Najprv sa overí stav pôvodnej operácie. Kompenzačný krok navrhnite pre prípady, ktoré možno bezpečne vrátiť, a pri čiastočnom úspechu eskalujte s presným kontextom.
Testujte kombinácie a auditujte skutočný účinok
Testy zahŕňajú neplatné argumenty, cudzí objekt, odobraté oprávnenie, duplicitné volanie, timeout, škodlivý obsah z dokumentu a pokus reťaziť nástroje mimo zámeru. Simulované prostredie umožní skúšať bez produkčných následkov. Hodnoťte nielen to, čo model požiadal, ale aj serverové rozhodnutie a konečný stav cieľového systému.
Auditná stopa spája používateľský zámer, modelovú požiadavku, validovaný argument, autorizačný výsledok, potvrdenie a identifikátor vykonanej akcie. Tajomstvá a celé citlivé obsahy redigujte. Monitoring upozorní na rast zamietnutí, nezvyčajný nástroj, slučku a neočakávaný objem. Jednotlivý nástroj musí ísť rýchlo vypnúť bez odstavenia celého asistenta.
Časté otázky
Môže model priamo vykonať funkciu?
Model iba navrhne názov nástroja a argumenty. Aplikačná vrstva ich musí validovať, autorizovať a podľa rizika vyžiadať potvrdenie, až potom vykoná vlastnú funkciu.
Prečo nestačí vstupná JSON schéma?
Schéma overí formát, nie vlastníctvo objektu, obchodné pravidlo ani povolenie používateľa. Tieto kontroly musí server vykonať pri každom volaní.
Ktoré AI nástroje potrebujú potvrdenie?
Najmä tie, ktoré odosielajú, menia, zverejňujú, platia alebo mažú a majú významný či ťažko vratný dopad. Presná hranica vychádza z rizika organizácie.
Zdroje a ďalšie čítanie
Web developer zo Spišskej Novej Vsi. Venuje sa WordPressu, WooCommerce, vlastným pluginom, API integráciám, webovým aplikáciám a praktickým AI automatizáciám.
