Najprv navrhnite jednoznačnú schému a pravidlá chýbajúcich hodnôt, potom dokument bezpečne rozdeľte a extrahujte polia spolu s dôkazom. Formát aj obchodné väzby overte kódom, konfliktné alebo neisté údaje pošlite kontrolórovi a do cieľového systému zapisujte iba validovaný výsledok.
Zmluva, objednávka, protokol alebo formulár môže niesť dôležité údaje v rôznych rozloženiach a formuláciách. AI pomôže nájsť význam aj tam, kde jednoduchá šablóna nestačí, ale jej odpoveď musí prejsť do presnej dátovej schémy. Bez väzby na zdroj môže presvedčivo doplniť hodnotu, ktorá v dokumente vôbec nie je.
Extrakčný systém preto oddeľuje získanie textu, významovú interpretáciu, technickú validáciu a obchodné schválenie. Pri každom poli zachová miesto alebo úryvok, z ktorého vychádza, a umožní stav neznáme. Cieľom nie je vyplniť všetky bunky, ale vytvoriť údaje, ktorým nadväzujúci proces rozumie a vie ich bezpečne preveriť.
Definujte pole podľa pracovného významu
Každé pole potrebuje názov, dátový typ, povinnosť, povolené hodnoty a vysvetlenie, na čo sa použije. Rozlíšte dátum podpisu od začiatku platnosti a cenu položky od celkovej hodnoty. Ak pojem nie je jednotný ani medzi odborníkmi, model ho nevyrieši sám. Najprv dohodnite definíciu a príklady hraničných prípadov.
Určte, či výstup môže byť neznámy, nevzťahuje sa alebo konflikt. Prázdny reťazec nesmie zastupovať všetky tri situácie. Pri zoznamoch stanovte, či sa očakáva jedna alebo viac položiek a ako sa zachová poradie. Verziu schémy evidujte spolu s výsledkom, aby staršie exporty zostali interpretovateľné po zmene procesu.
Pripravte dokument a zachovajte jeho štruktúru
Najprv overte typ súboru, bezpečnosť, čitateľnosť a počet strán. OCR alebo textová vrstva musia zachovať väzbu na stranu, tabuľku a nadpis. Slepé spojenie celého textu môže pomiešať stĺpce či poznámky pod čiarou. Pri obrázku zaznamenajte kvalitu a orientáciu; nečitateľná časť má zostať výnimkou, nie podnetom na hádanie.
Dlhý dokument rozdeľte podľa logických častí a k extrakcii pridajte potrebný kontext, napríklad názov sekcie. Prekrývanie úsekov môže chrániť vetu na hranici, no vytvára duplicity, ktoré treba zlúčiť. Prílohu a hlavný dokument držte ako samostatné zdroje. Poradie dôvery medzi nimi určte vecným pravidlom, nie náhodným poradím vstupu.
- identifikátor dokumentu, strany a oblasti
- stav OCR alebo iného získania textu
- logické sekcie a zachované tabuľkové väzby
- jasne oddelený hlavný dokument a prílohy
Vyžadujte hodnotu aj podporný dôkaz
Model vracia pri každom poli normalizovanú hodnotu, pôvodný úryvok a umiestnenie. Dôkaz musí byť skutočne prítomný v spracovanom zdroji; aplikácia to technicky overí, keď je to možné. Vysvetlenie bez citácie nie je náhrada. Pri hodnote odvodenej z viacerých miest označte všetky zdroje a pravidlo spojenia.
Nedovoľte modelu opravovať zjavný preklep bez označenia. Zachovajte pôvodnú hodnotu a normalizáciu ako dve polia, aby používateľ videl rozdiel. Ak dokument obsahuje dve odlišné sumy s podobným názvom, vráťte konflikt alebo kandidátov. Jedno modelové skóre nemusí odrážať skutočnú spoľahlivosť, preto neistotu kombinujte s kvalitou zdroja a validačnými pravidlami.
Validujte formát, vzťahy a obchodné pravidlá
Schémová validácia kontroluje dátový typ, povinné pole, formát a povolenú hodnotu. Následná vrstva overí vzťahy: koncový dátum nemá predchádzať začiatku, súčet môže zodpovedať položkám a identifikátor sa môže nachádzať v povolenom registri. Presné pravidlá držte v kóde, kde sa dajú testovať, verzovať a vysvetliť.
Validácia nemá potichu zmeniť výsledok iba preto, aby prešiel kontrolou. Rozdiel ukážte používateľovi spolu s návrhom opravy. Pri konflikte zdrojov uveďte, ktoré pravidlo určilo preferenciu. Záznam pripravený na export musí niesť stav schválenia a väzbu na verziu dokumentu, inak by nová príloha mohla zmeniť význam už spracovaného prípadu.
Testujte polia a prevádzku samostatne
Testovacia sada obsahuje rôzne rozloženia, skeny, tabuľky cez viac strán, chýbajúce polia, protichodné údaje a dokumenty mimo rozsahu. Hodnoťte každé dôležité pole zvlášť, pretože celkový priemer môže skryť nebezpečnú chybu v jednej hodnote. Sledujte aj nesprávny dôkaz, nie iba zhodu normalizovaného textu.
V prevádzke merajte výnimky podľa dôvodu, opravy kontrolórov, zlyhanie OCR, neznáme varianty, čas čakania, náklady a chyby exportu. Novú verziu modelu porovnajte na rovnakej sade pred nasadením. Originály, pracovné dáta a výstupy majú odlišné prístupy a dobu uchovania. Pri výpadku sa dokument bezpečne uloží do ručného toku.
Časté otázky
Je validný JSON dôkazom správnej extrakcie?
Nie. Potvrdzuje iba formát. Hodnota môže byť nesprávna alebo vymyslená, preto potrebuje väzbu na zdroj, obchodné validácie a pri rizikových poliach ľudskú kontrolu.
Čo má systém urobiť, keď údaj v dokumente chýba?
Má vrátiť jednoznačný stav neznáme alebo nevzťahuje sa podľa schémy. Nemá dosadiť bežnú hodnotu ani údaj z iného dokumentu bez transparentného pravidla.
Dá sa extrahovať aj z tabuliek a skenov?
Áno, ak prípravná vrstva zachová rozloženie a kvalitu zdroja. Horšia čitateľnosť a zložité tabuľky potrebujú osobitné testy, dôkazy a častejšiu kontrolu.
Zdroje a ďalšie čítanie
Web developer zo Spišskej Novej Vsi. Venuje sa WordPressu, WooCommerce, vlastným pluginom, API integráciám, webovým aplikáciám a praktickým AI automatizáciám.
