Интелигентна обработка на документи (IDP)

Интелигентна обработка на документи (IDP)

· от Panayot Dimkov

Интелигентната обработка на документи (IDP) използва изкуствен интелект, за да прави с документа онова, което днес прави човек: да го класифицира, да извлече важните данни, да ги провери спрямо системите на компанията и да реши къде да отидат, с ниво на увереност за всяко поле, което показва кога е нужен човешки преглед. Оптичното разпознаване на символи (OCR) е само част от този процес: превръща изображение на текст в символи, но не разбира какъв документ вижда, не знае кое от числата е общата сума и не забелязва, че липсва поле.

Практическата разлика: разпознаването с шаблони изисква да му кажете „сумата е на тази позиция на страницата“. Съвременният модел поглежда документа, разпознава какъв е и намира сумата дори тя да е другаде, на друг език или в оформление, което никога не е виждал.

1Четирите слоя на интелигентната обработка на документи

Пълната обработка прави четири различни неща и е добре да се разграничат, защото всяко има своята трудност.

01
Класифициране
Да се определи какво е: фактура, стокова разписка, сертификат, договор, работен фиш. Звучи тривиално, а е сред слоевете, които спестяват най-много ръчно време, защото днес някой отваря всеки PDF, за да разбере.
02
Извличане
Изваждане на полетата, които имат значение за този вид. От стокова разписка искаме номер на поръчка и количества; от сертификат — датата на изтичане. Не е едно и също извличане.
03
Проверка
Сравняване на извлеченото с онова, което вече знаете: че доставчикът съществува, че поръчката е отворена, че количествата излизат. Без този слой извличането е просто текст.
04
Определяне на местоназначението
Архивиране с уеднаквено име, създаване на запис, задействане на известие или насочване към преглед. Точно това превръща обработката в процес, а не в четец.
Повечето проекти мислят само за слой 2 и после откриват, че работата е била разпределена: класифицирането може да отнеме толкова човешко време, колкото извличането, а проверката решава дали резултатът може да се използва, без да се гледа.

2Документите в една обикновена компания

Мисли се за фактурите, защото са най-видими, но реалният обем е разпределен.

ДокументКакво се извлича и защо
Стокови разписки Номер на поръчка, артикули и количества, за съпоставяне с поръчката и потвърждаване на полученото
Сертификати и застраховки Титуляр, обхват и дата на изтичане, за да се предупреди преди изтичане, а не да се открие, когато потрябват
Договори Страни, сума, срок, предизвестие за подновяване. Нежеланото автоматично подновяване е скъпа класика
Работни фишове Часове, материали и подпис на клиента, често ръкописни и снимани с телефон
Разходооправдателни документи Сума, дата, основание и данък, за да се приключват отчети, без никой да преписва касови бележки

Списъкът има значение, защото променя приоритетите. Автоматично известие за изтичащи сертификати може да струва повече от спестени минути по фактурите и обикновено е по-лесно за изграждане.

3IDP срещу OCR: защо шаблоните вече не стигат

Разпознаването с шаблони работи по координати: научава, че в документите на доставчик А общата сума е долу вдясно. Точно и бързо е, докато документът не се промени.

  • Всяко ново оформление е настройка. С двадесет издатели е поносимо; с двеста някой се занимава само с това.
  • Един редизайн чупи шаблона. Доставчикът мести логото си и извличането започва да греши без предупреждение.
  • Не разбира варианти. Стокова разписка на две страници, накъсана таблица или ръкописна бележка в полето излизат от калъпа.
  • Не знае какво не знае. Връща каквото стои на тази позиция, вярно или не.

Езиковият модел със зрение работи обратно: тълкува документа както би го направил човек и затова се справя с нови оформления без предварителна настройка. В замяна е по-малко предсказуем — оттам следва и следващата точка.

4Нивото на увереност е важното число

Въпросът, който всички задават — „каква е точността?“ — е най-безполезният. Добрият е: знае ли системата кога не е сигурна?

С ниво на увереност по поле потокът приема автоматично онова, което надхвърля прага, и изпраща за преглед само съмнителното. Тогава разговорът се променя: какъв дял се обработва без намеса и колко грешки все пак минават с висока увереност. Това са числата, които се договарят и измерват.

Универсален праг няма: определя се за всяко поле и с реална извадка от документи, като е по-строг за дата на изтичане или сума, отколкото за вътрешен референтен номер. А високата увереност не гарантира, че стойността е вярна — затова слоят за проверка остава необходим.

Практическото следствие е, че човешкият преглед не е провал на проектирането, а част от него. И че интерфейсът за преглед има същото значение като модела: ако корекцията на едно поле е три щраквания с документа отстрани, хората я правят; ако изисква два отворени екрана — не.

5Трудните случаи, с реалистични очаквания

✍️
Ръкописи
Подобриха се много, но остават най-ненадеждният случай. С ясен почерк и ограничени полета работят; с работен фиш, надраскан набързо в буса, винаги се преглежда.
📸
Снимки вместо сканирания
Накриво, със сянка, с пръст в ъгъла. Предварителната обработка коригира много, но най-евтиното подобрение е хората да се научат да снимат отпред и на светло.
🧾
Няколко документа в един PDF
Сканиране с дванадесет стокови разписки една след друга. Нужен е предварителен слой, който ги разделя, и това е сред нещата, които администрацията оценява най-много.
📊
Сложни таблици
Слети клетки, вмъкнати междинни суми, редове, продължаващи на следващата страница. Там най-ясно личи разликата между добро и посредствено решение.

6Как да изберете първия случай

Четири критерия, в този ред:

01
Голям и повтарящ се обем
Сто документа месечно от един вид обикновено връщат повече от хиляда от различни видове. Разнообразието се плаща в проектиране.
02
Ясно местоназначение
Да знаете точно какво да правите с извлеченото. Ако няма система, в която да влезе, проектът свършва като текстов файл.
03
Поносима грешка
Започнете с документи, при които последваща проверка би хванала грешката. Онези, които задействат плащане без преглед, не са добър първи случай.
04
Някой, който усеща проблема
Процес с разпознаваем собственик, който може да каже дали резултатът върши работа. Проектите без такъв събеседник се оценяват сами и винаги минават.
ПриложениеДокументиАвтоматизация

Често задавани въпроси

Каква е разликата между OCR и интелигентна обработка на документи?

OCR превръща изображение в текст: разпознава символи. Интелигентната обработка добавя три неща отгоре: разбиране какъв е документът, намиране на смислените полета дори когато се местят, и проверка на извлеченото спрямо данните на компанията. OCR е компонент на второто, не негов заместител.

Трябва ли да обучавам системата с моите документи?

Със съвременните модели — не, за да започнете. Те разпознават често срещаните видове документи без предварителна настройка, което е голямата разлика спрямо шаблоните. Струва си обаче да се донастроят с ваши примери специфичните за бранша видове и правилата за проверка, които зависят от вашия бизнес.

Може ли да обработва документи на няколко езика?

Да, на обичайните езици и без отделна настройка за всеки. Това е съществена разлика спрямо решенията с шаблони, при които всеки език обикновено означаваше отделна конфигурация. За компания с доставчици или клиенти в няколко държави това премахва голяма част от поддръжката.

Къде се обработват документите?

Зависи от използваната услуга и е въпрос, който се задава преди подписване. Ако документите съдържат лични данни — а почти всички съдържат — трябва да се знае дали обработването напуска Европейското икономическо пространство и с каква гаранция, както и да има договор с обработващ данни. Разглеждаме го в автоматизация на процеси без нарушаване на GDPR.

А старите документи на хартия?

Масовото цифровизиране си струва само ако наистина ще бъдат преглеждани. Обикновено е по-разумно да се обработва отсега нататък, а историята да се цифровизира при нужда. Едно изключение: ако има задължение за съхранение и физическият архив е риск, цифровизирането има друго основание.

В крайна сметка

Скокът спрямо OCR не е в по-доброто разчитане, а в разбирането на документа и в знанието кога не си сигурен. Това позволява да се спре настройването на шаблони и да се проектира поток с прагове, проверки и малка опашка за преглед.

И си струва да се гледа отвъд фактурите: изтичащите сертификати, договорите, които се подновяват сами, и работните фишове, които никой не преписва, обикновено връщат повече и са по-лесни за подхващане. Точно така подхождаме в автоматизация на процеси с изкуствен интелект.

Какви документи влизат всяка седмица в компанията ви?

С реална извадка от видовете, които обработвате, може да се оцени какъв дял би минал без намеса и какво би трябвало да се проверява. Преглеждаме го с вас.

Заявете анализ на процесите