Модель прочитала накладну й повернула номер рейсу, кількість та дату. Це ще не означає, що документ належить потрібному перевезенню, містить усі зауваження або дозволяє провести оплату. Керівнику операцій та власнику даних потрібно визначити, які дії AI може виконувати самостійно, а які потребують перевірки. Пропонуємо починати з помічника для підготовки даних і черги розбору, зберігаючи право остаточного рішення за уповноваженим працівником.

Розділіть читання документа і прийняття факту

В умовному прикладі водій завантажує фото документа на рейс R-8 із вісьмома палетами. У друкованому полі зазначено вісім, але рукописна примітка повідомляє про пошкодження однієї палети. AI правильно читає кількість і пропускає примітку. Якщо результат одразу закриває доставку без зауважень, помилка виникає не лише в розпізнаванні: процес надав неперевіреному витягу зайві повноваження.

Визначте окремі етапи: отримання файлу, перевірка цілісності, класифікація, витяг полів, зіставлення із заявкою, перевірка правил і рішення працівника. На кожному етапі зберігайте результат та причину відмови. Пошкоджене фото направляйте на повторне отримання, невідомий тип документа — на ручний розбір. Відсутнє поле повинно лишатися невідомим, а не заповнюватися правдоподібним припущенням моделі.

NIST AI RMF Core передбачає визначення ролей у взаємодії людини з AI та документування меж знань системи. Наше прикладне рішення — дозволити моделі готувати витяг і виявляти невідповідності, залишивши підтвердження операційного чи фінансового наслідку конкретній ролі. Це запропонований контроль, а не твердження про універсальну юридичну вимогу до кожного транспортного документа.

Джерела: [1]

Заздалегідь обмежте дані й дозволені дії

Власник даних погоджує, які документи можна передавати обраному сервісу, де їх обробляють, хто має доступ і скільки зберігають. Приберіть поля, які не потрібні для визначеної задачі, якщо це не руйнує перевірку документа. Умови використання даних для навчання та правила видалення перевіряйте для конкретного постачальника й договору. Не припускайте однакових умов для всіх AI-сервісів.

Джерелами зіставлення мають бути затверджена заявка, довідник контрагентів і відповідна версія рейсу. Інструкції, надруковані або приховані всередині завантаженого документа, не повинні змінювати правила роботи моделі чи відкривати їй нові інструменти. Дозвольте тільки потрібні читання та створення чернетки. Підтвердження доставки, зміна реквізитів і проведення витрати залишаються окремими дозволами.

Показуйте перевіряльнику витяг поруч із відповідним фрагментом оригіналу. Для нашого прикладу він має побачити рукописне зауваження та обрати результат із пошкодженням. Якщо підставу неможливо прочитати, працівник запитує кращий файл або додаткове підтвердження. Високе число впевненості моделі не замінює видимий доказ і не надає права ігнорувати суперечність.

Побудуйте оцінювання навколо небезпечних помилок

Зберіть контрольний набір із дозволених до використання документів: різні шаблони, мови, якість фото, рукописні доповнення та часткові доставки. Відокремте його від матеріалів налаштування. Люди за погодженими правилами визначають очікувані поля й рішення. Суперечливі приклади спочатку розбирають експерти процесу; нечітку еталонну відповідь не слід використовувати як доказ помилки моделі.

Для кожного запуску контрольного набору рахуйте пропущені зауваження серед документів, де людина підтвердила зауваження, та хибні зіставлення серед документів із відомим рейсом. Неправильні кількості порівнюйте з усіма читабельними полями кількості, вигадані значення — з полями, позначеними еталоном як порожні. Нульовий знаменник означає відсутність оцінки. Джерело — погоджена розмітка та результати запуску конкретної версії; власник ризику визначає пороги. Зберігайте результати окремо за типами документів. Середня точність може приховати помилку в полі, яке змінює рішення про оплату.

W3C PROV описує походження даних через сутності, дії та відповідальних учасників. Для нашого контролю це означає зберігати зв’язок оригіналу, результату витягу, ручного виправлення та затвердженого запису. Таблиця визначає запропоновану реакцію на різні результати перевірки. Вона не задає числового порога впевненості, який без локального оцінювання був би довільним.

Маршрут документа після перевірок

↔ Прокрутіть таблицю горизонтально

Маршрут документа після перевірок
Результат Наступна дія Хто вирішує
Поля узгоджені, доказ читабельнийПеревірити чернеткуУповноважений оператор
Пропущене або нечітке полеЗапросити доказ чи виправитиОператор документа
Не збігається рейсЗупинити застосуванняВласник транспортних даних
Є зауваження про пошкодженняПередати на розбір наслідкуВласник операції або претензії

Джерела: [2]

Прийміть процес разом із відмовою від автоматизації

Пілот запускайте в режимі підготовки чернеток. Порівняйте рішення працівника з результатом AI, запишіть причини виправлень і час ручного розбору. Не називайте частку прийнятих чернеток точністю без перевірки помилок у прийнятих документах. Вибірковий контроль має охоплювати й записи, які пройшли без зауважень, і складні випадки, відправлені на розбір. До пілота погодьте розмір і склад щоденної вибірки та відповідального за її перегляд; це запропонована частота, яку коригують за наслідками помилок.

При зміні моделі, шаблону або джерела файлів повторіть контрольний набір та перевірте нові приклади. Приймальний протокол містить версію моделі й правил, перелік дозволених дій, результати за типами помилок та рішення відповідального. Якщо якість погіршилася, поверніть процес до ручної обробки або попередньої перевіреної версії. Наявність такого маршруту потрібно продемонструвати до розширення обсягу.

Повторне завантаження того самого документа має знаходити попередній запис або створювати керовану нову версію. Воно не повинно дублювати витрату чи вдруге закривати рейс. Зберігайте ідентифікатор документа, контрольну суму файлу, пов’язаний рейс і журнал рішень. Наступний практичний крок — відібрати документи, де помилка читання змінює операційне рішення, і перевірити на них весь процес, включно з діями людини.

Контрольний список

  • Погодьте права на документи, умови обробки, доступ і строк зберігання.
  • Назвіть дозволені дії AI та дії, які виконує лише уповноважена людина.
  • Підготуйте контрольний набір із рукописними зауваженнями й хибними збігами.
  • Перевірте повтор файлу, зміну версії та повернення до ручної обробки.

Запитання та відповіді

Чи можна автоматично приймати прості документи?

Лише після окремого рішення власника процесу для чітко обмеженого класу, перевірки наслідків помилок і встановлення моніторингу. Початковий пілот у цьому матеріалі такого дозволу не передбачає.

Чи є впевненість моделі ймовірністю правильного рішення?

Не варто припускати це без оцінювання конкретного виходу моделі. Перевірте відповідність оцінки фактичним помилкам на ваших документах і враховуйте значущість поля для рішення.

Джерела

  1. AI RMF Core - AIRC
  2. PROV Model Primer

Переглянути відповідну послугу ↗