Точность 98%, а счета все равно с ошибками

Автоматический разбор документов дошел до цифр, которые еще пару лет назад казались фантастикой: 97-99% точности на ключевых полях, цена, срок, номер, поставщик. Вендоры показывают эти проценты на слайдах, бизнес считает задачу решенной и убирает человека с ввода. А через квартал в учете всплывают задвоенные счета, не тот НДС и оплаты, уехавшие по неверной дате

Точность на отдельном поле и надежность всего процесса это разные вещи. 98% на поле цены означает, что примерно каждая пятидесятая цена прочитана неверно. На потоке в тысячи документов это десятки ошибок в месяц, и они не кричат о себе, а тихо уходят в учет. Одна перепутанная валюта или лишний ноль в сумме стоят дороже, чем весь выигрыш от автоматизации на сотне удачных документов

Ломается обычно не там, где аккуратный PDF, а на реальном потоке: скан с печатью поверх суммы, письмо с таблицей прямо в теле, прайс на десять позиций, где важна каждая строка, а не только итог. Вытащить заголовок счета научились почти все, а вот собрать построчно позиции, количества и цены, сверить их с заказом и остатком, поймать, что поставщик прислал старую редакцию прайса, заметно сложнее. Именно здесь общая точность и проседает

Поэтому голая цифра точности мало что говорит. Важнее, что система делает с сомнительным местом: останавливается и отдает его человеку или молча пишет догадку в учет. Надежный разбор это не «99% и забыли», а извлечение с проверкой: сверка с заказом и остатком, ловля дублей по номеру и сумме, флаг на спорную позицию, человек на исключениях, а не на всем потоке

По такому принципу мы в MakeBiz и собираем IntDoc: он вытаскивает из КП, счетов и прайсов в любом виде цену, срок и наличие, сводит поставщиков в одну таблицу и помечает, где данные не сходятся, вместо того чтобы делать вид, что все прочитано верно. Отдел закупок перестает вручную сводить прайсы из почты и PDF, но спорные позиции видит отдельно и решает их сам. Точность важна, а ценность в том, что ошибке негде тихо просочиться в учет

Ограничение честное: полностью убрать человека не выйдет, да и не нужно. Пока поставщики шлют документы кто во что горазд, часть позиций всегда будет уходить на ручную проверку, и это нормально: система снимает рутину с большей части потока, а внимание концентрирует на тех процентах, где ошибиться дорого. Вера, что 98% на демо это ноль ручной работы, как раз и приводит к сюрпризам в отчете

Начинать стоит не с вопроса «какая точность у решения», а с другого: что оно делает с сомнительными данными и как показывает, где могло ошибиться. Если разбор умеет сверять, ловить дубли и честно поднимать флаг, то на вас работают даже 96%. Если просто пишет цифру в поле и идет дальше, то и 99% однажды дорого обойдутся