Kaip sužinoti, ar dirbtinio intelekto sprendimas pakankamai tikslus

Dirbtinio intelekto sprendimo demonstracija beveik visada atrodo įtikinamai. Taip yra ne dėl nesąžiningumo – tiesiog demonstracijai pavyzdžiai parenkami, o jūsų darbe atvejai atsiranda patys. Vienintelis skaičius, kuris ką nors reiškia, yra tikslumas, išmatuotas su jūsų atvejais. Gera žinia ta, kad tai galima padaryti prieš sprendžiant dėl pirkimo, ir tam nereikia techninių žinių.

Trumpai

• Tikslumas nėra sprendimo savybė – tai jūsų duomenų ir užduoties apibrėžimo savybė. Todėl kito kliento skaičius jums nieko nesako.
• Pirmas darbas yra ne modelis, o rinkinys tikrų atvejų su žinomu teisingu atsakymu.
• Vidutinis tikslumas klaidina. Svarbu, kaip sprendimas elgiasi su sunkiais atvejais ir ar jis žino, kada nežino.
• „Nežinau“ yra teisingas atsakymas ir turi būti vertinamas geriau nei įtikinamas spėjimas.
• Pakankama riba priklauso ne nuo skaičiaus, o nuo to, kiek kainuoja klaida ir kas ją pagauna.

Pradėkite nuo atvejų, ne nuo technologijos

Prieš bet kokį pokalbį apie modelius surinkite kelias dešimtis tikrų atvejų su žinomu teisingu atsakymu. Jei užduotis yra dokumentų duomenų ištraukimas – tai dokumentai su rankomis įrašytais teisingais laukais. Jei suskirstymas – tai įrašai su teisinga kategorija. Šis rinkinys yra vienintelis dalykas, kuris leidžia paklausti „koks tikslumas“ ir gauti atsakymą, o ne nuomonę.

Svarbiausia rinkinio savybė nėra kiekis, o sudėtis. Į jį būtinai turi įeiti atvejai, kuriuos ir žmogus sprendžia sunkiai: neįprastos formos, nepilna informacija, du galimi atsakymai. Jei rinkinyje yra tik lengvi atvejai, išmatuosite skaičių, kuris nieko nepasakys apie realų darbą.

Kodėl vidutinis tikslumas klaidina

Vienas skaičius sujungia dalykus, kurie turi labai skirtingą kainą. Suklysti lengvame atvejyje ir suklysti netipiniame nėra tas pats, o suklysti tyliai ir suklysti garsiai skiriasi dar labiau. Todėl vietoje vieno skaičiaus verta klausti trijų.

• Kiek atvejų sprendimas atliko teisingai be žmogaus?
• Kiek atvejų jis pažymėjo kaip neaiškius ir nukreipė žmogui? Tai ne klaida, o teisingas elgesys.
• Kiek atvejų jis atliko neteisingai ir apie tai nieko nepasakė? Tik šis skaičius yra tikroji rizika.

Trečias skaičius yra vienintelis, kurio negalima kompensuoti procesu. Pirmus du galima keisti nustatymais: sprendimą galima padaryti atsargesnį, kad daugiau atvejų keliautų žmogui. Tylią klaidą galima tik pastebėti arba nepastebėti.

Ar sprendimas žino, kada nežino

Tai svarbiausia savybė ir ji dažniausiai nepatikrinama. Paimkite kelis atvejus, kuriuose atsakymo apskritai nėra – dokumentą be reikiamo lauko, klausimą, kurio atsakymas jūsų duomenyse neegzistuoja. Tinkamas sprendimas turi grąžinti tuščią reikšmę arba pasakyti, kad nerado. Netinkamas – užpildys spėjimu, ir tas spėjimas atrodys taip pat tvarkingai kaip teisingas atsakymas.

Šis testas užima kelias minutes ir apie sprendimą pasako daugiau nei visa demonstracija.

Kokia riba yra pakankama

Universalaus skaičiaus nėra, ir kiekvienas, kuris jį pateikia, kalba apie kažkieno kito užduotį. Riba nustatoma iš dviejų dalykų: kiek kainuoja viena klaida ir kas ją pagauna. Jei rezultatas yra juodraštis, kurį žmogus perskaito prieš išsiųsdamas, pakankama riba yra gana žema – sprendimas tik sutaupo rašymo laiką. Jei rezultatas patenka į apskaitą be peržiūros, beveik jokia riba nėra pakankama, ir teisingas sprendimas yra pridėti taisyklę arba peržiūrą.

Praktinis būdas suformuluoti: užuot klausę, ar tam tikras tikslumo procentas pakanka, atsakykite, ką padarysite su likusiais atvejais. Jei atsakymo nėra, klausimas dar per ankstyvas.

Iliustracinis scenarijus, ne kliento projekto aprašymas

Įsivaizduokime sprendimą, kuris iš gaunamų dokumentų ištraukia sumas. Bandymuose jis atrodo tikslus, ir sprendžiama naudoti be peržiūros. Po mėnesio pastebima, kad keliuose dokumentuose suma buvo nuskaityta iš netinkamos vietos – ne klaida skaičiuojant, o netinkamas laukas, kuris atrodė tinkamas. Rizika buvo ne tikslumo procentas, o tai, kad klaida buvo tyli ir niekas jos negaudė. Teisingas sprendimas nuo pradžių buvo paprastas: taisykle palyginti sumą su užsakymu prieš įrašymą. Tai pavyzdys, kaip vertiname riziką, o ne pažadas dėl tikslumo.

Ką paklausti tiekėjo

• Kaip matuosite tikslumą ir su kieno pavyzdžiais?
• Ką sprendimas daro, kai nežino atsakymo?
• Kiek atvejų numatoma nukreipti žmogui ir kaip tai keičiasi keičiant nustatymus?
• Kas atsitiks, jei sutarta riba nebus pasiekta – ar tai numatyta susitarime?
• Kaip sekamas tikslumas vėliau, kai duomenys pasikeis?

Paskutinis klausimas dažniausiai lieka be atsakymo, o jis svarbus: tas pats sprendimas, kuris paleidimo dieną buvo tikslus, nebūtinai toks išlieka, kai pasikeičia dokumentų formos ar atsiranda naujų atvejų. Tikslumas yra ne priėmimo, o priežiūros klausimas.