Двуседмичният тест, преди новата технология да влезе в бюджет

Всяка година пристига технология, която е наистина способна, но още не е надеждна, а разликата между тези две състояния е мястото, където умират бюджетите. Въпросът никога не е дали е впечатляваща. Въпросът е дали е готова за конкретното нещо, което искате да прави.

Пет въпроса, преди парите да тръгнат

1. Какво се чупи, ако греши, и кой разбира? Технология, която се проваля видимо и евтино, може да влезе в продукция рано. Такава, която се проваля безшумно в счетоводната книга, не може, колкото и добра да е била демонстрацията.

2. Можете ли да я измерите спрямо собствените си данни? Не спрямо бенчмарка на доставчика. Двеста ваши случая с отговори, за които сте съгласни. Ако доставчикът ви разубеждава да го направите, това е отговорът.

3. Каква е цената на транзакция при вашия обем? Цените на моделите се обявяват на токен, а се бюджетират на месец. Умножете при реалния си обем, включително повторните опити и случаите, които така или иначе отиват при човек, преди да поемете ангажимент.

4. Кой я поддържа през втората година? Всяка нова технология носи опашка от поддръжка, невидима при покупката: повторна оценка, надграждане на версии, отклонение. Ако за това не отговаря конкретен човек, купувате пилот, а не способност.

5. Обратимо ли е? Можете ли да я изключите във вторник и да работите ръчно една седмица без криза? Технологиите, които не можете да изключите, трябва да се внедряват година по-късно от тези, които можете.

Правилото за трите състояния

Разпределяме новите технологии в три състояния и състоянието определя до какво сме готови да ги допуснем.

Експериментална - работи в демонстрации, проваля се по начини, които никой още не е описал. Подходяща за вътрешен процес, където грешният отговор струва на някого десет минути. Не и близо до пари, клиенти или регулатори.

Надеждна в коридор - надеждна за тясна, добре описана задача, с измерим процент грешки и човешки път за останалото. Тук е по-голямата част от полезната работа с AI в момента и тук е по-голямата част от стойността.

Водопровод - скучна, евтина, документирана, лесно се намират специалисти. RPA е тук. Никой не изнася доклади на конференции за нея, а тя тихо движи голяма част от европейските бек офиси.

Повечето разочарования идват от това, че технология в първо състояние се третира като такава в трето, насърчено от маркетинг, който описва второто.

Най-евтиният наличен тест

Вземете един реален процес. Пуснете технологията срещу деветдесет дни от действителната му история, офлайн, където грешният отговор не струва нищо. Сравнете с това, което хората реално са направили. Това упражнение струва две седмици и в нашата работа е спряло повече лоши програми от всеки преглед на архитектурата.