5 úrovní adopce AI: KPI, která bys měl měřit

Většina CTO, které mentoruju, se ptá na nějakou verzi stejné otázky: koupili jsme AI licence, funguje to? Žebřík má nad nulou pět příček. Úroveň 0, pořád se debatuje. Úroveň 1, licence koupené. Úroveň 2, AI kód v produkci. Úroveň 3, účet roste. Úroveň 4, umíš říct, jestli se to vyplatí. Úroveň 5, ptáš se, jestli jste nejlepší. Každá příčka má vlastní chyby: rozdělený tým na úrovni 1 (pár lidí si to už platí ze svého, většina experimentuje, zbytek se bojí, že je to nahradí), fronta na review na úrovni 2, agent za 20 tisíc dolarů přes víkend na úrovni 3. Data Navigary z dodávky 500 open-source projektů ukazují tvar výstupu: propad výkonu engineeringu o 12 % během experimentů, +104 % na vývojáře, jakmile to funguje, a pak rovná čára, zatímco útrata roste dál. Jdeme příčku po příčce a ty si zařadíš vlastní firmu na žebřík, i se dvěma KPI, která to dokazují.

Odcházíš s mojí tabulkou KPI pro pět úrovní: dvě čísla na úroveň, která sledovat, a čtyři marnivá čísla, která přestat reportovat (využití licencí, míra přijetí návrhů, podíl kódu napsaného AI, samohodnocená rychlost), z playbooku AI transformace na tomhle webu.

Obecná přednáška o adopci AI je maturity model s pěti krabičkami a logem dodavatele. Tahle používá měřená data z dodávky: propad, návratnost, plató, z indexu výkonu engineeringu Navigary přes 500 open-source projektů a VS Code od Microsoftu, který na ELC meetupu #39 sdílel Jirka Bachel, a já ten meetup moderoval. Úroveň 5 je ta část, o které se sály hádají: 60 % veškerého výkonu dělá 10 % nejlepších inženýrů a AI tu propast rozšířila, místo aby ji srovnala.

Pro IT manažera, který musí v příštím rozpočtu obhájit řádek s AI. Jako keynote odcházíš s vědomím své úrovně a dvou KPI pro ni. Jako workshop odchází tvůj leadership tým se sadou KPI pro další úroveň, domluvenou v sále, a se čtyřmi marnivými čísly škrtnutými z dashboardu.