--- title: "AI QA Engineer: dvě různé práce pod jedním titulem" description: "AI QA engineer může testovat AI systémy přes evaly, nebo testovat software s pomocí AI nástrojů. Jak je rozlišit, kolik platí a jak poznat brigádu." url: "https://www.marian.coach/cs/ai-qa-engineer/" lang: "cs" image: "https://www.marian.coach/_astro/talk-16.BOCFjZmx_Z13gq10.jpg" --- **AI QA engineer** je jeden titul pro dvě různé práce: testování AI systémů a testování běžného softwaru pomocí AI nástrojů. První ověřuje, jestli model, prompt nebo agent dává odpovědi dost dobré na to, aby šly ven; u druhé dělají část testovací práce AI nástroje. Obě se inzerují jako „AI QA engineer“. Chtějí jiné dovednosti, sedí v jiných týmech a podle aktivních inzerátů platí hodně rozdílně. A pod příbuznými hledanými výrazy, třeba „AI tester“ nebo „AI test engineer“, se schovává ještě třetí věc, která QA prací vůbec není. ## Kterou z těch dvou prací inzerát nabízí Titul to prozradí málokdy. Slovesa v popisu odpovědností ano. **Testování AI** se v inzerátech pozná podle slov jako evaly, golden datasety, rubriky, LLM judge, red-teaming a regrese mezi verzemi modelu. [Inzerát Glean na evals engineera](https://job-boards.greenhouse.io/gleanwork/jobs/4712438005) popisuje systémy, které rozhodují, jestli jsou nové modely, prompty, retrieval strategie a agentní workflow připravené jít k firemním zákazníkům. Tyhle role se obvykle obsazují jako ML nebo infrastrukturní inženýři a plat tomu odpovídá: [role pro evaluace v post-trainingu u Anthropicu](https://job-boards.greenhouse.io/anthropic/jobs/5198255008) uvádí 500 000 až 850 000 USD, tedy úplný horní konec trhu. **Testování s AI** se pozná podle generování testů z požadavků, samoopravných skriptů, třídění padajících testů pomocí AI a asistentů pro kód. [Inzerát DevRev na quality engineera](https://job-boards.greenhouse.io/devrev/jobs/6114345004) chce „snížit závislost na ručním psaní testovacích případů“ a zkušenost s validací AI systémů uvádí jen mezi „nice to have“. [Seniorní QA role v Perplexity](https://jobs.ashbyhq.com/perplexity/4b5e02a8-6a94-494d-9d49-037f2cfc144d) za 140 000 až 160 000 USD chce, aby testeři malé bugy rovnou opravili sami přes nástroje jako Cursor nebo Claude Code. ![Marian Kamenistak uprostřed přednášky na tmavém pódiu, za ním promítnuté řádky kódu.](https://www.marian.coach/_astro/talk-37.CpcLkiqr_Z148QtM.webp) Stejný titul v inzerátu, jiný kód na obrazovce: eval pipeline, nebo sada testů s AI asistentem. Ani jedna z těch rodin není podvod. Problém začíná, když si inzerát půjčí slovník té první a platí jako za tu druhou, nebo když se připravuješ na jednu a pohovor máš na druhou. ## Deterministické testy vs. evaly Pokud přicházíš z klasického QA, druhá rodina ti bude povědomá. Ta první rozbije pár návyků, na které se nejspíš spoléháš: | | Deterministický test | Eval | | --- | --- | --- | | Kritérium úspěchu | Výstup se rovná očekávané hodnotě | Výstup překročí práh ve vlastnostech, které sis definoval (správnost, opora ve zdrojích, bezpečnost, tón) | | Kdo zná správnou odpověď | Zadání, nebo vývojář | Na začátku často nikdo; nejdřív vzorek oštítkuje doménový expert | | Stejný vstup dvakrát | Stejný výsledek | Může se lišit, takže vzorkuješ a díváš se na poměry | | Regrese je | Test, který zčervenal | Skóre, které na pevném datasetu kleslo po změně modelu, promptu nebo retrievalu | | Hodnocení ve velkém | Aserce v kódu | Kontroly v kódu, kde to jde, model jako soudce, kde ne, lidé na vzorku | | Typické nástroje | Playwright, pytest, JUnit, CI | Eval frameworky, oštítkované datasety, tracing, prompty pro soudce | Nejvíc bolí druhý řádek. Model v roli soudce je užitečný jen tehdy, když se shoduje s člověkem, který doméně rozumí, takže i soudce potřebuje vlastní test. [Návod Hamela Husaina k LLM soudcům](https://hamel.dev/blog/posts/llm-judge/) doporučuje oštítkovat sadu skutečných výstupů s doménovým expertem, měřit shodu soudce zvlášť u úspěchů a zvlášť u selhání a dát přednost binárnímu ano/ne před škálou 1 až 5, protože rozdíl mezi trojkou a čtyřkou se definuje těžko. [Dokumentace Anthropicu k evaluacím](https://docs.claude.com/en/docs/test-and-evaluate/develop-tests) míří stejným směrem z druhé strany: víc otázek s automatickým hodnocením obvykle porazí pár ručně hodnocených a hodnoticí model má být jiný než ten testovaný. V praxi tak velká část úvodní práce na skutečné AI QA pozici padne na štítkování a dohadování, co znamená „správně“, dřív než vznikne první test. [Inzerát Firecrawlu na evals pozici](https://jobs.ashbyhq.com/firecrawl/25092c0e-9a32-4191-af79-050738213704) píše, že samotnou metriku je potřeba „vymyslet“. V Evropě má tahle práce i regulatorní důvod. [Článek 15 AI Actu EU](https://artificialintelligenceact.eu/article/15/) požaduje, aby vysoce rizikové AI systémy dosahovaly přiměřené úrovně přesnosti a odolnosti a své metriky přesnosti uváděly. Někdo ta čísla musí vyrobit a obhájit. ## AI tester: skutečná QA role, nebo anotační brigáda? Když do Googlu napíšeš „AI tester“, ukáže ti hlavně detektory textu psaného AI. Když hledáš práci AI testera, výsledky míchají QA inzeráty s něčím jiným: Google k tomu sám nabízí „Outlier AI“, „AI training jobs“, „What is an AI task reviewer job?“ nebo „Does AI task pay real money?“. To něco jiného je anotace dat. Platformy jako DataAnnotation nebo Outlier platí kontraktory za hodnocení, opravy a psaní odpovědí modelů. Je to skutečná práce a část z ní se platí slušně: [FAQ DataAnnotation](https://www.dataannotation.tech/faqs) uvádí u obecných úkolů od 25 do 50+ USD na hodinu a u kódu od 40 do 150+ USD. Podmínky jsou ale brigádnické. [TIME psal](https://time.com/6962608/data-annotation-legit-tech-jobs-ai/) o lidech, kteří prošli vstupním testem a pak nedostali žádný úkol, a o účtu, který platforma zablokovala s neproplacenou prací za 2 869 USD. [Business Insider](https://www.aol.com/articles/pay-cuts-poaching-pivoting-inside-091101909.html) v reportáži o kontraktorech Scale AI citoval člověka, který za jediný měsíc strávil skoro 40 hodin neplaceným onboardingem a žádnou práci nedostal. ![Marian Kamenistak s rukou na čele hledí do notebooku, zamyšlený.](https://www.marian.coach/_astro/portrait-thinking.BI-2Z8YX_lAoLb.webp) Přečti si inzerát dvakrát. Jednotka platu a zaměstnavatel obvykle řeknou víc než titul. Jak ty dvě věci rozlišit dřív, než obětuješ večer vstupnímu testu: | Signál | AI QA nebo evals role | Anotační brigáda | | --- | --- | --- | | Zaměstnavatel | Konkrétní firma, na vlastní kariérní stránce nebo v ATS | Platforma; klient bývá anonymní | | Jednotka platu | Roční plat, často s akciemi | Za hodinu nebo za úkol, často týdně | | Výběrové řízení | Pohovory s týmem, do kterého půjdeš | Vstupní test, často neplacený | | Co odevzdáváš | Eval sady, hodnoticí skripty, podklady pro rozhodnutí o releasu | Hodnocení a přepsané odpovědi podle cizí rubriky | | Kontinuita | Pracovní smlouva a výpovědní lhůta | Projekty se otevírají a zavírají, přístup můžeš ztratit | | Komu reportuješ | Engineering nebo AI leadovi | Frontě úkolů | ![Kreslený diagram 2x2: na vodorovné ose Testing with AI a Testing AI (testování s AI a testování AI), na svislé roční plat a platba za úkol; obě AI QA práce s ročním platem zabírají horní polovinu, anotační brigáda leží dole u platby za úkol.](https://www.marian.coach/images/blog/ai-qa-engineer-role/infographic.webp) Pro kariéru anotace bezcenná není. Psaní rubrik a hodnocení výstupů modelu je základní dovednost, na které evaly stojí, a Harvey, firma vyvíjející AI pro právníky, nabírá na plný úvazek lidi, kteří [řídí kvalitu lidských evaluací](https://jobs.ashbyhq.com/harvey/f0e4e24a-2a7a-4fc4-8872-9a8a762fecf5). Krok od jednoho k druhému znamená něco postavit, eval sadu nebo hodnoticí skript, a ukázat to. Skutečné AI QA role nesou tišší riziko. Z deseti aktivních inzerátů na AI QA a evals pozice, které jsme pro tenhle článek prošli, nedával žádný roli výslovnou pravomoc zastavit release. Můžeš vlastnit „laťku kvality“ a přitom rozhodnutí jen podkládat. Na pohovoru se zeptej, kdo rozhoduje, když eval týden před spuštěním neprojde, a co se stalo naposledy. Pokud zvažuješ přechod z klasického QA do evalů, nebo držíš dvě nabídky, kde obě říkají „AI“ a každá myslí něco jiného, vyplatí se to s někým probrat. Přesně s takovými kariérními otázkami pracuju v [1:1 kariérním mentoringu](https://www.marian.coach/cs/engineering-career-coach/). ## Další AI role na mapě - [QA engineer: klasická role, její žebříček a rizika](https://www.marian.coach/cs/qa-engineer/) - [AI platform engineer: vrstva, na které evaly běží](https://www.marian.coach/cs/ai-platform-engineer/) - [AI program manager: dodávat AI s pohyblivými cíli](https://www.marian.coach/cs/ai-program-manager/) - [Director of AI: tři verze téhle pozice](https://www.marian.coach/cs/director-of-ai/) - [Forward deployed engineer, inženýr na straně zákazníka](https://www.marian.coach/cs/forward-deployed-engineer/) ## Časté dotazy Jak se stát AI testerem?+ Nejdřív si ujasni, kterou ze tří různých prací myslíš slovem AI tester. Testování AI systémů chce Python, statistiku a praxi se stavbou evalů s jasnými kritérii úspěchu. Testování softwaru s AI nástroji chce klasickou QA automatizaci a zkušenost s AI asistenty pro kód. Anotační platformy svou práci taky nazývají testováním, ale jde o úkolovou práci, ne o QA kariéru. Co je práce AI task reviewer?+ AI task reviewer hodnotí nebo opravuje odpovědi, které vygeneroval AI model, většinou přes kontraktorskou platformu. Podle rubriky boduješ odpovědi a někdy je přepisuješ, a tahle data model trénují nebo hodnotí. Platí se za hodinu nebo za úkol a přístup k projektům může skončit bez upozornění. Vydělá se na AI úkolech reálně?+ Na AI úkolech se vydělat dá, jen hodinová sazba není celý obrázek. DataAnnotation uvádí u obecných úkolů od 25 do 50+ USD na hodinu a víc za kód nebo odborné znalosti. Háček jsou neplacené vstupní testy, projekty, které vyschnou, a účty, které můžou zavřít. Ber to jako příjem, ne jako kariérní krok. Jaký AI kurz je nejlepší pro QA engineery?+ Žádný jednotlivý kurz tu mezeru nezavře, protože těžká dovednost je úsudek o tom, jak vypadá dobrý výstup. Vezmi skutečnou funkci, napiš padesát vstupů s očekávanými vlastnostmi, ohodnoť je a pak hodnocení zautomatizuj modelem. Takový malý eval projekt řekne zaměstnavateli víc než certifikát. [1:1 mentoring](https://www.marian.coach/cs/engineering-manager-mentor/) ## Chceš přejít od rad k akci? 1:1 mentoring pro IT manažery. 317 mentees od roku 2019. Session hodnocená pod 7/10 se neúčtuje. První intro je zdarma. [Rezervovat úvodních 30 minut zdarma →](https://www.marian.coach/meet) ## Přečti si dál - [![Marian Kamenistak přednáší na akci o engineering leadershipu.](https://www.marian.coach/_astro/talk-21.BdOplLV4_mJDuE.webp) ### AI Platform Engineer: co stavíš a za co odpovídáš AI platform engineer: čím se role liší od ML platformy a MLOps, jakých pět vrstev provozuješ, kdo co vlastní a plán na prvních 90 dní. 9\. října 2026 · Autor Marian Přečíst → ](https://www.marian.coach/cs/ai-platform-engineer/) - [![Marian Kamenistak uprostřed přednášky, za ním promítnutý slide s odrážkami.](https://www.marian.coach/_astro/speaker-05.D2k3JWKF_Z1XfUg7.webp) ### AI Program Manager: čtyři cíle, které se pořád hýbou AI Program Manager dostává AI z pilotu do produkce, zatímco se hýbe model, data, evaly i EU AI Act. Registr rizik a co si vyjednat předem. 9\. října 2026 · Autor Marian Přečíst → ](https://www.marian.coach/cs/ai-program-manager/) - [![Marian Kamenistak nakloněný dopředu v hnědém saku, usmívá se.](https://www.marian.coach/_astro/portrait-leaned-in-hero.DEA9tiuB_1ukKkQ.webp) ### Applied AI Engineer: role a kariérní žebříček nad ní Co vlastní Applied AI Engineer, čím se liší od AI engineera, staff a principal AI engineera a co musíš doložit pro povýšení o příčku výš. 9\. října 2026 · Autor Marian Přečíst → ](https://www.marian.coach/cs/applied-ai-engineer/) ### Nové články rovnou do mailu. Your emailOdebírat Jsi na seznamu. Dnes ti nic nepřijde. První email pošlu, až bude seznam živý, a ty na něm budeš od začátku. [Connect on LinkedIn →](https://www.linkedin.com/in/mariankamenistak/)[See the free tools →](https://www.marian.coach/ai-coaching-tools/) ## Structured data ```json {"@context":"https://schema.org","@type":"ProfessionalService","name":"Marian Kamenistak | Engineering Leadership Mentoring","url":"https://www.marian.coach/cs/ai-qa-engineer/","image":"https://www.marian.coach/_astro/talk-16.BOCFjZmx_Z13gq10.jpg","description":"AI QA engineer může testovat AI systémy přes evaly, nebo testovat software s pomocí AI nástrojů. Jak je rozlišit, kolik platí a jak poznat brigádu.","serviceType":["Engineering leadership mentoring","Engineering manager coaching","CTO coaching","Fractional CTO","Leadership development for software engineers"],"hasOfferCatalog":{"@type":"OfferCatalog","name":"Mentoring a poradenství pro IT manažery","itemListElement":[{"@type":"Offer","itemOffered":{"@type":"Service","name":"1:1 mentoring pro IT manažery","description":"Mentoring 1:1 od Staff Engineera po CTO. Sezení na 60 minut, každý týden nebo jednou za dva.","url":"https://www.marian.coach/cs/cenik/"}},{"@type":"Offer","itemOffered":{"@type":"Service","name":"Koučink pro Engineering Managery","description":"Koučink pro první i zkušené Engineering Managery: delegování, výkon, hiring, škálování týmu.","url":"https://www.marian.coach/cs/engineering-manager-mentor/"}},{"@type":"Offer","itemOffered":{"@type":"Service","name":"Mentoring pro CTO a VP Engineering","description":"Mentoring pro CTO, VP of Engineering a Head of Engineering, kteří vedou organizace od 30 do 200 lidí.","url":"https://www.marian.coach/cs/cto-mentor/"}},{"@type":"Offer","itemOffered":{"@type":"Service","name":"Firemní mentor","description":"Dvorní mentor pro tvoji engineering organizaci, onsite, rezervovaný po kvartálech.","url":"https://www.marian.coach/cs/mentor-in-residence/"}},{"@type":"Offer","itemOffered":{"@type":"Service","name":"Fractional CTO","description":"Fractional CTO engagementy pro firmy, které nemají technického lídra na plný úvazek.","url":"https://www.marian.coach/cs/fractional-cto/"}}]},"telephone":"+420 736 519 879","email":"marian@marian.coach","sameAs":["https://www.linkedin.com/in/mariankamenistak/","https://www.youtube.com/@engineeringleaders","https://github.com/marian-kamenistak","https://www.engineeringleaders.io/","https://www.elc-conference.io/","https://www.marianslist.com/","https://www.mentoringhub.io/"],"address":{"@type":"PostalAddress","streetAddress":"Varšavská 715/36, Vinohrady","addressLocality":"Praha 2","postalCode":"12000","addressCountry":"CZ"},"geo":{"@type":"GeoCoordinates","latitude":50.0734418,"longitude":14.4385757},"openingHoursSpecification":[{"@type":"OpeningHoursSpecification","dayOfWeek":["Monday","Tuesday","Wednesday","Thursday","Friday"],"opens":"09:00","closes":"17:00"}],"priceRange":"296–395 EUR","areaServed":[{"@type":"Place","name":"Europe"},{"@type":"Country","name":"Czechia"},{"@type":"Country","name":"Slovakia"},{"@type":"Country","name":"Poland"},{"@type":"Place","name":"North America"}]} {"@context":"https://schema.org","@type":"Person","@id":"https://www.marian.coach/#person","name":"Marian Kamenistak","url":"https://www.marian.coach/","image":"https://www.marian.coach/_astro/talk-16.BOCFjZmx_Z13gq10.jpg","jobTitle":["Engineering Leadership Mentor","Fractional CTO & Chief AI Officer","Founder, Engineering Leaders Community","Engineering Manager Coach","CTO Coach","Keynote Speaker"],"hasOccupation":[{"@type":"Occupation","name":"Engineering Leadership Mentor"},{"@type":"Occupation","name":"Fractional CTO & Chief AI Officer"}],"worksFor":{"@type":"Organization","name":"Engineering Leaders Community","url":"https://www.engineeringleaders.io/"},"alumniOf":[{"@type":"Organization","name":"Mews"},{"@type":"Organization","name":"Databricks"}],"knowsLanguage":["English","Czech","Slovak"],"knowsAbout":["Engineering leadership","Engineering management","Scaling engineering teams","CTO mentoring","Engineering org design","VP of Engineering role","Engineering director role","CTPO role","Team lead development","Staff engineer career path","Fractional CTO engagements","AI-assisted engineering leadership","Conference keynotes on engineering leadership","Panel moderation","Podcast guest — engineering leadership"],"homeLocation":{"@type":"Place","name":"Prague, Czechia"},"sameAs":["https://www.linkedin.com/in/mariankamenistak/","https://www.youtube.com/@engineeringleaders","https://github.com/marian-kamenistak","https://www.engineeringleaders.io/","https://www.elc-conference.io/","https://www.marianslist.com/","https://www.mentoringhub.io/","https://www.crunchbase.com/person/marian-kamenistak","https://www.wikidata.org/wiki/Q140488098","https://developers.mews.com/author/marian/","https://startupdisrupt.com/speakers/marian-kamenistak/","https://theorg.com/org/engineering-leaders-community/org-chart/marian-kamenistak"]} {"@context":"https://schema.org","@type":"WebPage","url":"https://www.marian.coach/cs/ai-qa-engineer/","name":"AI QA Engineer: dvě různé práce pod jedním titulem","inLanguage":"cs","dateModified":"2026-10-09T00:00:00.000Z"} {"@context":"https://schema.org","@type":"FAQPage","inLanguage":"cs","mainEntity":[{"@type":"Question","name":"Jak se stát AI testerem?","acceptedAnswer":{"@type":"Answer","text":"Nejdřív si ujasni, kterou ze tří různých prací myslíš slovem AI tester. Testování AI systémů chce Python, statistiku a praxi se stavbou evalů s jasnými kritérii úspěchu. Testování softwaru s AI nástroji chce klasickou QA automatizaci a zkušenost s AI asistenty pro kód. Anotační platformy svou práci taky nazývají testováním, ale jde o úkolovou práci, ne o QA kariéru."}},{"@type":"Question","name":"Co je práce AI task reviewer?","acceptedAnswer":{"@type":"Answer","text":"AI task reviewer hodnotí nebo opravuje odpovědi, které vygeneroval AI model, většinou přes kontraktorskou platformu. Podle rubriky boduješ odpovědi a někdy je přepisuješ, a tahle data model trénují nebo hodnotí. Platí se za hodinu nebo za úkol a přístup k projektům může skončit bez upozornění."}},{"@type":"Question","name":"Vydělá se na AI úkolech reálně?","acceptedAnswer":{"@type":"Answer","text":"Na AI úkolech se vydělat dá, jen hodinová sazba není celý obrázek. DataAnnotation uvádí u obecných úkolů od 25 do 50+ USD na hodinu a víc za kód nebo odborné znalosti. Háček jsou neplacené vstupní testy, projekty, které vyschnou, a účty, které můžou zavřít. Ber to jako příjem, ne jako kariérní krok."}},{"@type":"Question","name":"Jaký AI kurz je nejlepší pro QA engineery?","acceptedAnswer":{"@type":"Answer","text":"Žádný jednotlivý kurz tu mezeru nezavře, protože těžká dovednost je úsudek o tom, jak vypadá dobrý výstup. Vezmi skutečnou funkci, napiš padesát vstupů s očekávanými vlastnostmi, ohodnoť je a pak hodnocení zautomatizuj modelem. Takový malý eval projekt řekne zaměstnavateli víc než certifikát."}}]} {"@context":"https://schema.org","@type":"Article","headline":"AI QA Engineer: dvě různé práce pod jedním titulem","description":"AI QA engineer může testovat AI systémy přes evaly, nebo testovat software s pomocí AI nástrojů. Jak je rozlišit, kolik platí a jak poznat brigádu.","inLanguage":"cs","articleSection":"career","datePublished":"2026-10-09T00:00:00.000Z","dateModified":"2026-10-09T00:00:00.000Z","author":{"@id":"https://www.marian.coach/#person"},"publisher":{"@type":"Organization","name":"Marian Kamenistak","url":"https://www.marian.coach/","logo":{"@type":"ImageObject","url":"https://www.marian.coach/favicon-192x192.webp","width":192,"height":192}},"image":{"@type":"ImageObject","url":"https://www.marian.coach/_astro/talk-16.BOCFjZmx_Z13gq10.jpg","width":1200,"height":630},"mainEntityOfPage":{"@type":"WebPage","@id":"https://www.marian.coach/cs/ai-qa-engineer/"},"keywords":"career, ai, quality","wordCount":1156,"timeRequired":"PT5M","isAccessibleForFree":true} {"@context":"https://schema.org","@type":"BreadcrumbList","itemListElement":[{"@type":"ListItem","position":1,"name":"Domů","item":"https://www.marian.coach/cs/"},{"@type":"ListItem","position":2,"name":"Zdroje","item":"https://www.marian.coach/cs/resources/"},{"@type":"ListItem","position":3,"name":"AI QA Engineer: dvě různé práce pod jedním titulem","item":"https://www.marian.coach/cs/ai-qa-engineer/"}]} ```