API testing za data quality

To je proces automatske provere podataka koji se prenose ili vraćaju putem API-ja, sa ciljem da se osigura:

• Validnost (npr. svi emailovi imaju ispravan format)

• Potpunost (nema praznih obaveznih polja)

• Konzistentnost (format datuma je uvek isti, ID-jevi su jedinstveni)

• Tačnost (podatak se slaže sa očekivanim izvorom istine)

• Svežina (nema zastarelih podataka, npr. datum poslednjeg ažuriranja nije stariji od X dana)

Šta se testira?

1. 1. Response schema validation – Da li API vraća sve potrebne podatke u ispravnom formatu?

   2. Data integrity – Da li su podaci povezani korektno (npr. korisnik ima validnu adresu)?

   3. Data quality rules – Da li vrednosti poštuju poslovna pravila?

   4. Edge cases – Šta se dešava ako je neki podatak nevalidan, prazan, nepotpun?

   5. Cross-source validation – Upoređivanje odgovora API-ja sa bazom podataka ili drugim servisima.

Data Quality QA na AWS-u

1. 1. Podaci dolaze u S3 (npr. CSV).

   2. Glue DataBrew automatski pokreće profiling.

   3. Lambda funkcija pokreće Deequ validaciju.

   4. Rezultati šalju alert u CloudWatch + SNS (email/slack) ako postoji greška.

1. Podela podataka

• Train set – koristi se za treniranje modela.

• Validation set – koristi se za podešavanje hiperparametara i prevenciju prenaučenosti.

• Test set – koristi se za konačnu procenu performansi modela.

2. Najčešće metrike

Zavisi od tipa problema:

➤ Klasifikacija

• • Accuracy – udeo tačno predviđenih klasa.

  • Precision, Recall, F1-score

  • ROC AUC – površina ispod ROC krive.

  • Confusion matrix – prikazuje TN, TP, FN, FP.

Ciljevi:

• • Učitavanje i osnovni pregled podataka

  • Identifikacija nedostajućih vrednosti

  • Provera tipova podataka i duplikata

  • Detekcija outliera

  • Provera konzistentnosti i validacija podataka

1. Uvod u veštačku inteligenciju (AI) za testere

• Šta je AI i zašto je bitan QA-jevima

• Razlika između tradicionalnog softvera i AI sistema

• Primeri gde se AI koristi (chatbotovi, preporuke, vizija, klasifikacija teksta itd.)

2. Šta je AI testiranje?

• Definicija i ciljevi AI testiranja

• Razlika između “testiranja AI sistema” i “korišćenja AI-ja za testiranje”

• Koje se komponente testiraju kod AI modela (podatke, modele, predikcije, performanse)

3. Ključni izazovi u AI testiranju

• Nefunkcionalnost i nelinearno ponašanje modela

• Nepredvidivost i “black-box” priroda

• Pristrasnost i nefer odluke modela

• Nedostatak determinističkih očekivanja

4. Vrste testiranja AI sistema

• Testiranje podataka (Data Quality)

• Testiranje modela (Accuracy, Precision)

• Testiranje ponašanja modela (Boundary Testing)

• Evaluacija metrika i grešaka

5. Alati i okviri za AI testiranje

• • Python + Pandas