Hierarchia AI

Typy AI wg funkcjonalności

Poziomy zdolności AI

Modele generatywne vs predykcyjne

Uczenie maszynowe — 4 paradygmaty

Sieci neuronowe

Ważne pojęcia algorytmów

Cykl życia AI (OECD)

Role w AI

Polityki AI

• Stanowisko organizacji wobec AI
• Definicja dozwolonych i zabronionych zastosowań
• Oczekiwania governance
• Odwołania do frameworków

Metryki programu AI (OECD.AI)

NIST AI RMF — 4 funkcje

Krajobraz zagrożeń AI

Kategorie ryzyka — EU AI Act (4 poziomy)

Wyzwania zarządzania ryzykiem AI

• Rozwiązania firm trzecich — dodatkowe czynniki ryzyka poza kontrolą organizacji
• Zmienność cyklu życia — ryzyko zmienia się znacząco na różnych etapach
• Brak wiarygodnych metryk — brak konsensusu branżowego
• Inscrutability — ograniczona wyjaśnialność tworzy inherentną niepewność

Odpowiedź na ryzyko

KRIs (Key AI Risk Indicators) — framework SAFE

Klasyfikacja danych

Wymiary jakości danych (DAMA UK — 6)

• Completeness — kompletność
• Uniqueness — unikalność
• Timeliness — aktualność
• Validity — poprawność formatu
• Accuracy — dokładność
• Consistency — spójność

Role w data governance

Regulacje prywatności a AI

Kluczowe frameworki

Bias — 3 kategorie (NIST SP 1270)

Etyczne kwestie — checklist audytora

• EIA (Ethical Impact Assessment) — UNESCO: ocenia design, development, deployment przed i po wydaniu publicznym
• FRIA (Fundamental Rights Impact Assessment) — wymagane przez EU AI Act dla high-risk systems
• IP Considerations — unauthorized use copyrighted material; nieklarowność własności treści GenAI

Wpływ środowiskowy AI

5V Big Data

Data Lag i Model Drift

Data Confidentiality — punkty kontroli

6 wymiarów jakości danych

Data Balancing

Data Security — kluczowe zagrożenia dla integralności

Cykl życia AI (Development Lifecycle)

Częste przyczyny porażki projektów AI

• Błędne zrozumienie problemu do rozwiązania
• Brak danych jakościowych
• Nie rozwiązuje faktycznego problemu biznesowego
• Niedostateczna infrastruktura
• Stosowanie AI do problemów zbyt trudnych dla AI

Przygotowanie datasetu (split)

Metryki oceny modelu

Privacy by Design — 7 zasad fundamentalnych

Explainability — techniki dokumentowania

• Dokumentacja governance AI (oversight, monitoring)
• Wyjaśnienie jakie personal data jest w zbiorze treningowym i jak zarządzany consent
• Wyjaśnienie procesów data cleaning
• Wyjaśnienie kontroli bezpieczeństwa
• Dokumentacja design modelu, hyperparametrów, metryk oceny
• Wyjaśnienie testowania biases/toksyczności

Robustness — techniki

• Walidacja i sanityzacja danych wejściowych — mitiguje prompt injections
• Throttling i limity zasobów — zapobiega nieskończonym pętlom
• Proaktywna obsługa błędów z monitoringiem
• Safe failure mode — jeśli metryki nie są spełnione → fail safely zamiast produkować szkodliwe wyniki

Data Dependency

• Dokumentuj wymagania wejściowe danych
• Włącz data drift monitoring do programu change management

Model Opacity

• Zmiany parametrów post-training (np. temperature w GPT-4)
• Zamianę modeli bazowych — dramatycznie zmienia wyniki

Emergency Changes

Configuration Management

• Konfigurowalne parametry post-production (np. temperature)
• Spójność preprocessingu danych między training a production
• Ten sam framework tokenizacji w training i production

AI Observability — 4 kategorie monitorowania

Halucynacje AI

HITL (Human in the Loop)

Konwencjonalne techniki testowania AI

Model Cards

• Architektura modelu i szczegóły datasetu
• Metryki wydajności
• Ograniczenia use case

Bias Testing

Adversarial Testing (MITRE ATLAS)

3 główne powierzchnie ataku AI (OWASP AI Exchange)

Typy zagrożeń AI

Kontrole AI

• Access controls i least privilege — do datasets, model artifacts, systemów supply chain
• Data confidentiality, minimization, integrity — encryption w spoczynku i transporcie
• Security monitoring — rozszerzone na wszystkie komponenty systemu AI

Defensive Distillation

ISO 27035-1 — 5 faz IR (adaptowalny do AI)

AI-specific incidents

• Abuse of AI output causing societal harm
• Disclosure of confidential/personal data from training datasets
• Incorrect, hallucinated, or biased predictions

Detekcja ataków

Containment i Eradication

Identyfikacja aktywów AI

Punkty startowe inwentaryzacji

• AI usage policy organizacji
• Istniejący inwentarz/katalog AI (aktualizowany min. raz rocznie)

Metody zbierania inwentarza

Typy kontroli AI — 6 kategorii

AI w audycie — zastosowania LLM

• Contract analysis — testuj 100% populacji kontraktów
• Data analytics — testuj wcześniej nieweryfikowalne obszary
• Risk assessments — proaktywna identyfikacja emerging risk

Automatyzacja procesu audytu

Zakres audytu AI

5-krokowy framework testowania

Szczegółowe pytania audytowe — Development

• Data governance: polityki, procedury, kontrole dostępu, retention policies
• Reprezentatywność danych: rozmiar i różnorodność próbki
• Jakość danych: duplikaty, błędy, typos
• Metody sampling: random, manual/haphazard, stratified

Szczegółowe pytania audytowe — Testing

• Model development i tuning; fairness i bias analysis
• Transparency i explainability: decision logic, disclosure do stakeholders, opt-out
• Model performance: poprawne predykcje, SLA adherence, F1 score, recall, confusion matrix
• Compliance: ISO27001, GDPR, CPRA, EU AI Act

Metody sampling

Testowanie wyników AI

Sample AI Audit Process (EU AI Act high-risk)

Typy danych

ETL (Extract, Transform, Load)

Narzędzia zbierania dowodów

Ryzyko manipulacji danymi

• Bias programistów i data scientists — nieświadome skrzywienie
• Data poisoning — zewnętrzny atak na dane treningowe
• Adversarial attacks — manipulacja inputem; narzędzie LLMFuzzer testuje odporność LLM

Trójkąt: Data Quality · Data Integrity · Data Profiling

Sentiment Analysis w audycie

Narzędzia wizualizacji

Struktura raportu audytu AI

Advisory Reports

Quality Assurance (QA)

Walkthroughs — kluczowe obszary pytań