Podstawy testowania modeli uczenia maszynowego i AI

W miarę jak sztuczna inteligencja i duże modele językowe stają się integralną częścią codziennego oprogramowania, zapewnienie ich niezawodności, bezpieczeństwa i dokładności staje się ważniejsze niż kiedykolwiek wcześniej.Tradycyjne metody testowania oprogramowanie nie wystarczają, gdy są stosowane do probabilistycznego charakteru nowoczesnej sztucznej inteligencji. Ten kurs zawiera jasne, krok po kroku wprowadzenie do oceny modeli uczenia maszynowego, podstawowych LLM i agentów konwersacyjnych, dając umiejętności projektowania solidnych strategii testowania. Czego się nauczysz: - Zrozum podstawowe różnice między testowaniem tradycyjnego oprogramowania a oceną probabilistycznych systemów AI. - Zastosuj techniki dzielenia danych, takie jak walidacja krzyżowa K-Fold, aby zapobiec przesadzeniu i zapewnić niezawodne uogólnienie modelu. - Oceń duże modele językowe (LLM) przy użyciu standardowych w branży benchmarków, takich jak MMLU, HumanEval i BLEU. - Oceń wydajność chatbota i konwersacyjnej AI pod kątem dokładności, bezpieczeństwa i spójności. - Wdrażaj nowoczesne wzorce testowania systemów Retrieval-Augmented Generation (RAG), weryfikując zarówno dokładność pobierania, jak i generowanie odpowiedzi. - Zidentyfikuj i przetestuj ryzyko etyczne, stronniczość, toksyczność i luki w zabezpieczeniach, takie jak szybkie wstrzykiwanie. Zaczniesz od podstawowej terminologii testowania i podstawowych koncepcji uczenia maszynowego, zanim przejdziesz do zaawansowanych wskaźników oceny dla generatywnej AI.Dzięki jasnym pisemnym wyjaśnieniom i praktycznym ćwiczeniom koncepcyjnym dowiesz się, jak zaprojektować kompleksowe potoki testowe. Ten kurs jest przeznaczony dla początkujących inżynierów QA, programistów i entuzjastów AI, którzy chcą przejść do bezpieczeństwa i oceny AI.Nie jest wymagane zaawansowane doświadczenie matematyczne ani programistyczne. Zacznij budować bezpieczniejsze, bardziej niezawodne systemy AI już dziś.