Xem thêm: Azure Database for PostgreSQL

Thiết lập các mô hình ngôn ngữ chỉ là một nửa trận chiến; đảm bảo chúng tạo ra các phản hồi chính xác, an toàn và phù hợp là quan trọng đối với các ứng dụng thực tế. Lớp học dựa trên văn bản này hướng dẫn bạn qua quá trình đánh giá và đánh giá mô hình. Bạn sẽ học cách thiết kế và thực hiện các đường ống đánh giá mạnh mẽ trên Azure Databricks, chuyển đổi từ kiểm tra thủ công chủ quan sang các chiến lược đánh giá tự động, có thể mở rộng. Bạn sẽ học được gì: Hiểu các chỉ số đánh giá mô hình ngôn ngữ cốt lõi bao gồm độ chính xác, tương quan, độc tính và độ nền; Cấu hình môi trường Azure Databricks để theo dõi và quản lý các chạy đánh giá; Ứng dụng API đánh giá MLflow để đăng nhập và so sánh các phiên bản mô hình khác nhau một cách có hệ thống; Thực hiện mô hình LLM-as-a-judge để tự động hóa Phân tích kết quả đánh giá để xác định khuynh hướng mô hình và tắc nghẽn hiệu suất. Chương trình bắt đầu với các khái niệm cơ bản về hiệu suất mô hình và thuật ngữ đánh giá chính. Sau đó bạn sẽ tiến hành viết các kịch bản đánh giá, cấu hình MLflow, và phân tích dữ liệu so sánh thông qua các bài học viết rõ ràng, từng bước. Chương trình này được thiết kế cho các nhà khoa học dữ liệu, nhà phát triển và những người đam mê AI muốn học các nguyên tắc đánh giá mô hình; không cần kinh nghiệm trước đó với Databricks hoặc học máy tiên tiến. Bắt đầu xây dựng các ứng dụng AI đáng tin cậy bằng cách học cách đo lường những gì quan trọng.