Chú ý & Transformer: cách LLM hiểu & đoán từ

MÔ PHỎNG CHÚ Ý · TRANSFORMER

▸ Cắt câu thành token & nạp từ điển…

▸ Tra nhúng (embedding) cho mỗi token

▸ Sinh Query · Key · Value cho self-attention

▸ Tính trọng số softmax(Q·Kᵀ/√d) · nhiều đầu

▸ Hiệu chuẩn nhiệt độ & bộ lấy mẫu token kế tiếp…

▸ Sẵn sàng — Trực tuyến. ✅

Trạng thái mô hình

💬 Chú ý & đoán từ

Số token—

Token query—

Đoán kế tiếp—

Xác suất đỉnh—

Nhiệt độ T—

Số đầu chú ý—

Ghi chú

LLM như ChatGPT đọc câu thành token, mỗi token "chú ý" tới token khác để hiểu ngữ cảnh, rồi đoán token kế tiếp theo xác suất. Đây là bản trực giác đơn giản hoá của cơ chế attention — không phải toàn bộ kiến trúc.

—

Chọn "Kịch bản" để đổi cách xem (đường chú ý · ma trận · đa đầu · sinh văn bản · nhiệt độ · ngữ cảnh xa) · kéo Nhiệt độ để thấy phân bố nhọn/phẳng · bấm khái niệm để xem chi tiết

Trình duyệt chưa bật canvas.

Xác suất token đỉnh & nhiệt độ theo thời gian xác suất đỉnhnhiệt độ T