Xuống dốc gradient · Toán học

MÔ PHỎNG XUỐNG DỐC GRADIENT

Xuống núi trong sương mù dày thì chỉ còn một cách: sờ xem chỗ đang đứng dốc về phía nào rồi bước một bước theo hướng đó. Đấy đúng là quy tắc x ← x − η∇f chạy bên trong mọi bộ tối ưu của mạng nơ-ron. Chỗ hiểm nằm ở độ dài bước, vì η nhỏ thì bò mãi không tới đáy, η lớn quá thì mỗi bước nhảy vọt qua đáy lên sườn bên kia rồi phân kỳ, và với hàm bậc hai ngưỡng an toàn đúng bằng η < 2 chia cho độ cong. Địa hình lắm hố thì điểm xuất phát quyết định viên bi kẹt lại ở cực tiểu cục bộ nào.

▸ Dựng địa hình hàm mất mát f(x, y)…

▸ Tô bản đồ đường đồng mức (heatmap)

▸ Tính gradient ∇f = (∂f/∂x, ∂f/∂y)

▸ Thả viên bi xuống dốc theo −∇f

▸ Đánh dấu cực tiểu cục bộ & toàn cục

▸ Sẵn sàng — Trực tuyến. ✅

Trạng thái lần lặp

⛰️ Đang xuống dốc

−∇f = hướng dốc nhất

Lần lặp (iteration)—

Vị trí (x, y)—

Mất mát f—

|∇f| (độ dốc)—

Tốc độ học η—

Trạng thái—

Mẹo

Viên bi luôn đi ngược gradient (−∇f): gradient chỉ hướng DỐC LÊN, nên trừ nó là đi XUỐNG. Mỗi bước: x ← x − η∇f. η quá lớn → văng/dao động; η quá nhỏ → bò chậm. Có nhiều hố lõm → bi có thể kẹt ở cực tiểu cục bộ.

—

Bấm vào bản đồ để thả bi tại điểm đó · kéo Tốc độ học η để thấy bò chậm ↔ văng xa · đổi Kịch bản (một hố · nhiều hố · bước lớn · bước nhỏ · thung lũng hẹp · quán tính)

Trình duyệt chưa bật canvas.

Mất mát f & độ dốc |∇f| theo lần lặp mất mát f|∇f| độ dốc