Máy không đi tìm đáp án đúng, nó dò xuống dốc trong sương mù: mỗi bước đo độ dốc của hàm mất mát rồi nhích tham số ngược hướng đó, đúng công thức θ ← θ − lr·∇loss. Tốc độ học đặt cao thì mỗi bước nhảy vọt qua đáy, đường sai số răng cưa và có khi bay hẳn lên phân kỳ; đặt thấp thì đường mô hình nhích từng tí, cần rất nhiều epoch mới hạ được sai số. Mô hình càng uốn lượn để đi qua từng điểm nhiễu thì sai số trên tập huấn luyện càng nhỏ trong khi sai số trên tập kiểm định lại đi lên, đó là quá khớp.
Máy không đi tìm đáp án đúng, nó dò xuống dốc trong sương mù: mỗi bước đo độ dốc của hàm mất mát rồi nhích tham số ngược hướng đó, đúng công thức θ ← θ − lr·∇loss. Tốc độ học đặt cao thì mỗi bước nhảy vọt qua đáy, đường sai số răng cưa và có khi bay hẳn lên phân kỳ; đặt thấp thì đường mô hình nhích từng tí, cần rất nhiều epoch mới hạ được sai số. Mô hình càng uốn lượn để đi qua từng điểm nhiễu thì sai số trên tập huấn luyện càng nhỏ trong khi sai số trên tập kiểm định lại đi lên, đó là quá khớp.
Chủ đề liên quan trong Tư duy & Máy