Toàn bộ cái gọi là độ sáng tạo của một mô hình ngôn ngữ nằm ở phép chia mọi điểm số cho con số T trước khi softmax. T nhỏ làm phân bố nhọn hoắt, gần như luôn lấy token đỉnh, văn chắc nhưng đơn điệu; T lớn dàn phẳng phân bố nên token ít khả năng cũng có cửa, câu văn đa dạng mà dễ trật. Trước đó, mỗi token phát một truy vấn và một khoá, độ khớp giữa chúng qua softmax thành trọng số chú ý, đủ cho đại từ cuối câu nối thẳng về danh từ đầu câu. Mô hình không tra đáp án, nó đoán token kế tiếp rồi nối vào và đoán tiếp.
Toàn bộ cái gọi là độ sáng tạo của một mô hình ngôn ngữ nằm ở phép chia mọi điểm số cho con số T trước khi softmax. T nhỏ làm phân bố nhọn hoắt, gần như luôn lấy token đỉnh, văn chắc nhưng đơn điệu; T lớn dàn phẳng phân bố nên token ít khả năng cũng có cửa, câu văn đa dạng mà dễ trật. Trước đó, mỗi token phát một truy vấn và một khoá, độ khớp giữa chúng qua softmax thành trọng số chú ý, đủ cho đại từ cuối câu nối thẳng về danh từ đầu câu. Mô hình không tra đáp án, nó đoán token kế tiếp rồi nối vào và đoán tiếp.
Chủ đề liên quan trong Tư duy & Máy