Thiên kiến quy nạp

Thiên kiến quy nạp (tiếng Anh: inductive bias) của một giải thuật học máy đề cập đến những giả định bổ sung (additional assumptions) mà người học sẽ dùng để dự đoán đầu ra đúng cho các tình huống chưa gặp phải trước đây.

Trong ngành học máy, khi một "người" nhắm mục tiêu vào xây dựng giải thuật, người đó có thể "học" để dự đoán một đầu ra đích nào đó. Với điều này, người học sẽ có được một lượng hữu hạn các ví dụ huấn luyện minh họa mối quan hệ mong muốn giữa giá trị đầu vào và đầu ra. Sau khi học thành công, người học mong muốn xấp xỉ đầu ra đúng, ngay cả cho các ví dụ vẫn chưa được thử trong suốt quá trình huấn luyện. Không có các giả định bổ sung, nhiệm vụ này không thể được giải quyết vì các tình huống chưa được xem xét có thể có đầu ra bất kì. Loại giả định cần thiết về bản chất của hàm chức năng đích được xem là thiên kiến quy nạp. Một ví dụ cổ điển của thiên kiến quy nạp là Occam's Razor, cho rằng giả thiết nào về tính ổn định của hàm chức năng mục tiêu mà đơn giản nhất là thực sự tốt nhất. Ở đây "ổn định" nghĩa là giả thuyết "người" học cho ra đầu ra đúng cho mọi ví dụ mà đã thử với giải thuật.

Việc tiếp cận đến một định nghĩa hình thức hơn của thiên kiến quy nạp là dựa trên lôgic toán. Ở đây, thiên kiến quy nạp là một công thức lôgic mà, cùng với dữ liệu huấn luyện, đòi hỏi một cách lôgic giả thuyết đưa ra bởi người học. Không may mắn là thói quen hình thức này thất bại với các trường hợp thực tế, nơi mà thiên kiến quy nạp chỉ có thể được xem là một mô tả thô (ví dụ: trong trường hợp của mạng nơ-ron).