Logistic Regression
  1. Logistic Regression là gì?

  • Thuật toán Machine Learning này được vay mượn từ xác suất thống kê, được sử dụng để tính khả năng phân loại [0,1]  với đầu vào dữ liệu cụ thể, trong đó thuật toán được biểu diễn dựa trên hàm Logistic Funtion (hàm sigmoid của logarit tự nhiên)
  • Hàm sigmoid hay đường cong sigmoid: hàm logarit chuẩn, dạng: P = 1/(1+ evalue)

  • Hàm logistic Regression biểu diễn dưới dạng model như sau:

y = e(B0+B1×x)  / (1+ eB0+B1×x)

–> Nhiệm vụ là tìm nghiệm của phương trình trên (tức là B0, B1) đúng nhất với đầu vào dữ liệu có sẵn (training set)

  • Ví dụ: Dự đoán xác suất thi đỗ dựa trên số giờ học của sinh viên:
Hours Pass Hours Pass
.5 0 2.75 1
.75 0 3 0
1 0 3.25 1
1.25 0 3.5 0
1.5 0 4 1
1.75 0 4.25 1
1.75 1 4.5 1
2 0 4.75 1
2.25 1 5 1
2.5 0 5.5 1

Hình ảnh thu được của hàm Logistic Function (dạng chữ S uốn cong tuyến tính)

2. Logistic Regression – Tính ứng dụng?

Tính ứng dụng của Logistic Regression khá phổ biến, đặc biệt sử dụng trong bài toán phân loại (Classification) trong đó 02 lớp class dưới dạng tuyến tính cách nhau (linear separable) như chuẩn đoán bệnh ung thư, đoán trước tỷ lệ ủng hộ bỏ phiếu, thành công của sản phẩm, dự đoán đội bóng thắng/thua, mã chứng khoán tăng hay giảm…v.v.

Tuy nhiên trong thực tế dữ liệu của 01 class có thể nằm trong 1 vòng tròn, 1 class khác nằm ngoài vòng tròn, lúc đó Logistic Regression không còn đúng, không áp dụng được.

3. Học mô hình Logistic Regression như nào?

Learning là quá trình tìm, định lượng các hệ số B0, B1 trong mô hình Logistic Regression từ tập dữ liệu có sẵn (training data set). Trong Machine Learning nói riêng và AI nói chung rất khó có thể năng tìm ra đúng, chính xác 100% các hệ số này mà chỉ cố gắng định lượng giá trị có khả năng cao nhất gần đúng hay nói cách khác là giảm thiểu tối đa sai sót, chênh lệch khi lắp ghép các hệ số B0, B1 này vào model so với kết quả thực tế.

4. Đoán trước giá trị của Logistic Regression 

Đoán trước giá trị của model biểu diễn như sau:

p(class = 0) = 1/ (1 – eoutput)

prediction = 0 nếu p(class) < 0.5

prediction = 1 nếu p(class) >= 0.5

4. Học Logistic Regression bằng phương pháp Gradient Descent?

Phương pháp học sử dụng rộng rãi nhất trong Machine Learning vẫn là Gradient Descent (đi ngược đạo hàm) với learning rate (tốc độ học), điều chỉnh các hệ số để sao cho hội tụ hàm chi phí tối thiểu về 0.

xt+1=xt−ηf′(xt)

Trong đó: η (đọc là eta): Learning rate, số dương; f’: đạo hàm

Ví dụ: hàm số f(x)=x2+5sin(x) sẽ có đạo hàm f′(x)=2x+5cos(x)

5. Logistic Regression vì sao?

0 Comments