[Nghiên cứu] Những vấn đề phổ biến về phương pháp nghiên cứu

Tôi rất hân hạnh chia sẻ cùng các bạn một bài loại ‘discussion paper’ về 10 vấn đề trong phương pháp nghiên cứu khoa học [1]. Bài này công bố dưới dạng Open Access, nên các bạn có thể download thoải mái và … nhớ trích dẫn.

Trong bài này tôi nêu 10 vấn đề phổ biến mà tôi đặt tên theo kiểu chơi chữ trong slide (không phải trong bài báo): power failure, confounding and collision, percentage fallacy, dichotomania, machine thinking, Darwin’s moral algebra, significosis, data torture, too big to fail, và wishful thinking.

𝐕𝐚̂́𝐧 đ𝐞̂̀ 𝟏: 𝐌𝐚̂́𝐭 đ𝐢𝐞̣̂𝐧 (𝐩𝐨𝐰𝐞𝐫 𝐟𝐚𝐢𝐥𝐮𝐫𝐞): tức là các nghiên cứu không đủ cỡ mẫu, có độ nhạy (power) thấp và do đó cho ra kết quả không đáng tin cậy. Ít người biết rằng nghiên cứu với cỡ mẫu thấp (số tế bào, số tissue, số bệnh nhân, v.v.) thường cho ra kết quả dương tính, nhưng kết quả đó rất khó lặp lại (tức dỏm). Nghiên cứu có cỡ mẫu không đủ chẳng khác gì mất điện trong đời thường.

𝐕𝐚̂́𝐧 đ𝐞̂̀ 𝟐: 𝐓𝐫𝐮̀𝐧𝐠 𝐡𝐨̛̣𝐩 𝐯𝐚̀ 𝐯𝐚 𝐜𝐡𝐚̣𝐦 (𝐜𝐨𝐧𝐟𝐨𝐮𝐧𝐝𝐢𝐧𝐠 𝐚𝐧𝐝 𝐜𝐨𝐥𝐥𝐢𝐬𝐢𝐨𝐧). Trùng hợp và va chạm (confounding and collision). Đây là những sai sót về cách chọn mẫu, về yếu tố nhiễu, và một sai lệch mà ít người biết đến: sai lệch đồng căn (collider). Mấy sai lệch này có thể làm cho kết quả nghiên cứu sai. Trong thực tế có thể X và Y chẳng có liên quan gì với nhau, nhưng bằng chọn chọn mẫu (ví dụ như trong bệnh viện) thì X và Y lại có liên quan! Lí do là do sai lệch (bias) trong chọn mẫu và yếu tố nhiễu.

𝐕𝐚̂́𝐧 đ𝐞̂̀ 𝟑: 𝐍𝐠𝐡𝐢̣𝐜𝐡 𝐥𝐢́ 𝐩𝐡𝐚̂̀𝐧 𝐭𝐫𝐚̆𝐦 (𝐩𝐞𝐫𝐜𝐞𝐧𝐭𝐚𝐠𝐞 𝐟𝐚𝐥𝐥𝐚𝐜𝐲). Nghịch lí phần trăm (percentage fallacy). Đây là những sai sót về phân tích số phần trăm trong nghiên cứu theo thời gian. Nhiều người không nhận ra rằng khi theo dõi bệnh nhân ở 2 thời điểm với 2 giá trị (x1 và x2) thì cách tính phần trăm thay đổi kiểu (x2 – x1) / x1*100 là bậy. Đa số các nhà nghiên cứu không am hiểu thường dùng ANOVA cho nghiên cứu theo thời gian, nhưng phương pháp này dễ dẫn đến sai lầm.

𝐕𝐚̂́𝐧 đ𝐞̂̀ 𝟒: 𝐁𝐞̣̂𝐧𝐡 𝐧𝐡𝐢̣ 𝐩𝐡𝐚̂𝐧 (𝐃𝐢𝐜𝐡𝐨𝐭𝐨𝐦𝐢𝐚). Rất rất nhiều người (nhứt là ở Việt Nam) thích chia một biến số liên tục thành 2 nhóm (kiểu ‘cao’ và ‘thấp’), nhưng họ không hiểu rằng cách phân chia này là sai về lí thuyết đo lường. Ví dụ như chia độ tuổi theo kiểu 0-9, 10-19, 20-29, v.v. và dùng đó như là biến tiên lượng. Nhưng cách chia nhóm này rất dở vì làm mất thông tin và có thể dẫn đến kết quả sai lệch.

𝐕𝐚̂́𝐧 đ𝐞̂̀ 𝟓: 𝐁𝐞̣̂𝐧𝐡 𝐦𝐚́𝐲 𝐦𝐨́𝐜 (𝐌𝐚𝐜𝐡𝐢𝐧𝐞 𝐭𝐡𝐢𝐧𝐤𝐢𝐧𝐠). Rất rất nhiều người dùng phương pháp stepwise để chọn biến số liên quan, nhưng phương pháp này đã bị chứng minh là cho ra kết quả bậy bạ lâu rồi. Tệ nhứt là cứ để cho máy làm mà không chịu đầu tư suy nghĩ, và tôi gọi đó là ‘bệnh máy móc’. Bệnh này không chịu dùng kiến thức chuyên môn mà cứ để cho máy điều khiển mình. Bệnh này rất phổ biến.

𝐕𝐚̂́𝐧 đ𝐞̂̀ 𝟔: Đ𝐚̣𝐢 𝐬𝐨̂́ đ𝐚̣𝐨 đ𝐮̛́𝐜 (𝐃𝐚𝐫𝐰𝐢𝐧’𝐬 𝐦𝐨𝐫𝐚𝐥 𝐚𝐥𝐠𝐞𝐛𝐫𝐚). Hồi xưa ông Darwin trước khi đi đến hôn nhân ổng ngồi xuống tính toán lợi và hại khi lập gia đình. Trong danh sách lợi hại, ông ấy cho rằng có người tâm sự thủ thỉ là lợi, nhưng hại là tốn tiền và ít có thời gian đọc sách . Đó là over-fitting theo ngôn ngữ ngày nay. Nhiều người làm nghiên cứu chỉ có 10 người bị bệnh trong số 1000 người, nhưng họ có đến 20 biến tiên lượng — đó là over-fitting, mô hình thái quá (như Darwin).

𝐕𝐚̂́𝐧 đ𝐞̂̀ 𝟕: 𝐁𝐞̣̂𝐧𝐡 𝐯𝐢𝐞̂𝐦 𝐭𝐡𝐨̂́𝐧𝐠 𝐤𝐞̂ (𝐒𝐢𝐠𝐧𝐢𝐟𝐢𝐜𝐨𝐬𝐢𝐬). Mấy người mắc bệnh này hau chạy theo trị số P và họ làm mọi cách để sao cho P < 0.05 cho công bố khoa học. Trị số P < 0.05 được xem là ‘giấy thông hành’ cho công bố khoa học. Bệnh này càng ngày càng nhiều trong giới khoa học, và hiện nay vẫn chưa có thuốc trị. Có thuốc Bayes, nhưng ít ai chịu uống.

𝐕𝐚̂́𝐧 đ𝐞̂̀ 𝟖: 𝐓𝐫𝐚 𝐭𝐚̂́𝐧 𝐝𝐮̛̃ 𝐥𝐢𝐞̣̂𝐮 (𝐃𝐚𝐭𝐚 𝐭𝐨𝐫𝐭𝐮𝐫𝐞). Nhiều nhà nghiên cứu trở thành những chuyên gia tra tấn dữ liệu cho đến khi nào chúng khai P < 0.05. Thói quen dã man này xuất phát từ nghiên cứu có ra kết quả ‘tiêu cực’, nên họ trở nên nóng nảy và phải dùng đến biện pháp tra tấn dữ liệu. Mà, cũng như tù nhân, càng tra tấn thì họ càng khai bậy, tra tấn dữ liệu nhiều quá chúng cũng cho ra kết quả sai. Tra tấn tù nhân là tội phạm; tra tấn dữ liệu là vi phạm đạo đức khoa học.

𝐕𝐚̂́𝐧 đ𝐞̂̀ 𝟗: 𝐐𝐮𝐚́ 𝐥𝐨̛́𝐧 đ𝐞̂̉ 𝐧𝐠𝐚̃ (𝐓𝐨𝐨 𝐛𝐢𝐠 𝐭𝐨 𝐟𝐚𝐢𝐥): Nhiều nhà nghiên cứu không nhận ra rằng với nghiên cứu mà cỡ mẫu quá lớn (như hàng trăm ngàn hay hàng triệu) thì trị số P ~ 0.05 không còn ứng dụng nữa. Những nghiên cứu quá lớn này (Big Data) rất dễ cho ra kết quả có ý nghĩa thống kê, nhưng là kết quả vô nghĩa. Bài này giới thiệu một chỉ số Q (của IJ Good) để giải quyết vấn đề này.

𝐕𝐚̂́𝐧 đ𝐞̂́ 𝟏𝟎: 𝐌𝐨̛ 𝐭𝐮̛𝐨̛̉𝐧𝐠 (𝐖𝐢𝐬𝐡𝐟𝐮𝐥 𝐭𝐡𝐢𝐧𝐤𝐢𝐧𝐠): Đây là những người diễn giải sai khoảng tin cậy 95% là xác suất 95%. Chẳng hạn như nếu “95% confidence interval of RR ranged from 1.1 to 2.1” họ diễn giải là “Xác suất RR dao động từ 1.1 đến 2.1 là 95%”, nhưng diễn giải/hiểu này sai. Tôi gọi đó là ‘wishful thinking’ (mơ tưởng). Có thể nói rằng 99% các nhà khoa học trên thế giới đều hiểu sai như thế. Cách diễn giải đó chỉ có thể qua Bayes mà thôi.

Tuyệt đại đa số các kết quả nghiên cứu khoa học được công bố là sai. Sai là do nhiều lí do, kể cả những vấn đề được mô tả trong bài này. Do đó, biết sai sót để tránh là một điều rất cần thiết.

Đây là bài tôi muốn viết đã lâu, nhưng không có dịp, mãi đến khi tập san O&S (Osteoporosis and Sarcopenia) mời đóng góp [2]. Tuy là viết cho các đồng nghiệp tôi trong thế giới nghiên cứu xương, nhưng trong thực tế 10 vấn đề nêu trong bài cũng ứng dụng cho tất cả các chuyên ngành khác. Tôi rất muốn viết thành 1 bài bằng tiếng Việt, nhưng không biết tập san nào chịu đăng (và nói cho ngay cũng làm biếng dịch). Hi vọng các bạn đọc và học được một vài ý tưởng trong bài discussion này.