[Chia sẻ] Điểm sách “Xạo”; tài nguyên cho công dân

Thế giới này có rất nhiều xạo. Xạo xuất hiện qua những lời nói ngoa, nói điêu thì chúng ta dễ nhận ra và chỉ làm vui. Nhưng xạo qua hình thức khoa học (như Machine Learning, nghiên cứu khoa học) thì khó phát hiện. Cuốn sách này (“Calling Bullshit”) của Giáo sư Bergstrom và West sẽ giúp cho các bạn cách phát hiện những hình thức xạo đó. Đây là một cuốn sách rất HAY.

Trong thời gian lockdown, tôi đọc được một cuốn sách hay và muốn có đôi lời vừa là điểm sách vừa là chia sẻ cùng các bạn. Đó là cuốn sách “Calling Bullshit: The Art of Skepticism in a Data-Driven World”, tạm dịch là “Xạo: Nghệ Thuật Hoài Nghi Trong Thế Giới Được Thống Trị Bởi Dữ liệu” (hay ngắn hơn là ‘Xạo’). Tác giả cuốn sách này, nhà sinh học Carl Bergstrom và nhà thống kê học Jevin West, chỉ cho độc giả cách phát hiện và bác bỏ những sai trái, những vô duyên, những điều xạo trong các bài báo khoa học, trong các tuyên bố vung vít về Dữ Liệu Lớn và những bài nói chuyện trơn tru trên TED.

Trước hết là chữ “Xạo”. Chữ này theo tôi biết là xuất phát từ miền Nam thời trước 1975. Ai cũng hiểu lờ mờ xạo là gì, nhưng nếu hỏi về định nghĩa thì rất khó ai có thể diễn đạt cho thông. Từ điển Tiếng Việt (Hoàng Phê) giải thích xạo là “Không đứng đắn, bậy bạ”. Nhưng đó vẫn chưa phải là định nghĩa. Chúng ta phải xem người phương Tây họ nói gì về xạo dưới đây.

𝐁𝐮𝐥𝐥𝐬𝐡𝐢𝐭 – 𝐗𝐚̣𝐨

Đối với chúng ta, những người mà tiếng Anh là ngôn ngữ thứ hai, thì chữ bullshit được xem là loại ngôn ngữ tục tĩu. Nói “you are bullshit” là cũng giống như nói “Anh xạo ke”, ý nghĩa không tốt. Thế nhưng trong thực tế thì bullshit là một chữ có vị trí trang trọng trong khoa học và triết học. Triết gia Harry G. Frankfurt có lẽ là người nghiên cứu sâu nhứt về xạo. Ông là người đặt nền tảng triết lí về xạo. Trong cuốn tiểu luận ngắn rất nổi tiếng, “On Bullshit”, ông nhận định rằng trong giao tiếp xã hội có những người bị thôi thúc phải nói những điều mà họ không am hiểu, và ông gọi đó là ‘bullshit’ (hay xạo). Ông xem xạo là một thứ phẩm của xã hội.

Gs Frankfurt phân biệt xạo với nói dóc. Người nói dóc biết sự thật nhưng vẫn nói dóc một cách cố ý. Người xạo thì không quan tâm đến sự thật và cũng không có ý định lừa dối ai. Giữa xạo và nói dóc thì xạo nguy hiểm hơn vì nó làm lu mờ sự thật.

Gs Frankfurt nhận định thêm rằng chúng ta đang sống trong một thế giới bị thống trị bởi xạo. Mà, có lẽ đúng như vậy, vì hầu như ngày nào cũng ta cũng đọc được hay nghe thấy những bản tin về đột phá trong khoa học, cùng với những phát hiện mà có vẻ quá tốt và quá hay. Những cái tựa đề như “Nghiên cứu đột phá có thể cách mạng trong điều trị ung thư”, “Cuộc vận động của Trump dẫn đến 30000 ca nhiễm COVID-19 và 700 cái chết” gây ấn tượng mạnh mẽ. Chúng ta còn bị dội bom thông tin nào là “Dữ liệu Lớn”, là “Học Máy” sẽ cách mạng bất cứ lãnh vực gì, từ chẩn đoán bệnh tật đến … hành nghề luật sư! Tuy nhiên, điều phiền phức là tất cả những lời khẳng định đó đều không đúng, hay nói thẳng ra là ‘xạo’. Đúng như tác giả Bergstrom và West mở đầu cuốn sách rằng “Thế giới này đang bị ngập ngụa với những điều xạo, và chúng ta đang bị chết đuối trong biển xạo”.

Trong “Calling Bullshit”, hai tác giả Bergstrom và West còn đi xa hơn Harry Frankfurt ở định nghĩa về xạo như sau:

“Xạo là hành vi dùng sử dụng ngôn ngữ, biểu đồ, dữ liệu thống kê, và các hình thức thể hiện khác nhằm thuyết phục hoặc gây ấn tượng để đánh lạc hướng hay áp đảo hay đe doạ khán giả, nhưng không quan tâm đến sự thật hay tính hợp lí của thông tin.” (Trang 40).

Theo định nghĩa này, xạo là hành vi xuyên tạc dữ liệu thống kê và chữ nghĩa nhằm xao lãng và áp đảo khán giả nhưng không quan tâm đến sự thật. Xạo do đó có thể xem là một ‘process’ hơn là một sản phẩm.

Bergstrom và West triển khai và mở rộng định nghĩa đó thành 9 chương sách. Những chương sách chánh bao gồm suy luận nhân quả (Chương 4), diễn giải số liệu (Chương 5), những thiên lệch trong nghiên cứu khoa học (Chương 6), hiển thị dữ liệu (Chương 7), Big Data (Chương 8). Trong hai chương cuối, tác giả cung cấp một số hướng dẫn và công cụ để phát hiện và bác bỏ những điều xạo.

𝐗𝐚̣𝐨 𝐭𝐫𝐨𝐧𝐠 𝐧𝐠𝐡𝐢𝐞̂𝐧 𝐜𝐮̛́𝐮 𝐤𝐡𝐨𝐚 𝐡𝐨̣𝐜

Một điều đáng buồn là rất nhiều xạo xuất phát từ các nghiên cứu khoa học. Năm 2005, Giáo sư John Ioannidis (Đại học Stanford) gây sốc thế giới qua bài báo nổi tiếng trên PLoS Medicine. Trong bài báo đó, bằng cách dùng lí giải Bayes, Ioannidis chứng minh rằng đa số các phát hiện được công bố trên các tập san khoa học là sai. Tổng biên tập của tập san y khoa lừng danh Lancet là Richard Horton cũng đồng ý với Ioannidis, nhưng với một phát biểu ít gây sốc hơn: “Đa phần y văn và khoa văn, có lẽ phân nửa, là sai.” Rất nhiều nghiên cứu trong những năm sau đó cho thấy đúng như Ioannidis và Horton nhận định, đa số (có thể lên đến 95%) các phát hiện được báo cáo trên các tập san khoa học là sai. Nói theo ngôn nhữ bình dân là đa số nghiên cứu khoa học là … xạo.

Lãnh vực nghiên cứu càng ‘nóng’ thì xạo càng nhiều, tức là hiện tượng Proteus. Lí do cho những kết luận xạo thì rất nhiều, nhưng bao gồm những yếu tố như giả thuyết sai, cỡ mẫu nghiên cứu không đủ, thiên lệch trong thiết kế thí nghiệm, mức độ ảnh hưởng thấp, kiểm định nhiều giả thuyết, tra tấn dữ liệu, lạm dụng trị số P, và mâu thuẫn lợi ích. Tất cả những lí do này dều được lí giải trong Xạo kèm theo những ví dụ minh hoạ rất sinh động và thực tế.

𝐗𝐚̣𝐨 𝐝𝐨 𝐬𝐚𝐢 𝐥𝐞̣̂𝐜𝐡 𝐭𝐫𝐨𝐧𝐠 𝐧𝐠𝐡𝐢𝐞̂𝐧 𝐜𝐮̛́𝐮 𝐤𝐡𝐨𝐚 𝐡𝐨̣𝐜

Thiên lệch hay sai lệch (Bias) trong nghiên cứu là một trong những nguyên nhân của quá nhiều xạo trong khoa học. Thiên lệch là khái niệm không dễ hiểu, nhưng có thể giải thích đơn giản như sau: đó là sự sai lệch giữa sự thật và quan sát. Nếu mối liên quan giữa (chẳng hạn như) hành vi dễ mến và sự hấp dẫn không hiện hữu, nhưng nếu một nghiên dựa trên một mẫu chọn lọc phát hiện ra mối liên quan thì đó là một sự thiên lệch. Nếu chiều cao của thanh niên Việt Nam là 170 cm, nhưng nếu một nghiên cứu trên 100 người cho ra kết quả 172 cm, thì đó là sai lệch (2 cm). Sự sai lệch này là do cách chọn mẫu nghiên cứu, còn gọi là “Selection Bias” trong nghiên cứu dịch tễ học. Chương 6 của cuốn sách giải thích rất hay và dễ hiểu về khái niệm thiên lệch.

Một trong những câu chuyện tâm đắc trong cuốn sách phản ảnh sự thiên lệch là tuổi thọ của các nhạc sĩ (trang 126-129). Câu chuyện bắt đầu với một bài báo đình đám cho rằng các nhạc sĩ, nam cũng như nữ, thuộc dòng nhạc Metal, Rap và Hip Hop chết ở tuổi rất trẻ (khoảng 30 tuổi) so với các nhạc sĩ thuộc dòng nhạc Blues, Country, và Jazz (tuổi trung bình khi chết là 60-65). Phát hiện này rất giật gân và gây ấn tượng mạnh. Có giả thuyết cho rằng các nhạc sĩ dòng nhạc Metal, Rap và Hip chết sớm là do lối sống buông thả và đó cũng là dòng nhạc … nguy hiểm!

Tuy nhiên, hai tác giả Bergstrom và West, với kinh nghiệm khoa học thống kê, nhận ra ngay đó là một kết luận … xạo. Dòng nhạc Blues, Country và Jazz đã hiện hữu rất lâu (cả trăm năm), và những nhạc sĩ thuộc dòng nhạc này tương đối cao tuổi, và họ qua đời ở tuổi tương đối cao là điều có thể hiểu được. Còn dòng nhạc như Metal và Rap thì chỉ mới xuất hiện gần đây, và các nhạc sĩ thuộc dòng nhạc này cũng còn trẻ. Họ còn trẻ và chết ở độ tuổi ‘hưởng dương’ là điều không quá ngạc nhiên. Vấn đề là đa số các nhạc sĩ dòng nhạc Metal và Rap vẫn còn sống, và chúng ta chưa biết … chừng nào họ chết. Do đó, nếu chỉ phân tích những người ĐÃ qua đời và so sánh 2 nhóm thì là một sự sai lệch (bias) vì thời gian theo dõi của nhóm nhạc trẻ chưa đầy đủ. Trong dịch tễ học, sai lệch này được gọi là “Right Censored Bias”. Rất nhiều các phân tích sống còn (survival analysis) trong y văn đều sai vì bias này nhưng ngay cả tác giả cũng không biết. Họ xạo.

Những thiên lệch như thế cũng giải thích tại sao những tài tử điện ảnh chiếm giải Oscars thuờng có xu hướng sống lâu hơn những diễn viên không có giải thưởng danh giá đó, hay các giám mục có vẻ chết ở tuổi khá cao so với các linh mục. Thật ra, đó chính là biểu hiện của hiện tượng có tên là “immortal bias” (sai lệch bất tử). Sai lệch bất tử còn giải thích sự khác biệt về tuổi thọ giữa giáo sư và giảng viên, giữa chánh án và trạng sư, giữa tướng lãnh và sĩ quan cấp tá. Nói chung, bề ngoài thì người có cấp bậc cao thường ‘chết trễ’ hơn người có cấp bậc thấp hơn, nhưng thực chất thì không có khác nhau. Sự khác biệt là do sai lệch bất tử. Do đó, những khẳng định như thế được em là … xạo.

𝐗𝐚̣𝐨 𝐭𝐮̛̀ 𝐁𝐢𝐠 𝐃𝐚𝐭𝐚, 𝐌𝐚𝐜𝐡𝐢𝐧𝐞 𝐋𝐞𝐚𝐫𝐧𝐢𝐧𝐠

Dữ liệu Lớn, ‘Học Máy’ (?) và Trí năng Nhân tạo cũng là nguồn gốc của rất nhiều xạo trong thời gian gần đây (trang 201-203). Một trong những xạo lớn nhứt về Dữ liệu Lớn là mô hình dự báo bộc phát cúm mùa được công bố trên tập san Nature vào năm 2009 [2]. Theo nhóm tác giả, mô hình đó có thể dự báo chính xác sự bộc phát của dịch bệnh, chỉ cần dựa vào những từ khoá mà người sử dụng internet dùng Google (như “fever”, “headache”, “flu symptoms”, và “pharmacies near me”). Kết quả làm cho cả thế giới hào hứng và nhiều dự đoán tương lai được dịp bay bổng. Các chuyên gia IT trịnh trọng tuyên bố rằng thế giới sẽ thay đổi vĩnh viễn với ứng dụng Dữ liệu Lớn. Có người thậm chí còn đi xa hơn, tuyên bố rằng Phương pháp Khoa học sẽ không cần thiết, giả thuyết khoa học cũng không cần thiết. Dịch tễ học sẽ hết thời. Bác sĩ sẽ mất việc.

Tuy nhiên, những kiểm định độc lập sau đó cho thấy mô hình của Google càng lúc càng sai. Mức độ sai cứ tăng theo thời gian, đến nổi Google phải huỷ bỏ mô hình. Sau này, khi các chuyên gia dịch tễ học phân tích lại mới thấy là mô hình có thể biết người ta tìm các từ khoá, nhưng không biết lí do đi tìm những từ khoá đó. Ngay từ đầu, nghiên cứu này chẳng có gì để có thể nói là ‘nghiên cứu khoa học’, vì không có giả thuyết và cũng chẳng có lí thuyết làm cơ sở cho mô hình. Tất cả chỉ để cho máy tính và mô hình thống kê làm việc. Sự thất bại ngoạn mục của mô hình Google là một lời nhắc nhở rằng máy móc và dữ liệu không thể thay thế suy luận của con người, và rằng nếu đầu vào là rác rưởi thì đầu ra cũng là rác rưởi (‘garbage in, garbage out’).

Một dạng xạo khác được sản xuất bởi những quảng cáo rùm beng về Machine Learning. Một trường hợp tiêu biểu được hai tác giả đề cập trong cuốn sách là mô hình nhận dạng những tội phạm (trang 44-47). Câu chuyện bắt đầu với bài báo “Automated Inference on Criminality Using Face Images” [3] của 2 tác giả Xiaolin Wu và Xi Zhang kết luận rằng mô hình machine learning chỉ cần dựa vào hình bán thân (phần đầu) là có thể tiên lượng ai là tội phạm với mức độ chính xác 90%. Thật ấn tượng. Báo chí loan tin với những dự báo ứng dụng mô hình tuyệt vời này.

Khi hai tác giả Bergstrom và West xem lại phương pháp thì thấy bài báo sai ngay từ căn bản. Hai tác giả Wu và Zhang chọn hơn 1800 bức hình người gốc Hoa, tuổi 18-55, những người này không có đặc điểm gì đáng chú ý về tóc, sẹo hay xăm mình. Khoảng 1100 hình lấy từ mạng (các trang truyền thông xã hội) với giả định là họ không phải tội phạm, và 700 hình là tội phạm do sở cảnh sát cung cấp. Không cần phải chuyên gia, các bạn cũng có thể thấy ngay rằng hình trên các trang mạng là hình quảng cáo do chính đương sự hay công ti chọn để có hình ảnh tích cực, còn hình tội phạm là do cảnh sát chọn và chụp nên có những thiên kiến. Sai lầm thứ hai là chọn những hình của người ĐÃ được tuyên án, chớ không phải có xu hướng phạm tội. Nói cách khác, đây là 2 sai lầm về “Selection Bias” rất cơ bản. Qua một thí nghiệm đơn giản thực hiện ngay trong lớp học, Bergstrom và West dễ dàng bác bỏ mô hình của Wu và Zhang, và đi đến kết luận rằng những đặc điểm có xu hướng liên quan đến tội phạm hơn là phán quyết của toà án. West và Bergstrom kết luận rằng mô hình của Wu và Zhang là … xạo.

𝐗𝐚̣𝐨 𝐭𝐡𝐨̂́𝐧𝐠 𝐤𝐞̂

Lạm dụng mô hình thống kê, đặc biệt là lạm dụng trị số P, cũng sản xuất ra rất nhiều tuyên bố xạo trong khoa học và báo chí phổ thông. Trị số P là một sáng kiến của Giáo sư Ronald Fisher, một thiên tài góp phần sáng lập ra Khoa học Thống kê hiện đại. Trị số P là một chỉ số dùng để lọc tín hiệu từ nhiễu trong các thí nghiệm khoa học. Fisher đề nghị dùng ngưỡng 0.05 cho trị số P để phân biệt giữa những phát hiện có thể là tín hiệu và những thông tin nhiễu. Ông còn viết thêm rằng có thể bỏ qua những phát hiện với P > 0.05. Trong 100 năm sau đó, giới khoa học theo lời khuyến cáo này một cách trung thành, mà ít ai chất vấn tại sao lấy ngưỡng 0.05!

Có thể nói rằng ngưỡng P < 0.05 đã trở thành một loại sổ thông hành cho công bố khoa học. Bởi vì công bố khoa học dẫn đến tài trợ, đề bạt, giải thưởng, và uy danh, nên giới nghiên cứu khoa học rất dễ bị cám dỗ bởi trị số này, và họ có thể làm tất cả để có P < 0.05. Những ‘thủ thuật’ họ có thể làm bao gồm tra tấn dữ liệu (data torture) và P-hacking. P-hacking là một thuật ngữ tương đối mới (do Simmons dùng lần đầu vào năm 2011 [4]) chỉ hành vi phân tích chọn lọc và nhiều lần cho đến khi đạt được trị số P như mong muốn. Cứ 100 dữ liệu hoàn toàn ‘âm tính’, nhưng với P-hacking giới khoa học có thể biến 60 dữ liệu thành ‘dương tính’. Trong thực tế, P-hacking rất ư phổ biến trong khoa học nhưng không ai muốn đề cập đến (do mắc cỡ) và do đó sản suất rất nhiều kết luận sai và xạo.

𝐗𝐚̣𝐨 𝐤𝐡𝐨𝐚 𝐡𝐨̣𝐜

Chương 9 bàn về sự mẫn cảm của khoa học (Susceptibility of Science) cũng là chương đáng đọc cho những độc giả chưa quen với nghiên cứu và xuất bản khoa học. Bergstrom và West đề cập đến tập san dỏm như là những trạm thông tin làm ô nhiễm khoa học vì những thông tin xạo của họ.

Tại sao giới khoa học công bố trên tập san dỏm? Tại vì, theo West và Bergstrom, có nhu cầu và thị trường. Khi giới khoa học đánh giá với nhau qua số bài báo công bố thì một thị trường sẽ ra đời cho các tập san công bố những bài báo chất lượng thấp (trang 235). Thị trường đó là các trạm xuất bản dỏm đã ngốn hàng trăm triệu USD từ cộng đồng khoa bảng. Những nhà nghiên cứu công bố trên các tập san dỏm không chỉ góp phần làm ô nhiễm môi trường khoa học mà còn lan toả những thông tin xạo đến công chúng.

Trong 2 chương cuối của sách, Bergstrom và West cung cấp một số mẹo và công cụ để phát hiện và bác bỏ những thông tin xạo và kẻ xạo. Một trong những mẹo là học theo cách làm việc của kí giả. Đối với kí giả, nguồn thông tin rất quan trọng, và họ luôn hỏi 3 câu (trang 243):

• người cung cấp thông tin này là ai?

• làm sao người này biết sự việc?

• người này muốn ‘bán’ điều gì?

Tuyệt đại đa số xạo đều được nhận dạng qua 2 câu hỏi đầu tiên. Những kẻ xạo hàm ý nói xấu càng dễ nhận ra hơn vì động cơ của họ là ác ý. Qui luật chung là nếu thông tin hay lời khẳng định quá tuyệt vời — hay quá xấu — để khó có thể tin là thật, thì có lẽ đó là xạo (trang 249). Không bao giờ tin bất cứ điều gì quá khẳng định, quá tốt hay quá xấu.

Nhưng Bergstrom và West cảnh báo chúng ta rằng bác bỏ xạo khó hơn nhiều so với sản xuất ra xạo. Hai tác giả đề cập đến một nguyên lí bất xứng (‘asymmetry principle’) phát kiến bởi một kĩ sư nhu liệu máy tính người Ý tên là Alberto Brandolini phát biểu rằng

“Thời gian và năng lượng để bác bỏ xạo cao hơn nhiều so với thời gian và năng lượng cần thiết để tạo ra nó” (trang 11).

hay nói như blogger Uriel Fenelli là “những kẻ ngốc có thể sản xuất ra nhiều xạo hơn bất cứ ai có thể bác bỏ chúng”.

Sự việc liên quan đến vaccine MMR (bệnh sởi, quai bị, và Rubella) và bệnh tự kỉ là một minh chứng. Năm 1988, Bác sĩ Andrew Wakefield và đồng nghiệp ông công bố một ‘nghiên cứu’ trên tập san lừng danh Lancet cho rằng vaccine MMR là nguyên nhân gây ra bệnh tự kỉ. Sau khi bài báo được công bố, số trẻ em được tiêm ngừa MMR giảm hẳn, và tạo ra một phong trào chống vaccine trên thế giới. Nhưng đó là một nghiên cứu … xạo. Phải cần đến 16 năm và hàng trăm nghiên cứu khác để có đủ dữ liệu để chứng minh rằng bài báo của Wakefield là xạo, là sai. Trường hợp này cho thấy Nguyên lí bất xứng của Brandolini là đúng: sản xuất ra thông tin xạo dễ hơn là bác bỏ thông tin xạo.

***

Cuốn sách Xạo hay Calling Bullshit thật ra là sản phẩm của một khoá học do Jevin West và Carl Bergstrom phát triển tại Đại học Washington (Seattle). Khoá học này có tên là ‘Calling bullshit on big data’ [5] (Xạo về Dữ liệu Lớn), và sau này trở nên rất phổ biến không chỉ ở ĐH Washington mà còn các đại học ngoài Mĩ. Tôi cũng muốn thêm rằng West và Bergstrom cũng chính là tác giả sáng chế ra chỉ số “Eigenfactor” dùng để đánh giá tầm ảnh hưởng của tập san khoa học. Cuốn sách được viết bằng một văn phong lôi cuốn và dí dỏm, kèm theo những câu chuyện hay, làm cho cuốn sách rất dễ đọc và thấu hiểu.

Đây không phải là một cuốn sách khoa học phổ thông bình thường. Cuốn sách được viết bằng một văn phong lôi cuốn và dí dỏm, cùng với những ví dụ minh hoạ có thể nói là ‘thông minh’. Do đó, cuốn sách không chỉ dễ đọc đối với công chúng ngoài khoa học, mà còn có thể dùng như là một nguồn tham khảo để giảng dạy các khoá học về dịch tễ học và phương pháp luận trong nghiên cứu khoa học cho sinh viên.

Những ai làm khoa học có lẽ không xa lạ gì với những xạo trong hội nghị và tập san khoa học. Công dân bị dội bom xạo hàng ngày qua các hình thức thông tin xuyên tạc, thông tin giả, thuyết âm mưu, và thậm chí dối trá không chỉ trong hệ thống truyền thông đại chúng mà còn trên mạng xã hội. Trong môi trường như thế, không ngạc nhiên khi người ta cảm thấy như bị chết đuối trước biển xạo. Cuốn sách này không chỉ có giá trị giải trí mà còn trang bị những kiến thức và kĩ năng thống kê rất cần thiết để tạo hệ miễn dịch xạo cho cộng đồng công dân toàn cầu.

PS: Bản tiếng Anh của bài điểm sách này có tại: https://tuanvnguyen.medium.com/reading-calling-bullshit…

_______

[1] http://ftp.iza.org/dp12282.pdf

[2] https://www.nature.com/articles/nature07634

[3] https://emilkirkegaard.dk/…/Automated-Inference-on…

[4] https://pubmed.ncbi.nlm.nih.gov/22006061

[5] https://pcc.uw.edu/…/calling-bullshit-in-the-age-of-big…