HARKing: การสำรวจข้อมูลเป็นเรื่องซื่อสัตย์ จนกว่าจะเขียนใหม่ว่าสมมติฐานเกิดขึ้นเมื่อใด

On this page
Read the English version
บทคัดย่อ
HARKing (hypothesizing after the results are known) หรือการตั้งสมมติฐานหลังรู้ผล เป็นหนึ่งในสามเรื่องที่อาจเกิดขึ้นหลังการ Explore ข้อมูล และต้องแยกทั้งสามเรื่องออกจากกัน การ Explore ข้อมูลแล้วสร้าง hypothesis ใหม่ทำได้และมีคุณค่า ตราบใดที่ระบุว่าเป็นผลแบบ exploratory และ post hoc แล้วนำไปทดสอบในข้อมูลชุดใหม่ การ Explore แล้วเขียน Introduction ใหม่ราวกับว่าตั้ง hypothesis ไว้ล่วงหน้าคือ HARKing หรือการวาดเป้าหลังยิงปืน ส่วนการ Explore แล้วปล่อยให้ Discussion ค่อย ๆ เปลี่ยนจาก 'associated with' เป็น 'causes' หรือ 'will reduce' เป็นอีกปัญหาหนึ่ง เรียกว่า causal spin เพราะไปตอบคนละ estimand รวมกันแล้วคือการกระโดดสองขั้น จาก Exploration ไป Confirmation แล้วไป Causal Explanation ทั้งที่ evidence จริงอาจรองรับแค่ขั้นแรก งาน exploratory ไม่ใช่งานคุณภาพต่ำ ความผิดอยู่ที่การเปลี่ยนสถานะของ evidence ตอนเล่าเรื่อง บทความนี้เดินตามตัวอย่างเดียว คือเวลาผ่าตัดกับ cancellation ผ่านทั้งสามเส้นทาง และปิดท้ายด้วยบันไดสำหรับอ่าน paper ใด ๆ
เริ่มจาก Explore แล้วไปจบที่ Explain
แผนกศัลยกรรมแห่งหนึ่งกังวลเรื่องการผ่าตัดที่ถูกยกเลิกในวันที่นัดไว้ นักวิเคราะห์เปิดข้อมูลห้องผ่าตัดโดยยังไม่มีคำถามที่ชัดเจน: ใครถูกยกเลิก การผ่าตัดถูกจองไว้ช่วงเวลาไหนของวัน รายการผ่าตัดของวันนั้นเลิกช้าแค่ไหน ผู้ป่วยมาจากหอผู้ป่วยใด หลายเดือนต่อมามีการร่าง paper และพอถึงส่วน Discussion ก็พูดถึงสาเหตุไปแล้ว
มีประโยคหนึ่งที่จับสิ่งที่มักผิดพลาดได้: งานวิจัยเริ่ม Explore แล้วชอบไปจบ Explain ประโยคนี้จับปัญหาได้เกือบตรงแก่น แต่ต้องแยก สามเรื่องที่คล้ายกันแต่ไม่เหมือนกัน ออกจากกันก่อน:
- Explore แล้ว generate hypothesis: ทำได้
- Explore แล้วแสร้งว่าเป็น confirmatory: นี่คือ HARKing
- Explore แล้วอธิบายเชิงสาเหตุ (causal explain): เป็นอีกปัญหาหนึ่ง
ตัวอย่างเรื่อง cancellation เดียวกันนี้จะเดินผ่านทั้งสามเส้นทาง
เส้นทางที่ 1 Explore แล้วสร้าง hypothesis ใหม่: ทำได้
นักวิเคราะห์เริ่มจากข้อมูลโดยยังไม่มี hypothesis ที่ชัดเจน แล้วพบรูปแบบหนึ่ง:
"คนที่ผ่าตัดช่วงบ่ายดูเหมือน cancellation สูงกว่า"
จากรูปแบบนั้นจึงตั้งสมมติฐานใหม่ว่า:
"Timing of surgery may be associated with cancellation."
นี่คือ hypothesis-generating exploratory analysis คือการค้นข้อมูลหารูปแบบที่น่าศึกษาต่อ แล้วเปลี่ยนรูปแบบนั้นเป็น hypothesis ไม่ผิดเลย และมีคุณค่าทางวิทยาศาสตร์จริง hypothesis ดี ๆ จำนวนมากก็เกิดขึ้นแบบนี้
เส้นทางที่ 2 Explore แล้วแสร้งว่าเป็น confirmatory: HARKing
ปัญหาเกิดตรงนี้ ก่อนดูข้อมูล แผนมีเพียงว่า:
"ลองดูหลาย ๆ ตัวก่อนว่ามีอะไรสัมพันธ์กับ cancellation ไหม"
นักวิเคราะห์ดูตัวแปร 20 ตัว และพบว่าเวลาผ่าตัด (timing) มี P = 0.01 จากนั้นกลับไปเขียน Introduction ใหม่ว่า:
"We hypothesized a priori that delayed surgical timing would increase cancellation."
ทั้งที่ ไม่ได้ hypothesize ไว้ก่อน A priori หมายถึงระบุไว้ก่อนเห็นข้อมูล และในกรณีนี้ไม่มีอะไรถูกระบุไว้เลย นี่คือ HARKing ชัดเจน หรือ hypothesizing after the results are known คือการนำเสนอ hypothesis ที่อาศัยผลการวิเคราะห์ ราวกับว่าระบุไว้ตั้งแต่ก่อนเห็นผล [1]
ผู้อ่านที่เชื่อ Introduction นั้นจะเข้าใจว่า P = 0.01 มาจากการทดสอบที่วางแผนไว้เพียงครั้งเดียว ทั้งที่จริงคือผลที่เด่นที่สุดจากการดู 20 ครั้งโดยไม่มี hypothesis
สิ่งที่เกิดขึ้นจริง กับสิ่งที่ manuscript เล่า
| ลำดับ | สิ่งที่เกิดขึ้นจริง | สิ่งที่ manuscript เล่า |
|---|---|---|
| ขั้นแรก | Data | Hypothesis |
| ขั้นต่อมา | Interesting result | Study |
| ขั้นสุดท้าย | Hypothesis | Result |
เส้นทางที่ 3 Explore แล้วอธิบายเชิงสาเหตุ: อีกปัญหาหนึ่ง
คำว่า จบ Explain ชี้ไปที่กับดักอีกอย่าง สมมติว่า exploratory observational study พบ association ระหว่าง exposure X กับ outcome Y เขียนเป็น X ↔ Y ในข้อมูลห้องผ่าตัด X คือการที่รายการผ่าตัดของวันนั้นเลิกช้า ซึ่งมักเรียกรายการนี้ว่า slate และผลเขียนไว้ว่า:
"Late slate finish was associated with cancellation."
จากนั้น Discussion ค่อย ๆ เปลี่ยนภาษาทีละย่อหน้าเป็น
"Late slate finishing causes cancellations."
หรือ
"Improving slate timeliness will reduce cancellations."
นี่ ไม่จำเป็นต้องเป็น HARKing เพราะ association นี้อาจเป็นคำถามที่ study วางแผนไว้ตั้งแต่แรกก็ได้ แต่เป็นอีกปัญหาหนึ่ง เรียกว่า causal overinterpretation หรือ causal spin คือการเขียน association ราวกับว่าเป็น effect
คำถามเชิงสาเหตุไม่ได้ต้องห้ามในงานวิจัยเชิงสังเกต (observational research) study ที่ออกแบบมาเพื่อตอบคำถามนั้นและระบุ assumptions อย่างเปิดเผยสามารถพยายามตอบได้ [2] ปัญหาคือ Discussion ที่ไปตอบคำถามเชิงสาเหตุซึ่ง study ไม่เคยตั้งใจจะประมาณตั้งแต่แรก
ทำไมจึงเป็นอีกปัญหาหนึ่ง: คนละ estimand
| เทียบกัน | สิ่งที่ study ตอบได้ | สิ่งที่ Discussion กระโดดไปตอบ |
|---|---|---|
| คำถาม | Is X associated with Y? | What would happen to Y if we intervened on X? |
| ในตัวอย่าง | การที่ slate เลิกช้าสัมพันธ์กับ cancellation หรือไม่ | ถ้าทำให้ slate เลิกตรงเวลา cancellation จะลดลงหรือไม่ |
| สิ่งที่ประมาณ | Association ที่เห็นในข้อมูล | Effect ของการ intervene |
เริ่มเป็น Explore เล่าเป็น Confirmatory แล้วไปจบที่ Causal Explanation
เมื่อรวมทั้งหมด ประโยคตอนต้นจึงปรับให้แม่นขึ้นได้เป็น:
"งานจำนวนหนึ่งเริ่มจาก Explore แต่ตอนเขียน manuscript กลับเล่าเหมือนเป็น Confirmatory และบางครั้งเลยไปถึง Causal Explanation"
นี่คือการกระโดดสองขั้น
ระดับของ claim: พูดเท่าที่ทำจริง
| สิ่งที่ทำจริง | Claim ที่ควรพูด |
|---|---|
| ดูข้อมูลแล้วพบ pattern | "We observed…" |
| Post hoc statistical analysis | "Exploratory analysis suggested…" |
| Prespecified hypothesis test | "We tested the hypothesis that…" |
| Well-designed causal analysis | "We estimated the effect of…" |
| Randomized intervention | เข้าใกล้ "X causes Y" มากที่สุด |
ความเข้าใจผิดที่พบบ่อยและวิธีแก้
-
"ถ้ารู้ผลแล้ว ห้ามสร้าง hypothesis ใหม่"
ไม่ใช่ สร้าง hypothesis ใหม่หลังเห็นผลได้เต็มที่ นี่คือวิธีที่เส้นทางที่ 1 ทำงาน และเป็นจุดเริ่มต้นของ hypothesis ดี ๆ จำนวนมาก
วิธีแก้: สร้างได้ แล้วบอกว่าเป็นอะไร: post hoc, exploratory, hypothesis-generating จากนั้นทดสอบในข้อมูลใหม่
-
"ภาษาเชิงสาเหตุหลังผล exploratory ก็คือ HARKing อีกแบบหนึ่ง"
Discussion ที่เปลี่ยน "was associated with" เป็น "causes" หรือ "will reduce" อาจไม่เคยเขียนใหม่ว่า hypothesis เกิดขึ้นเมื่อใดเลย สิ่งที่เปลี่ยนคือตัวคำถาม
วิธีแก้: เรียกตามที่เป็น คือ causal spin แล้วถามว่า study ตอบคำถามไหน: "Is X associated with Y?" หรือ "What would happen to Y if we intervened on X?"
อ่าน paper: กระโดดขั้นตรงไหน
การแยกแยะแบบเดียวกันนี้ใช้เป็นเครื่องมืออ่าน paper ได้ หยิบ paper เรื่อง slate timing กับ cancellation แล้ววาง claim ของมันลงบนบันได:
- Description: สิ่งที่เห็นในข้อมูล
- Exploration: รูปแบบที่ค้นหาและพบ โดยไม่มี hypothesis ล่วงหน้า
- Association: ความสัมพันธ์ระหว่าง X กับ Y ที่ระบุไว้
- Explanation หรือ causation: X ทำอะไรกับ Y และอะไรจะเปลี่ยนไปถ้าเปลี่ยน X
หาขั้นที่ design รองรับ แล้วหาประโยคที่ paper ปีนสูงกว่านั้น มีสองจุดที่ควรอ่านช้า ๆ ใน Introduction ให้ถามว่ามีอะไรแสดงว่า hypothesis มาก่อนข้อมูลหรือไม่ เช่นแผนที่ลงวันที่หรือลงทะเบียนไว้ หรือคำว่า a priori ปรากฏแค่ตอนเขียน ใน Discussion ให้ตามดูคำกริยา: การเปลี่ยนจาก "was associated with" เป็น "causes" หรือ "will reduce" คือประโยคที่ claim วิ่งเกิน study
อภิธานศัพท์
- HARKing (การตั้งสมมติฐานหลังรู้ผล)
- การตั้งสมมติฐานหลังรู้ผล (hypothesizing after the results are known): การนำเสนอ hypothesis ที่สร้างหลังเห็นผล ราวกับว่าระบุไว้ล่วงหน้า
- hypothesis-generating exploratory analysis
- การสำรวจข้อมูลโดยไม่มี hypothesis ที่กำหนดไว้ เพื่อหารูปแบบที่น่าศึกษาต่อ แล้วเปลี่ยนเป็น hypothesis ใหม่ที่จะไปทดสอบในข้อมูลอื่น
- post hoc
- เลือกหรือสร้างขึ้นหลังเห็นข้อมูลแล้ว
- a priori hypothesis
- hypothesis ที่ระบุไว้ก่อนเห็นข้อมูล
- confirmatory analysis
- การวิเคราะห์เพื่อยืนยัน: การวิเคราะห์ที่ทดสอบ hypothesis ซึ่งระบุไว้พร้อมแผนการวิเคราะห์ก่อนเห็นข้อมูล
- causal spin
- causal overinterpretation: การเขียน association ราวกับว่าเป็น effect เช่นเปลี่ยน "was associated with" เป็น "causes" หรือ "will reduce"
- estimand (ปริมาณเป้าหมายของการประมาณ (estimand))
- ปริมาณเป้าหมายของการประมาณ: ปริมาณที่ study ตั้งใจจะประมาณ เช่น association ในข้อมูล หรือ effect ของการ intervene
เอกสารอ้างอิง
- Kerr NL. HARKing: hypothesizing after the results are known. Pers Soc Psychol Rev. 1998;2(3):196-217. doi:10.1207/s15327957pspr0203_4 https://doi.org/10.1207/s15327957pspr0203_4
- Hernán MA. The C-word: scientific euphemisms do not improve causal inference from observational data. Am J Public Health. 2018;108(5):616-619. doi:10.2105/AJPH.2018.304337 https://doi.org/10.2105/AJPH.2018.304337
ประเด็นสำคัญ
- หลัง Explore ข้อมูล ให้แยกสามเส้นทางออกจากกัน: สร้าง hypothesis ใหม่ทำได้ นำเสนอเป็น confirmatory คือ HARKing และอธิบายเชิงสาเหตุคือ causal spin
- Hypothesis ที่เกิดจากข้อมูลเป็นสิ่งที่ดี เมื่อระบุว่าเป็น exploratory และ post hoc แล้วนำไปทดสอบในข้อมูลใหม่
- HARKing คือการสร้าง hypothesis หลังเห็นผล แต่เขียนให้ผู้อ่านเชื่อว่ามาก่อน: วาดเป้าหลังยิงปืน
- "Was associated with" กับ "will reduce" ตอบคนละคำถาม การเปลี่ยนจากอย่างหนึ่งไปอีกอย่างคือการเปลี่ยน estimand ไม่ใช่แค่เปลี่ยนถ้อยคำ
- ให้ claim ตรงกับสิ่งที่ทำจริง และเวลาอ่าน paper ให้หาประโยคที่มันกระโดดขั้น
อ่านต่อในวิกิ: [[iptw-guide-th]]