HARKing: การสำรวจข้อมูลเป็นเรื่องซื่อสัตย์ จนกว่าจะเขียนใหม่ว่าสมมติฐานเกิดขึ้นเมื่อใด

Clinical Epidemiology ResearchMethodology and Research Design THUniqcret doctor knowledges TH
HARKing: การสำรวจข้อมูลเป็นเรื่องซื่อสัตย์ จนกว่าจะเขียนใหม่ว่าสมมติฐานเกิดขึ้นเมื่อใด
On this page

Read the English version

บทคัดย่อ

HARKing (hypothesizing after the results are known) หรือการตั้งสมมติฐานหลังรู้ผล เป็นหนึ่งในสามเรื่องที่อาจเกิดขึ้นหลังการ Explore ข้อมูล และต้องแยกทั้งสามเรื่องออกจากกัน การ Explore ข้อมูลแล้วสร้าง hypothesis ใหม่ทำได้และมีคุณค่า ตราบใดที่ระบุว่าเป็นผลแบบ exploratory และ post hoc แล้วนำไปทดสอบในข้อมูลชุดใหม่ การ Explore แล้วเขียน Introduction ใหม่ราวกับว่าตั้ง hypothesis ไว้ล่วงหน้าคือ HARKing หรือการวาดเป้าหลังยิงปืน ส่วนการ Explore แล้วปล่อยให้ Discussion ค่อย ๆ เปลี่ยนจาก 'associated with' เป็น 'causes' หรือ 'will reduce' เป็นอีกปัญหาหนึ่ง เรียกว่า causal spin เพราะไปตอบคนละ estimand รวมกันแล้วคือการกระโดดสองขั้น จาก Exploration ไป Confirmation แล้วไป Causal Explanation ทั้งที่ evidence จริงอาจรองรับแค่ขั้นแรก งาน exploratory ไม่ใช่งานคุณภาพต่ำ ความผิดอยู่ที่การเปลี่ยนสถานะของ evidence ตอนเล่าเรื่อง บทความนี้เดินตามตัวอย่างเดียว คือเวลาผ่าตัดกับ cancellation ผ่านทั้งสามเส้นทาง และปิดท้ายด้วยบันไดสำหรับอ่าน paper ใด ๆ


ภาพสรุป ในตัวอย่างนี้ เวลาผ่าตัดได้ค่า P = 0.01 จากตัวแปร 20 ตัวที่ดูโดยไม่มี hypothesis ล่วงหน้า

เริ่มจาก Explore แล้วไปจบที่ Explain

แผนกศัลยกรรมแห่งหนึ่งกังวลเรื่องการผ่าตัดที่ถูกยกเลิกในวันที่นัดไว้ นักวิเคราะห์เปิดข้อมูลห้องผ่าตัดโดยยังไม่มีคำถามที่ชัดเจน: ใครถูกยกเลิก การผ่าตัดถูกจองไว้ช่วงเวลาไหนของวัน รายการผ่าตัดของวันนั้นเลิกช้าแค่ไหน ผู้ป่วยมาจากหอผู้ป่วยใด หลายเดือนต่อมามีการร่าง paper และพอถึงส่วน Discussion ก็พูดถึงสาเหตุไปแล้ว

มีประโยคหนึ่งที่จับสิ่งที่มักผิดพลาดได้: งานวิจัยเริ่ม Explore แล้วชอบไปจบ Explain ประโยคนี้จับปัญหาได้เกือบตรงแก่น แต่ต้องแยก สามเรื่องที่คล้ายกันแต่ไม่เหมือนกัน ออกจากกันก่อน:

  1. Explore แล้ว generate hypothesis: ทำได้
  2. Explore แล้วแสร้งว่าเป็น confirmatory: นี่คือ HARKing
  3. Explore แล้วอธิบายเชิงสาเหตุ (causal explain): เป็นอีกปัญหาหนึ่ง

ตัวอย่างเรื่อง cancellation เดียวกันนี้จะเดินผ่านทั้งสามเส้นทาง

เส้นทางที่ 1 Explore แล้วสร้าง hypothesis ใหม่: ทำได้

นักวิเคราะห์เริ่มจากข้อมูลโดยยังไม่มี hypothesis ที่ชัดเจน แล้วพบรูปแบบหนึ่ง:

"คนที่ผ่าตัดช่วงบ่ายดูเหมือน cancellation สูงกว่า"

จากรูปแบบนั้นจึงตั้งสมมติฐานใหม่ว่า:

"Timing of surgery may be associated with cancellation."

นี่คือ hypothesis-generating exploratory analysis คือการค้นข้อมูลหารูปแบบที่น่าศึกษาต่อ แล้วเปลี่ยนรูปแบบนั้นเป็น hypothesis ไม่ผิดเลย และมีคุณค่าทางวิทยาศาสตร์จริง hypothesis ดี ๆ จำนวนมากก็เกิดขึ้นแบบนี้

เส้นทางที่ 2 Explore แล้วแสร้งว่าเป็น confirmatory: HARKing

ปัญหาเกิดตรงนี้ ก่อนดูข้อมูล แผนมีเพียงว่า:

"ลองดูหลาย ๆ ตัวก่อนว่ามีอะไรสัมพันธ์กับ cancellation ไหม"

นักวิเคราะห์ดูตัวแปร 20 ตัว และพบว่าเวลาผ่าตัด (timing) มี P = 0.01 จากนั้นกลับไปเขียน Introduction ใหม่ว่า:

"We hypothesized a priori that delayed surgical timing would increase cancellation."

ทั้งที่ ไม่ได้ hypothesize ไว้ก่อน A priori หมายถึงระบุไว้ก่อนเห็นข้อมูล และในกรณีนี้ไม่มีอะไรถูกระบุไว้เลย นี่คือ HARKing ชัดเจน หรือ hypothesizing after the results are known คือการนำเสนอ hypothesis ที่อาศัยผลการวิเคราะห์ ราวกับว่าระบุไว้ตั้งแต่ก่อนเห็นผล [1]

ผู้อ่านที่เชื่อ Introduction นั้นจะเข้าใจว่า P = 0.01 มาจากการทดสอบที่วางแผนไว้เพียงครั้งเดียว ทั้งที่จริงคือผลที่เด่นที่สุดจากการดู 20 ครั้งโดยไม่มี hypothesis

สิ่งที่เกิดขึ้นจริง กับสิ่งที่ manuscript เล่า

ลำดับจริงเริ่มจากข้อมูล ไปสู่ผลที่น่าสนใจ แล้วจึงเกิด hypothesis แต่ manuscript เล่างานเดียวกันเป็น hypothesis แล้ว study แล้ว result
ลำดับสิ่งที่เกิดขึ้นจริงสิ่งที่ manuscript เล่า
ขั้นแรกDataHypothesis
ขั้นต่อมาInteresting resultStudy
ขั้นสุดท้ายHypothesisResult

เส้นทางที่ 3 Explore แล้วอธิบายเชิงสาเหตุ: อีกปัญหาหนึ่ง

คำว่า จบ Explain ชี้ไปที่กับดักอีกอย่าง สมมติว่า exploratory observational study พบ association ระหว่าง exposure X กับ outcome Y เขียนเป็น X ↔ Y ในข้อมูลห้องผ่าตัด X คือการที่รายการผ่าตัดของวันนั้นเลิกช้า ซึ่งมักเรียกรายการนี้ว่า slate และผลเขียนไว้ว่า:

"Late slate finish was associated with cancellation."

จากนั้น Discussion ค่อย ๆ เปลี่ยนภาษาทีละย่อหน้าเป็น

"Late slate finishing causes cancellations."

หรือ

"Improving slate timeliness will reduce cancellations."

นี่ ไม่จำเป็นต้องเป็น HARKing เพราะ association นี้อาจเป็นคำถามที่ study วางแผนไว้ตั้งแต่แรกก็ได้ แต่เป็นอีกปัญหาหนึ่ง เรียกว่า causal overinterpretation หรือ causal spin คือการเขียน association ราวกับว่าเป็น effect

คำถามเชิงสาเหตุไม่ได้ต้องห้ามในงานวิจัยเชิงสังเกต (observational research) study ที่ออกแบบมาเพื่อตอบคำถามนั้นและระบุ assumptions อย่างเปิดเผยสามารถพยายามตอบได้ [2] ปัญหาคือ Discussion ที่ไปตอบคำถามเชิงสาเหตุซึ่ง study ไม่เคยตั้งใจจะประมาณตั้งแต่แรก

ทำไมจึงเป็นอีกปัญหาหนึ่ง: คนละ estimand

Estimand คือปริมาณที่ study ตั้งใจจะประมาณ study กับ Discussion ตอบคนละ estimand คำตอบของคำถามที่สองจึงอ่านจากคำตอบของคำถามแรกไม่ได้
เทียบกันสิ่งที่ study ตอบได้สิ่งที่ Discussion กระโดดไปตอบ
คำถามIs X associated with Y?What would happen to Y if we intervened on X?
ในตัวอย่างการที่ slate เลิกช้าสัมพันธ์กับ cancellation หรือไม่ถ้าทำให้ slate เลิกตรงเวลา cancellation จะลดลงหรือไม่
สิ่งที่ประมาณAssociation ที่เห็นในข้อมูลEffect ของการ intervene

เริ่มเป็น Explore เล่าเป็น Confirmatory แล้วไปจบที่ Causal Explanation

เมื่อรวมทั้งหมด ประโยคตอนต้นจึงปรับให้แม่นขึ้นได้เป็น:

"งานจำนวนหนึ่งเริ่มจาก Explore แต่ตอนเขียน manuscript กลับเล่าเหมือนเป็น Confirmatory และบางครั้งเลยไปถึง Causal Explanation"

นี่คือการกระโดดสองขั้น

ระดับของ claim: พูดเท่าที่ทำจริง

ในตัวอย่าง cancellation การเขียน Introduction ใหม่ย้ายผลเรื่องเวลาผ่าตัดจากแถวที่สองไปแถวที่สาม ส่วน Discussion ที่ค่อย ๆ เปลี่ยนภาษาย้ายผลเรื่อง slate ไปทางสองแถวสุดท้าย ทั้งที่ทั้งสอง study ไม่ได้ทำสิ่งที่แถวเหล่านั้นต้องการ
สิ่งที่ทำจริงClaim ที่ควรพูด
ดูข้อมูลแล้วพบ pattern"We observed…"
Post hoc statistical analysis"Exploratory analysis suggested…"
Prespecified hypothesis test"We tested the hypothesis that…"
Well-designed causal analysis"We estimated the effect of…"
Randomized interventionเข้าใกล้ "X causes Y" มากที่สุด

ความเข้าใจผิดที่พบบ่อยและวิธีแก้

  • "ถ้ารู้ผลแล้ว ห้ามสร้าง hypothesis ใหม่"

    ไม่ใช่ สร้าง hypothesis ใหม่หลังเห็นผลได้เต็มที่ นี่คือวิธีที่เส้นทางที่ 1 ทำงาน และเป็นจุดเริ่มต้นของ hypothesis ดี ๆ จำนวนมาก

    วิธีแก้: สร้างได้ แล้วบอกว่าเป็นอะไร: post hoc, exploratory, hypothesis-generating จากนั้นทดสอบในข้อมูลใหม่

  • "ภาษาเชิงสาเหตุหลังผล exploratory ก็คือ HARKing อีกแบบหนึ่ง"

    Discussion ที่เปลี่ยน "was associated with" เป็น "causes" หรือ "will reduce" อาจไม่เคยเขียนใหม่ว่า hypothesis เกิดขึ้นเมื่อใดเลย สิ่งที่เปลี่ยนคือตัวคำถาม

    วิธีแก้: เรียกตามที่เป็น คือ causal spin แล้วถามว่า study ตอบคำถามไหน: "Is X associated with Y?" หรือ "What would happen to Y if we intervened on X?"

อ่าน paper: กระโดดขั้นตรงไหน

การแยกแยะแบบเดียวกันนี้ใช้เป็นเครื่องมืออ่าน paper ได้ หยิบ paper เรื่อง slate timing กับ cancellation แล้ววาง claim ของมันลงบนบันได:

  1. Description: สิ่งที่เห็นในข้อมูล
  2. Exploration: รูปแบบที่ค้นหาและพบ โดยไม่มี hypothesis ล่วงหน้า
  3. Association: ความสัมพันธ์ระหว่าง X กับ Y ที่ระบุไว้
  4. Explanation หรือ causation: X ทำอะไรกับ Y และอะไรจะเปลี่ยนไปถ้าเปลี่ยน X

หาขั้นที่ design รองรับ แล้วหาประโยคที่ paper ปีนสูงกว่านั้น มีสองจุดที่ควรอ่านช้า ๆ ใน Introduction ให้ถามว่ามีอะไรแสดงว่า hypothesis มาก่อนข้อมูลหรือไม่ เช่นแผนที่ลงวันที่หรือลงทะเบียนไว้ หรือคำว่า a priori ปรากฏแค่ตอนเขียน ใน Discussion ให้ตามดูคำกริยา: การเปลี่ยนจาก "was associated with" เป็น "causes" หรือ "will reduce" คือประโยคที่ claim วิ่งเกิน study

อภิธานศัพท์

HARKing (การตั้งสมมติฐานหลังรู้ผล)
การตั้งสมมติฐานหลังรู้ผล (hypothesizing after the results are known): การนำเสนอ hypothesis ที่สร้างหลังเห็นผล ราวกับว่าระบุไว้ล่วงหน้า
hypothesis-generating exploratory analysis
การสำรวจข้อมูลโดยไม่มี hypothesis ที่กำหนดไว้ เพื่อหารูปแบบที่น่าศึกษาต่อ แล้วเปลี่ยนเป็น hypothesis ใหม่ที่จะไปทดสอบในข้อมูลอื่น
post hoc
เลือกหรือสร้างขึ้นหลังเห็นข้อมูลแล้ว
a priori hypothesis
hypothesis ที่ระบุไว้ก่อนเห็นข้อมูล
confirmatory analysis
การวิเคราะห์เพื่อยืนยัน: การวิเคราะห์ที่ทดสอบ hypothesis ซึ่งระบุไว้พร้อมแผนการวิเคราะห์ก่อนเห็นข้อมูล
causal spin
causal overinterpretation: การเขียน association ราวกับว่าเป็น effect เช่นเปลี่ยน "was associated with" เป็น "causes" หรือ "will reduce"
estimand (ปริมาณเป้าหมายของการประมาณ (estimand))
ปริมาณเป้าหมายของการประมาณ: ปริมาณที่ study ตั้งใจจะประมาณ เช่น association ในข้อมูล หรือ effect ของการ intervene

เอกสารอ้างอิง

  1. Kerr NL. HARKing: hypothesizing after the results are known. Pers Soc Psychol Rev. 1998;2(3):196-217. doi:10.1207/s15327957pspr0203_4 https://doi.org/10.1207/s15327957pspr0203_4
  2. Hernán MA. The C-word: scientific euphemisms do not improve causal inference from observational data. Am J Public Health. 2018;108(5):616-619. doi:10.2105/AJPH.2018.304337 https://doi.org/10.2105/AJPH.2018.304337

ประเด็นสำคัญ

  • หลัง Explore ข้อมูล ให้แยกสามเส้นทางออกจากกัน: สร้าง hypothesis ใหม่ทำได้ นำเสนอเป็น confirmatory คือ HARKing และอธิบายเชิงสาเหตุคือ causal spin
  • Hypothesis ที่เกิดจากข้อมูลเป็นสิ่งที่ดี เมื่อระบุว่าเป็น exploratory และ post hoc แล้วนำไปทดสอบในข้อมูลใหม่
  • HARKing คือการสร้าง hypothesis หลังเห็นผล แต่เขียนให้ผู้อ่านเชื่อว่ามาก่อน: วาดเป้าหลังยิงปืน
  • "Was associated with" กับ "will reduce" ตอบคนละคำถาม การเปลี่ยนจากอย่างหนึ่งไปอีกอย่างคือการเปลี่ยน estimand ไม่ใช่แค่เปลี่ยนถ้อยคำ
  • ให้ claim ตรงกับสิ่งที่ทำจริง และเวลาอ่าน paper ให้หาประโยคที่มันกระโดดขั้น

อ่านต่อในวิกิ: [[iptw-guide-th]]

0
ถึงนักอ่านชาวไทยและต่างชาติทำความเข้าใจบริบททางการแพทย์ของผมอ่านต่อ →ถึงนักอ่านชาวไทยและต่างชาติทำความเข้าใจเนื้อหาของผมที่นอกเหนือจากการแพทย์อ่านต่อ →

ความคิดเห็น

ยังไม่มีความคิดเห็น มาเป็นคนแรกกันเลย

เข้าสู่ระบบเพื่อแสดงความคิดเห็น