ทำไมผลลัพธ์ที่สังเกตได้จึงควรอยู่ใน imputation model และเมื่อใดจึงกลายเป็น data leakage

Clinical Epidemiology ResearchMethodology and Research Design THUniqcret doctor knowledges TH
ทำไมผลลัพธ์ที่สังเกตได้จึงควรอยู่ใน imputation model และเมื่อใดจึงกลายเป็น data leakage
On this page

Read the English version

บทคัดย่อ

เมื่อตัวทำนายพื้นฐาน (baseline predictor) หายไปบางส่วนใน outcome regression ผลลัพธ์ (outcome) ที่สังเกตได้มักควรอยู่ใน imputation model ของ multiple imputation เพราะผลลัพธ์มีข้อมูลเกี่ยวกับตัวทำนายที่หายไป และการตัดผลลัพธ์ออกทำให้ความสัมพันธ์ระหว่างตัวทำนายกับผลลัพธ์ที่ regression ต้องการประมาณอ่อนลง Analysis model อธิบายผลลัพธ์ ส่วน imputation model มีหน้าที่เพียงสร้างค่าตัวทำนายที่หายไปขึ้นใหม่ และห้ามสับสนสองหน้าที่นี้ การใช้ผลลัพธ์ที่สังเกตได้ไม่ได้เป็น data leakage โดยอัตโนมัติ Data leakage เป็นเรื่องว่ามีข้อมูลนั้นให้ใช้หรือไม่ ในการศึกษาเชิงอธิบายและระหว่างการพัฒนาแบบจำลองทำนาย ผลลัพธ์เป็นที่รู้แล้วและช่วยการเติมค่าได้ ผลลัพธ์ของชุด validation ต้องไม่ปนเปื้อนการตัดสินประสิทธิภาพ และสำหรับผู้ป่วยรายใหม่ ผลลัพธ์ยังไม่เกิดขึ้น จึงใช้เติมตัวทำนายที่หายไปไม่ได้ การใส่ผลลัพธ์ไม่ได้ทำให้ข้อมูลเป็น MCAR ไม่ได้เปลี่ยน MNAR ให้เป็น MAR และไม่ได้ทำให้ไม่ต้องเติมค่าหลายชุด บทความนี้ไล่ผ่านตัวอย่างผู้ป่วยห้าราย และให้กฎสำหรับแต่ละสถานการณ์


ภาพสรุปประเด็นสำคัญห้าข้อของบทความ

biomarker ทะเบียนการเสียชีวิต และค่าที่หายไป

ทีมวิจัยทีมหนึ่งต้องการรู้ว่า biomarker ที่วัดตอนรับเข้าโรงพยาบาลสัมพันธ์กับการเสียชีวิตระหว่างนอนโรงพยาบาลหรือไม่ อายุและความรุนแรงของโรคถูกบันทึกในผู้ป่วยทุกราย การเสียชีวิตก็เช่นกัน แต่ biomarker ไม่ครบ ผู้ป่วยบางรายไม่ได้ส่งตัวอย่างตรวจ หรือผลตรวจไม่ถึงเวชระเบียน

ทีมวางแผนเติมช่องว่างด้วย multiple imputation เพื่อนร่วมงานที่ทำงานด้าน machine learning คัดค้านการใส่การเสียชีวิตไว้ใน imputation model เธอบอกว่าผลลัพธ์ต้องไม่เข้าไปในขั้น preprocessing ของตัวทำนายเด็ดขาด เพราะนั่นคือ data leakage ข้อคัดค้านนี้ปนงานสองอย่างที่ต่างกันเข้าด้วยกัน ส่วนที่เหลือของบทความนี้จะแยกสองงานนั้นออกจากกัน

ปัญหา: ตัวทำนายที่หายไปใน outcome regression

สมมติว่า scientific model คือ

$$Y = \beta_0 + \beta_1 X + \beta_2 Z + \varepsilon$$

โดย $Y$ คือผลลัพธ์ (outcome) ที่สังเกตได้ $X$ คือตัวทำนายพื้นฐาน (baseline predictor) ที่สำคัญซึ่งหายไปบางส่วน และ $Z$ แทนตัวแปรร่วมพื้นฐาน (baseline covariates) อื่น ๆ เป้าหมายคือประมาณความสัมพันธ์ระหว่าง $X$ กับ $Y$ แต่ค่า $X$ บางค่าหายไป

ทางแก้ที่ใช้บ่อยคือ multiple imputation (MI, การทดแทนค่าที่หายไปหลายครั้ง) ค่าที่หายไปแต่ละค่าถูกเติมหลายครั้งด้วยค่าที่เป็นไปได้ซึ่งสุ่มจากแบบจำลอง แล้ววิเคราะห์ชุดข้อมูลที่เติมครบแต่ละชุด และรวมผล คำถามสำคัญคือ

เมื่อเติมค่า $X$ ที่หายไป ควรใส่ผลลัพธ์ $Y$ ที่สังเกตได้ไว้ใน imputation model หรือไม่

โดยทั่วไป ควรใส่ เพราะ $Y$ มีข้อมูลเกี่ยวกับ $X$ และการตัด $Y$ ออกอาจทำให้ความสัมพันธ์ $X$-$Y$ ที่ regression สุดท้ายต้องการประมาณอ่อนลง นี่คือตรรกะของคำตอบสั้น ๆ ว่าผลลัพธ์ถูกใส่ใน imputation model เพื่อรักษาความสัมพันธ์ระหว่างตัวทำนายกับผลลัพธ์ (predictor-outcome association) และเพื่อปรับปรุงการทำนาย โดยคำว่า "การทำนาย" ในที่นี้มีความหมายเฉพาะ ซึ่งส่วนหลังจะอธิบายให้ชัด

Analysis model เทียบกับ imputation model

นี่คือแบบจำลองสองตัวที่ต่างกัน

Scientific model (substantive model)

แบบจำลองนี้ตอบคำถามวิจัย คือ $Y = f(X, Z)$ ในตัวอย่างนี้

$$\text{Mortality} = f(\text{Biomarker}, \text{Age}, \text{Severity})$$

Imputation model

แบบจำลองนี้ใช้เพียงเพื่อสร้างค่าที่เป็นไปได้ของตัวแปรที่หายไปขึ้นใหม่ ถ้า biomarker $X$ หายไป

$$X_{\text{missing}} = f(Y, \text{Age}, \text{Severity}, \text{other useful variables})$$

หลักทั่วไปที่มีประโยชน์คือ imputation model ควรมีตัวแปรครบพอ และเข้ากันได้ (compatible) กับ analysis model ตัวแปรที่ใช้ในการวิเคราะห์ รวมทั้งตัวแปรที่ช่วยทำนายค่าที่หายไปหรือโอกาสที่ค่าจะหายไป มักเป็นตัวแปรที่ควรพิจารณาใส่ [1]

ทำไมผลลัพธ์จึงช่วยเติมค่าตัวทำนายที่หายไป

ผู้ป่วยห้าราย ค่า biomarker หายไปหนึ่งค่า ตัวเลขใช้เพื่ออธิบาย
ผู้ป่วยBiomarker $X$เสียชีวิต $Y$
A20
B30
C? (หายไป)1
D91
E101

อ่านค่าที่หายไปของผู้ป่วย C จากอีกสี่ราย

  1. ดูคู่ค่าที่บันทึกไว้

    ผู้ป่วย A และ B มีค่า biomarker 2 และ 3 และรอดชีวิต ($Y = 0$) ส่วนผู้ป่วย D และ E มีค่า 9 และ 10 และเสียชีวิต ($Y = 1$) ในผู้ป่วยที่มีค่า biomarker บันทึกไว้ ค่า $X$ ที่สูงกว่ามักพบในผู้ที่เสียชีวิต

  2. สรุปว่าผลลัพธ์มีข้อมูลเกี่ยวกับตัวทำนาย

    เพราะ $X$ กับ $Y$ เคลื่อนไปด้วยกัน การรู้ผลลัพธ์ของผู้ป่วยจึงบอกอะไรบางอย่างเกี่ยวกับค่า biomarker ที่น่าจะเป็นของผู้ป่วยรายนั้น: $Y$ มีข้อมูลเกี่ยวกับ $X$

  3. ใช้กับผู้ป่วย C

    ค่า biomarker ของผู้ป่วย C หายไป แต่ C เสียชีวิต ($Y = 1$) การรู้ว่า $Y = 1$ ช่วยสร้างค่าที่เป็นไปได้ของ $X$ ที่หายไป

  4. อย่าแทนด้วยค่าเดียว

    Multiple imputation ไม่ได้ บอกง่าย ๆ ว่า "ผู้ป่วยเสียชีวิต จึงให้ $X = 9$" แต่ใช้ความสัมพันธ์ร่วมระหว่างตัวแปร และรวมความไม่แน่นอนเข้าไป เพื่อสร้างค่าที่เป็นไปได้หลายค่า

  5. สุ่มหลายค่า วิเคราะห์ แล้วรวมผล

    \[ X_C^{(1)} = 7.8, \quad X_C^{(2)} = 9.1, \quad X_C^{(3)} = 8.4, \quad \dots \]

    แต่ละค่าที่สุ่มได้เข้าไปอยู่ในชุดข้อมูลที่เติมครบของตัวเอง และเป็นเช่นนี้ไปจนครบจำนวนชุดที่สร้าง จากนั้นวิเคราะห์ชุดข้อมูลเหล่านั้นและรวมผล

ผลลัพธ์: เพราะผู้ป่วย C เสียชีวิต ค่า biomarker ที่หายไปของ C จึงถูกสุ่มเป็นค่าที่เป็นไปได้หลายค่า เช่น 7.8, 9.1 และ 8.4 แทนที่จะตรึงไว้ที่ 9 จากนั้นวิเคราะห์ชุดข้อมูลที่เติมครบและรวมผล

ถ้าไม่ใส่ผลลัพธ์ จะเกิดอะไรขึ้น

สมมติว่าเติมค่า biomarker ที่หายไปแบบนี้แทน

$$X_{\text{missing}} = f(\text{Age}, \text{Severity})$$

โดยไม่สนใจ $Y$ การเติมค่าก็จะไม่ได้ใช้ข้อมูลที่สังเกตได้ซึ่งเชื่อม $X$ กับ $Y$ อย่างเต็มที่

เรื่องนี้ไม่ได้หมายความตามตัวอักษรว่ากระบวนการสมมติ $X \perp Y$ (คือ $X$ กับ $Y$ เป็นอิสระต่อกัน) เพราะตัวแปรอื่น เช่น ความรุนแรงของโรค อาจรักษาความสัมพันธ์นั้นไว้ได้บางส่วนทางอ้อม แต่การตัดผลลัพธ์ที่มีข้อมูลออกอาจทำให้ความสัมพันธ์ระหว่างตัวทำนายกับผลลัพธ์ที่สร้างขึ้นใหม่อ่อนลง ตัวอย่างเช่น

ความสัมพันธ์จริง

Low X  → outcome uncommon
High X → outcome common

หลัง imputation model ที่ไม่สนใจ Y ซึ่งมีข้อมูล

Low X  ↘
         outcomes become more mixed
High X ↗

ความสัมพันธ์ใน regression ที่ได้จึงอาจถูกลดทอน (attenuated) คือถูกดึงเข้าหาศูนย์ แนวทางคลาสสิกเรื่องข้อมูลที่หายไปให้เหตุผลนี้ตรง ๆ: เมื่อตัวทำนายหายไป ผลลัพธ์มีข้อมูลเกี่ยวกับค่าที่เป็นไปได้ของตัวทำนายนั้น และการตัดผลลัพธ์ออกจากการเติมค่าอาจทำให้ความสัมพันธ์ระหว่างตัวทำนายกับผลลัพธ์อ่อนลงอย่างผิด ๆ [2, 3]

การใส่ผลลัพธ์ทำให้เกิด data leakage หรือไม่: ความแตกต่างที่สำคัญที่สุด

นี่คือความแตกต่างที่สำคัญที่สุดในเรื่องนี้ Data leakage (การรั่วไหลของข้อมูล) คือการปล่อยให้ข้อมูลที่ไม่ควรมีอย่างชอบธรรม ณ จุดที่ทำการทำนาย เข้าไปกำหนดแบบจำลองหรือการตัดสินประสิทธิภาพของแบบจำลอง

สถานการณ์ A: explanatory, causal หรือ outcome regression

สมมติว่าเป้าหมายการวิจัยคือ

biomarker $X$ สัมพันธ์กับการเสียชีวิต $Y$ อย่างไร

การเสียชีวิตถูกสังเกตแล้วในผู้เข้าร่วมการศึกษา จุดประสงค์ของ multiple imputation คือสร้างค่า $X$ ที่หายไปขึ้นใหม่ ก่อนประมาณ

$$Y = f(X)$$

การใช้ $Y$ ที่สังเกตได้ใน imputation model จึงเหมาะสม เพราะ $Y$ เป็นข้อมูลที่ชอบธรรมเกี่ยวกับ $X$ ที่หายไป

นี่ไม่ใช่ความหมายปกติของ prediction leakage

ทำไมจึงรู้สึกเหมือน leakage

ใน machine learning มีกฎที่ใช้กันทั่วไปว่า

อย่าให้ผลลัพธ์เข้าไปในขั้น preprocessing ของตัวทำนายเด็ดขาด

กฎนี้ใช้เมื่อข้อมูลจากคำตอบถูกปล่อยให้มีอิทธิพลต่อการทำนายของผู้ป่วยที่ไม่ควรรู้ผลลัพธ์ ลองนึกถึงแบบจำลองทำนายการเสียชีวิตที่นำไปใช้จริงแล้ว

$$P(\text{Death}) = f(\text{Age}, \text{Biomarker})$$

และผู้ป่วยรายใหม่ที่มาถึงพร้อมข้อมูล

Age = 68
Biomarker = missing
Death = ???

ณ เวลาที่ทำนาย ยังไม่รู้ $Y = \text{Death}$ จึงไม่มีใครนำ

$$\text{Biomarker}_{\text{missing}} = f(\text{Death})$$

ไปใช้ได้ เพราะคำตอบที่แบบจำลองต้องทำนายยังไม่มี การทำเช่นนั้นเป็นไปไม่ได้ในการใช้งานทางคลินิกจริง

การพัฒนาแบบจำลองทำนายซับซ้อนกว่านั้น

ประโยคที่ว่า

"ในแบบจำลองทำนายทางคลินิก ห้ามใส่ผลลัพธ์ใน imputation model เด็ดขาด"

เข้มเกินไป ระหว่างการพัฒนาแบบจำลอง (model development) ผลลัพธ์ของผู้เข้าร่วมในชุดพัฒนาถูกสังเกตแล้ว การศึกษาแบบจำลองทำนายทางคลินิกที่ชอบธรรมจำนวนมากใส่ผลลัพธ์ไว้ใน imputation model สำหรับตัวทำนายที่หายไป และงานด้านระเบียบวิธีในการวิจัยการทำนายพบว่าการใช้ผลลัพธ์เติมค่าตัวทำนายที่หายไปเป็นวิธีที่ดีกว่า [2] โดยทั่วไปยังแนะนำ multiple imputation มากกว่าการพึ่ง complete-case analysis โดยอัตโนมัติเมื่อตัวทำนายหายไป [3]

ความแตกต่างที่แท้จริงอยู่ระหว่างสามขั้น

การพัฒนาแบบจำลอง (model development)

ข้อมูลผลลัพธ์ที่สังเกตได้อาจช่วยประมาณความสัมพันธ์และเติมค่าตัวทำนายได้อย่างชอบธรรม หากออกแบบกระบวนการทางสถิติอย่างเหมาะสม

การตรวจสอบความถูกต้องของแบบจำลอง (model validation)

Validation ตรวจว่าแบบจำลองทำนายได้ดีเพียงใดในผู้ป่วยที่ไม่ได้ใช้ผลลัพธ์ในการปรับแบบจำลอง ขั้น preprocessing ต้องไม่ปล่อยให้ข้อมูลจากผลลัพธ์ของชุด validation ปนเปื้อนกระบวนการทำนายที่ปรับไว้ ในแบบที่จะไม่มีให้ใช้ในตอนทำนายจริง

การนำไปใช้ทางคลินิก (clinical deployment)

ตัวทำนายที่หายไปต้องจัดการด้วยข้อมูลที่จะมีจริงสำหรับผู้ป่วยในอนาคต

การฝึก (training) การตรวจสอบ (validation) และการนำไปใช้ (deployment)

เห็นความแตกต่างนี้ได้ง่ายกว่าในตาราง Internal validation ประเมินประสิทธิภาพในผู้ป่วยรายใหม่จากแหล่งเดียวกัน เช่น ในส่วนทดสอบที่กันไว้ (held-out test partition) ส่วน external validation ทดสอบแบบจำลองในตัวอย่างแยกต่างหาก เช่น โรงพยาบาลอื่นหรือช่วงเวลาหลังจากนั้น วิธีจัดการตัวทำนายที่หายไประหว่างการพัฒนาและการนำไปใช้ต้องสะท้อนว่าแบบจำลองจะถูกใช้จริงอย่างไร [4]
สถานการณ์รู้ผลลัพธ์แล้วหรือไม่ผลลัพธ์ช่วยกลยุทธ์ MI ได้หรือไม่ประเด็นหลัก
ชุดข้อมูล explanatory regressionรู้ได้ โดยทั่วไปรักษาความสัมพันธ์ $X$-$Y$
การพัฒนาแบบจำลองทำนายรู้ได้ อาจเหมาะสมขั้นตอนการพัฒนาและ validation ที่ถูกต้อง
Internal validation หรือ test partitionผู้วิจัยรู้ แต่ในเชิงแนวคิดถือว่าซ่อนไว้ระวัง: ต้องป้องกัน leakageการประเมินต้องเลียนแบบข้อมูลที่ไม่เคยเห็น
External validationรู้หลังติดตามผลระวัง: ขึ้นกับกลยุทธ์ validationต้องประเมินการใช้งานจริงตามที่ตั้งใจ
ผู้ป่วยรายใหม่ตอนนำไปใช้ไม่รู้ไม่ได้: ต้องไม่ขึ้นกับ $Y$ ในอนาคต$Y$ ยังไม่เกิดขึ้นหรือยังไม่รู้

Multiple imputation กับ MCAR

ให้ $R_X$ เป็นตัวบ่งชี้ว่าสังเกตค่า $X$ ได้ ($R_X = 1$) หรือ $X$ หายไป ($R_X = 0$) ข้อมูลขาดหายแบบสุ่มสมบูรณ์ (missing completely at random, MCAR) เมื่อ $P(R_X = 0)$ ไม่ได้ขึ้นอย่างเป็นระบบกับข้อมูลที่สังเกตได้หรือสังเกตไม่ได้ พูดง่าย ๆ คือ การที่ $X$ หายไปแทบไม่เกี่ยวกับลักษณะของผู้ป่วยหรือกับค่าที่หายไปเอง

ภายใต้เงื่อนไข MCAR ที่เข้มงวด complete-case analysis ยังไม่ลำเอียงได้ในการวิเคราะห์หลายแบบ แต่เสียจำนวนผู้ป่วย จึงมักเสียความแม่นยำ (precision) ส่วน multiple imputation เก็บข้อมูลไว้ได้มากกว่า [3]

Multiple imputation กับ MAR

ข้อมูลขาดหายแบบสุ่ม (missing at random, MAR) เมื่อคำนึงถึงข้อมูลที่สังเกตได้แล้ว การขาดหายไม่ขึ้นกับค่าที่มองไม่เห็นเองอีกต่อไป เขียนเป็นแผนภาพได้ว่า

$$P(R_X \mid X_{\text{mis}}, X_{\text{obs}}, Y, Z) = P(R_X \mid X_{\text{obs}}, Y, Z)$$

ตัวอย่างเช่น biomarker $X$ อาจหายไปบ่อยกว่าในผู้ป่วยที่มีผลลัพธ์รุนแรงซึ่งสังเกตได้ ถ้าสังเกตผลลัพธ์ $Y$ นั้นได้ การใส่ $Y$ ใน imputation model จะทำให้แบบจำลองใช้ข้อมูลที่เกี่ยวกับกระบวนการขาดหายได้

การใส่ตัวแปรที่สังเกตได้ที่เกี่ยวข้องจึงทำให้ข้อสมมติ MAR น่าเชื่อขึ้น ภายใต้ข้อมูลที่ใช้

Multiple imputation กับ MNAR

ข้อมูลขาดหายแบบไม่สุ่ม (missing not at random, MNAR) เมื่อการขาดหายยังขึ้นกับค่าที่สังเกตไม่ได้เอง แม้คำนึงถึงข้อมูลที่สังเกตได้แล้ว ตัวอย่างเช่น ค่า biomarker ที่สูงมากอาจมีโอกาสไม่ถูกบันทึกเป็นพิเศษ เพราะมันสูงมากนั่นเอง เขียนเป็นแผนภาพได้ว่า

$$R_X \leftarrow X_{\text{missing}}$$

แม้คำนึงถึงตัวแปรที่สังเกตได้แล้ว การเพิ่ม $Y$ และตัวแปรอื่นที่มีข้อมูลอาจอธิบายการขาดหายได้บางส่วน และทำให้ imputation model ดีขึ้น

การตีความข้อมูลที่หายไปอย่างถูกต้อง

สามกลไก และสิ่งที่ผลลัพธ์ที่สังเกตได้ทำได้และทำไม่ได้ในแต่ละกลไก
กลไกแนวคิดหลักบทบาทของผลลัพธ์ที่สังเกตได้
MCARการขาดหายไม่เกี่ยวกับข้อมูลที่เกี่ยวข้อง$Y$ อาจเพิ่มประสิทธิภาพ (efficiency) และช่วยการเติมค่า แต่ไม่ใช่สิ่งที่ทำให้ MCAR เป็นจริง
MARการขาดหายอธิบายได้เมื่อคำนึงถึงข้อมูลที่สังเกตได้การใส่ $Y$ ที่มีข้อมูลทำให้ imputation model เหมาะสมขึ้น และทำให้ MAR น่าเชื่อขึ้น
MNARการขาดหายยังขึ้นกับค่าที่มองไม่เห็น แม้คำนึงถึงข้อมูลที่สังเกตได้แล้ว$Y$ อาจช่วยได้ แต่รับประกันไม่ได้ว่าจะขจัด MNAR

Imputation model ควรเข้ากันได้กับ scientific model

สมมติว่า analysis model สุดท้ายคือ

$$Y = \beta_0 + \beta_1 X + \beta_2\,\text{Age} + \beta_3\,\text{Sex}$$

imputation model ที่สมเหตุสมผลสำหรับ $X$ ที่หายไปควรใช้ตัวแปรที่มีความสัมพันธ์ที่เกี่ยวข้องกับการวิเคราะห์นั้น

$$X_{\text{mis}} = f(Y, \text{Age}, \text{Sex}, \text{useful auxiliary variables})$$

ตัวแปรเสริม (auxiliary variables) คือตัวแปรนอก analysis model ที่ช่วยทำนายค่าที่หายไปหรือโอกาสที่ค่าจะหายไป ถ้า scientific model มีพจน์ไม่เชิงเส้น (non-linear terms) หรือปฏิกิริยาสัมพันธ์ (interaction) ที่สำคัญ กระบวนการเติมค่าก็อาจต้องรักษาพจน์เหล่านั้นไว้ด้วย

แนวคิดนี้มักเรียกว่า compatibility หรือ congeniality ระหว่าง imputation model กับ analysis model [5] แนวทางด้านระเบียบวิธีปัจจุบันแนะนำให้พิจารณาใส่ตัวแปรที่เกี่ยวข้องจาก analysis model ผลลัพธ์ ตัวบ่งชี้การรักษาเมื่อเหมาะสม ปฏิกิริยาสัมพันธ์ และตัวแปรเสริมที่มีประโยชน์ทั้งหมดในการสร้าง imputation model [1]

ทำไมใช้ multiple imputation แทนการเติมด้วยค่าเฉลี่ยที่ทำนาย (fitted mean)

ทางลัดที่น่าลองคือให้ค่าที่เติมทุกค่าเท่ากับค่าเฉลี่ยที่ทำนาย (fitted mean) ของมัน นั่นไม่ใช่จุดประสงค์ของ multiple imputation สมมติว่า

$$E(X \mid Y, Z) = 8$$

Multiple imputation ไม่ได้กำหนด $X = 8$ ให้ผู้ป่วยแบบนี้ทุกราย แต่สะท้อนความไม่แน่นอนโดยสร้างค่าที่เป็นไปได้ในชุดข้อมูลที่เติมครบหลายชุด เช่น

$$7.1,\ 8.5,\ 9.0,\ 7.8,\ \dots$$

วิธีนี้รักษาความไม่แน่นอนที่เกิดจากข้อมูลที่หายไป จากนั้นรวมผลการวิเคราะห์แต่ละชุดอย่างเหมาะสม ความแปรผันระหว่างชุดข้อมูลที่เติมครบจึงถูกนำไปรวมไว้ในช่วงเชื่อมั่นสุดท้าย

สามสิ่งที่การใส่ผลลัพธ์ทำไม่ได้

  • การใส่ผลลัพธ์รับประกันว่าข้อมูลขาดหายแบบสุ่มสมบูรณ์ (MCAR)

    ข้อมูลจะเป็น MCAR, MAR หรือ MNAR เป็นคุณสมบัติของกระบวนการที่ทำให้ข้อมูลหาย การเพิ่มตัวแปรใน imputation model ไม่สามารถรับประกัน MCAR ย้อนหลังได้

    วิธีแก้: ถามว่าอะไรเป็นตัวขับให้ข้อมูลหาย และถือว่า MCAR, MAR หรือ MNAR เป็นข้อสมมติเกี่ยวกับกระบวนการนั้น ไม่ใช่สิ่งที่ imputation model สร้างขึ้น

  • เมื่อมีผลลัพธ์ใน imputation model แล้ว ไม่ต้องเติมค่าหลายชุดอีกต่อไป

    การใส่ $Y$ เพิ่มข้อมูลให้ imputation model แต่ไม่ได้ขจัดความไม่แน่นอนเกี่ยวกับ $X_{\text{missing}}$

    วิธีแก้: ยังต้องสร้างชุดข้อมูลที่เติมครบที่เป็นไปได้หลายชุด วิเคราะห์แต่ละชุด แล้วรวมผล

  • การใส่ผลลัพธ์ป้องกันการระบุแบบจำลองผิด (model misspecification)

    ไม่มีวิธีทางสถิติใดรับประกันเรื่องนี้ได้ imputation model ยังระบุผิดได้จากรูปแบบฟังก์ชัน (functional form) ที่ผิด การละปฏิกิริยาสัมพันธ์ การจัดการความสัมพันธ์ไม่เชิงเส้นไม่ดี ข้อสมมติเรื่องการแจกแจงที่ผิด หรือข้อสมมติเรื่องการขาดหายที่ไม่เหมาะสม

    วิธีแก้: ทำให้ imputation model เข้ากันได้กับ analysis model รวมทั้งพจน์ไม่เชิงเส้นและปฏิกิริยาสัมพันธ์ และระบุข้อสมมติเรื่องการขาดหายที่แบบจำลองพึ่งพา

ใช้ตรรกะนี้: "ปรับปรุงการทำนาย" หมายถึงอะไร

สรุปปัญหาในประโยคเดียว: ตัวทำนายพื้นฐานหายไปบางส่วนและจะใช้ใน outcome regression ทำไมผลลัพธ์ที่สังเกตได้จึงมักควรอยู่ใน imputation model วลีสองวลีถือคำตอบไว้ คือ baseline predictor missing (ตัวทำนายพื้นฐานหายไป) และ outcome regression

วัตถุประสงค์ทางวิทยาศาสตร์คือประมาณความสัมพันธ์

$$X \leftrightarrow Y$$

เนื่องจาก $Y$ ที่สังเกตได้มีข้อมูลเกี่ยวกับ $X$ ที่หายไป การตัด $Y$ ออกจึงอาจทำให้ความสัมพันธ์นั้นอ่อนลง ผลลัพธ์จึงถูกใส่ไว้เพื่อรักษาความสัมพันธ์ระหว่างตัวทำนายกับผลลัพธ์ และเพื่อปรับปรุงการทำนาย

ในที่นี้ "ปรับปรุงการทำนาย" หมายถึงการทำนายค่าตัวทำนายที่หายไปให้ดีขึ้นภายในกระบวนการเติมค่าเป็นหลัก ไม่ใช่การโกงโดยใช้ $Y$ ทำนายตัวมันเอง

กฎเรื่อง data leakage ที่ควรจำ

อย่าจำว่า "ผลลัพธ์ใน imputation = leakage" แต่ให้ถามคำถามเดียวทุกครั้งที่ผลลัพธ์เข้ามาใกล้ตัวทำนายที่หายไป:

คำถามเดียวกันในสามสถานการณ์

สำหรับการอนุมานเชิงอธิบาย (explanatory inference)

$$Y_{\text{observed}} \rightarrow X_{\text{missing}} \rightarrow \text{preserve the } X\text{-}Y \text{ association}$$

เหมาะสม สำหรับผู้ป่วยในอนาคต

$$Y_{\text{future}} \rightarrow X_{\text{missing}}$$

เป็นไปไม่ได้ เพราะยังไม่รู้ $Y_{\text{future}}$ สำหรับ validation ของแบบจำลองทำนาย

$$Y_{\text{validation}} \rightarrow \text{preprocessing that contaminates prediction evaluation}$$

อาจทำให้เกิด leakage หรือค่าประมาณประสิทธิภาพที่ดีเกินจริง (optimistic)

ประเด็นจึงอยู่ที่การมีข้อมูลให้ใช้ และการแยกข้อมูลออกจากกัน (availability and separation of information) ไม่ใช่แค่ว่าคำว่า "ผลลัพธ์" ปรากฏใน imputation model หรือไม่

แผนที่ความจำสุดท้าย

Explanatory หรือ outcome regression

$X$ หายไป + $Y$ สังเกตได้ $\rightarrow$ ใส่ $Y$ ใน MI model

ทำไม? เพื่อรักษาความสัมพันธ์ $X$-$Y$

การพัฒนาแบบจำลองทำนาย

ผลลัพธ์อาจเข้าไปใน MI ขั้นพัฒนาได้อย่างชอบธรรม หากจัดการการพัฒนาและ validation อย่างถูกต้อง

การทำนายผู้ป่วยรายใหม่

ไม่มี $Y$ ในอนาคต $\Rightarrow$ ใช้ $Y$ เติมค่า $X$ ไม่ได้

กลไกการขาดหาย

การใส่ $Y$ $\neq$ การรับประกัน MCAR

การใส่ $Y$ $\neq$ การเปลี่ยน MNAR เป็น MAR โดยอัตโนมัติ

อภิธานศัพท์

analysis model
แบบจำลองที่ตอบคำถามวิจัย เช่น การเสียชีวิตบน biomarker อายุ และความรุนแรงของโรค เรียกอีกอย่างว่า scientific model หรือ substantive model
imputation model
แบบจำลองช่วยงานที่ใช้เพียงเพื่อสร้างค่าที่เป็นไปได้ของตัวแปรในที่ที่ค่าหายไป
multiple imputation (MI)
การทดแทนค่าที่หายไปหลายครั้ง คือการเติมค่าที่หายไปแต่ละค่าหลายครั้งด้วยค่าที่เป็นไปได้ซึ่งสุ่มจาก imputation model วิเคราะห์ชุดข้อมูลที่เติมครบแต่ละชุด แล้วรวมผล
auxiliary variable
ตัวแปรเสริม คือตัวแปรนอก analysis model ที่ช่วยทำนายค่าที่หายไปหรือโอกาสที่ค่าจะหายไป
compatibility (congeniality)
ความสอดคล้องระหว่าง imputation model กับ analysis model เพื่อให้การเติมค่ารักษาความสัมพันธ์ พจน์ไม่เชิงเส้น และปฏิกิริยาสัมพันธ์ที่การวิเคราะห์พึ่งพาไว้
complete-case analysis
การวิเคราะห์ที่จำกัดเฉพาะผู้ป่วยที่ไม่มีค่าที่หายไปในตัวแปรของแบบจำลอง
attenuation
การลดทอน คือการที่ความสัมพันธ์ที่ประมาณได้ถูกดึงเข้าหาศูนย์
data leakage
การรั่วไหลของข้อมูล คือการใช้ข้อมูลระหว่างการปรับแบบจำลอง ขั้น preprocessing หรือการประเมินประสิทธิภาพ ที่ไม่ควรมีอย่างชอบธรรม ณ จุดที่ทำการทำนาย
internal validation
การตรวจสอบความถูกต้องภายใน คือการประเมินว่าแบบจำลองทำนายผู้ป่วยรายใหม่จากแหล่งเดียวกันได้ดีเพียงใด เช่น ในส่วนทดสอบที่กันไว้ซึ่งถือว่ายังไม่เห็นผลลัพธ์
external validation
การตรวจสอบความถูกต้องภายนอก คือการทดสอบแบบจำลองที่สร้างเสร็จแล้วในตัวอย่างแยกต่างหาก เช่น โรงพยาบาลอื่นหรือช่วงเวลาหลังจากนั้น
deployment
การนำไปใช้ คือการใช้แบบจำลองที่สร้างเสร็จแล้วทำนายผู้ป่วยจริง ซึ่งยังไม่ทราบผลลัพธ์
MCAR
ข้อมูลขาดหายแบบสุ่มสมบูรณ์ (missing completely at random): การขาดหายไม่เกี่ยวกับข้อมูลใดทั้งที่สังเกตได้และสังเกตไม่ได้
MAR
ข้อมูลขาดหายแบบสุ่ม (missing at random): เมื่อคำนึงถึงข้อมูลที่สังเกตได้แล้ว การขาดหายไม่ขึ้นกับค่าที่มองไม่เห็นเองอีกต่อไป
MNAR
ข้อมูลขาดหายแบบไม่สุ่ม (missing not at random): การขาดหายยังขึ้นกับค่าที่มองไม่เห็นเอง แม้คำนึงถึงข้อมูลที่สังเกตได้แล้ว

เอกสารอ้างอิง

  1. White IR, Royston P, Wood AM. Multiple imputation using chained equations: issues and guidance for practice. Stat Med. 2011;30(4):377-399. https://doi.org/10.1002/sim.4067
  2. Moons KGM, Donders RART, Stijnen T, Harrell FE Jr. Using the outcome for imputation of missing predictor values was preferred. J Clin Epidemiol. 2006;59(10):1092-1101. https://doi.org/10.1016/j.jclinepi.2006.01.009
  3. Sterne JAC, White IR, Carlin JB, Spratt M, Royston P, Kenward MG, Wood AM, Carpenter JR. Multiple imputation for missing data in epidemiological and clinical research: potential and pitfalls. BMJ. 2009;338:b2393. https://doi.org/10.1136/bmj.b2393
  4. Hoogland J, van Barreveld M, Debray TPA, et al. Handling missing predictor values when validating and applying a prediction model to new patients. Stat Med. 2020;39(25):3591-3607. https://doi.org/10.1002/sim.8682
  5. Meng XL. Multiple-imputation inferences with uncongenial sources of input. Stat Sci. 1994;9(4):538-558. https://doi.org/10.1214/ss/1177010269

ประเด็นสำคัญ

  • เมื่อตัวทำนายหายไปใน outcome regression ให้ใส่ผลลัพธ์ที่สังเกตได้ใน imputation model เพราะผลลัพธ์มีข้อมูลเกี่ยวกับตัวทำนายที่หายไป และรักษาความสัมพันธ์ระหว่างตัวทำนายกับผลลัพธ์ไว้
  • Analysis model อธิบายผลลัพธ์ ส่วน imputation model เพียงสร้างตัวทำนายที่หายไปขึ้นใหม่ ห้ามสับสนสองหน้าที่นี้
  • การไม่ใส่ผลลัพธ์ไม่ได้สมมติความเป็นอิสระตามตัวอักษร แต่ทำให้ผลลัพธ์ปนกันระหว่างค่าตัวทำนายที่ต่ำและสูง และอาจลดทอนความสัมพันธ์
  • Leakage เป็นเรื่องว่ามีข้อมูลให้ใช้หรือไม่: ผลลัพธ์ที่สังเกตได้ใช้ได้อย่างชอบธรรมในการวิเคราะห์เชิงอธิบาย และอาจเข้าไปในการเติมค่าขั้นพัฒนาได้ ผลลัพธ์ของชุด validation ต้องไม่ปนเปื้อนการประเมิน และผลลัพธ์ของผู้ป่วยรายใหม่ยังไม่เกิดขึ้น
  • การใส่ผลลัพธ์ไม่ได้รับประกัน MCAR ไม่ได้เปลี่ยน MNAR เป็น MAR ไม่ได้ทำให้ไม่ต้องเติมค่าหลายชุด และไม่ได้ป้องกันการระบุแบบจำลองผิด

อ่านต่อในวิกิ (บทความภาษาอังกฤษ): [[missing-data-mechanisms]] [[multiple-imputation-clinical-research]]

0
ถึงนักอ่านชาวไทยและต่างชาติทำความเข้าใจบริบททางการแพทย์ของผมอ่านต่อ →ถึงนักอ่านชาวไทยและต่างชาติทำความเข้าใจเนื้อหาของผมที่นอกเหนือจากการแพทย์อ่านต่อ →

ความคิดเห็น

ยังไม่มีความคิดเห็น มาเป็นคนแรกกันเลย

เข้าสู่ระบบเพื่อแสดงความคิดเห็น