ทำไมผลลัพธ์ที่สังเกตได้จึงควรอยู่ใน imputation model และเมื่อใดจึงกลายเป็น data leakage

On this page
Read the English version
บทคัดย่อ
เมื่อตัวทำนายพื้นฐาน (baseline predictor) หายไปบางส่วนใน outcome regression ผลลัพธ์ (outcome) ที่สังเกตได้มักควรอยู่ใน imputation model ของ multiple imputation เพราะผลลัพธ์มีข้อมูลเกี่ยวกับตัวทำนายที่หายไป และการตัดผลลัพธ์ออกทำให้ความสัมพันธ์ระหว่างตัวทำนายกับผลลัพธ์ที่ regression ต้องการประมาณอ่อนลง Analysis model อธิบายผลลัพธ์ ส่วน imputation model มีหน้าที่เพียงสร้างค่าตัวทำนายที่หายไปขึ้นใหม่ และห้ามสับสนสองหน้าที่นี้ การใช้ผลลัพธ์ที่สังเกตได้ไม่ได้เป็น data leakage โดยอัตโนมัติ Data leakage เป็นเรื่องว่ามีข้อมูลนั้นให้ใช้หรือไม่ ในการศึกษาเชิงอธิบายและระหว่างการพัฒนาแบบจำลองทำนาย ผลลัพธ์เป็นที่รู้แล้วและช่วยการเติมค่าได้ ผลลัพธ์ของชุด validation ต้องไม่ปนเปื้อนการตัดสินประสิทธิภาพ และสำหรับผู้ป่วยรายใหม่ ผลลัพธ์ยังไม่เกิดขึ้น จึงใช้เติมตัวทำนายที่หายไปไม่ได้ การใส่ผลลัพธ์ไม่ได้ทำให้ข้อมูลเป็น MCAR ไม่ได้เปลี่ยน MNAR ให้เป็น MAR และไม่ได้ทำให้ไม่ต้องเติมค่าหลายชุด บทความนี้ไล่ผ่านตัวอย่างผู้ป่วยห้าราย และให้กฎสำหรับแต่ละสถานการณ์
biomarker ทะเบียนการเสียชีวิต และค่าที่หายไป
ทีมวิจัยทีมหนึ่งต้องการรู้ว่า biomarker ที่วัดตอนรับเข้าโรงพยาบาลสัมพันธ์กับการเสียชีวิตระหว่างนอนโรงพยาบาลหรือไม่ อายุและความรุนแรงของโรคถูกบันทึกในผู้ป่วยทุกราย การเสียชีวิตก็เช่นกัน แต่ biomarker ไม่ครบ ผู้ป่วยบางรายไม่ได้ส่งตัวอย่างตรวจ หรือผลตรวจไม่ถึงเวชระเบียน
ทีมวางแผนเติมช่องว่างด้วย multiple imputation เพื่อนร่วมงานที่ทำงานด้าน machine learning คัดค้านการใส่การเสียชีวิตไว้ใน imputation model เธอบอกว่าผลลัพธ์ต้องไม่เข้าไปในขั้น preprocessing ของตัวทำนายเด็ดขาด เพราะนั่นคือ data leakage ข้อคัดค้านนี้ปนงานสองอย่างที่ต่างกันเข้าด้วยกัน ส่วนที่เหลือของบทความนี้จะแยกสองงานนั้นออกจากกัน
ปัญหา: ตัวทำนายที่หายไปใน outcome regression
สมมติว่า scientific model คือ
$$Y = \beta_0 + \beta_1 X + \beta_2 Z + \varepsilon$$
โดย $Y$ คือผลลัพธ์ (outcome) ที่สังเกตได้ $X$ คือตัวทำนายพื้นฐาน (baseline predictor) ที่สำคัญซึ่งหายไปบางส่วน และ $Z$ แทนตัวแปรร่วมพื้นฐาน (baseline covariates) อื่น ๆ เป้าหมายคือประมาณความสัมพันธ์ระหว่าง $X$ กับ $Y$ แต่ค่า $X$ บางค่าหายไป
ทางแก้ที่ใช้บ่อยคือ multiple imputation (MI, การทดแทนค่าที่หายไปหลายครั้ง) ค่าที่หายไปแต่ละค่าถูกเติมหลายครั้งด้วยค่าที่เป็นไปได้ซึ่งสุ่มจากแบบจำลอง แล้ววิเคราะห์ชุดข้อมูลที่เติมครบแต่ละชุด และรวมผล คำถามสำคัญคือ
เมื่อเติมค่า $X$ ที่หายไป ควรใส่ผลลัพธ์ $Y$ ที่สังเกตได้ไว้ใน imputation model หรือไม่
โดยทั่วไป ควรใส่ เพราะ $Y$ มีข้อมูลเกี่ยวกับ $X$ และการตัด $Y$ ออกอาจทำให้ความสัมพันธ์ $X$-$Y$ ที่ regression สุดท้ายต้องการประมาณอ่อนลง นี่คือตรรกะของคำตอบสั้น ๆ ว่าผลลัพธ์ถูกใส่ใน imputation model เพื่อรักษาความสัมพันธ์ระหว่างตัวทำนายกับผลลัพธ์ (predictor-outcome association) และเพื่อปรับปรุงการทำนาย โดยคำว่า "การทำนาย" ในที่นี้มีความหมายเฉพาะ ซึ่งส่วนหลังจะอธิบายให้ชัด
Analysis model เทียบกับ imputation model
นี่คือแบบจำลองสองตัวที่ต่างกัน
Scientific model (substantive model)
แบบจำลองนี้ตอบคำถามวิจัย คือ $Y = f(X, Z)$ ในตัวอย่างนี้
$$\text{Mortality} = f(\text{Biomarker}, \text{Age}, \text{Severity})$$
Imputation model
แบบจำลองนี้ใช้เพียงเพื่อสร้างค่าที่เป็นไปได้ของตัวแปรที่หายไปขึ้นใหม่ ถ้า biomarker $X$ หายไป
$$X_{\text{missing}} = f(Y, \text{Age}, \text{Severity}, \text{other useful variables})$$
หลักทั่วไปที่มีประโยชน์คือ imputation model ควรมีตัวแปรครบพอ และเข้ากันได้ (compatible) กับ analysis model ตัวแปรที่ใช้ในการวิเคราะห์ รวมทั้งตัวแปรที่ช่วยทำนายค่าที่หายไปหรือโอกาสที่ค่าจะหายไป มักเป็นตัวแปรที่ควรพิจารณาใส่ [1]
ทำไมผลลัพธ์จึงช่วยเติมค่าตัวทำนายที่หายไป
| ผู้ป่วย | Biomarker $X$ | เสียชีวิต $Y$ |
|---|---|---|
| A | 2 | 0 |
| B | 3 | 0 |
| C | ? (หายไป) | 1 |
| D | 9 | 1 |
| E | 10 | 1 |
อ่านค่าที่หายไปของผู้ป่วย C จากอีกสี่ราย
-
ดูคู่ค่าที่บันทึกไว้
ผู้ป่วย A และ B มีค่า biomarker 2 และ 3 และรอดชีวิต ($Y = 0$) ส่วนผู้ป่วย D และ E มีค่า 9 และ 10 และเสียชีวิต ($Y = 1$) ในผู้ป่วยที่มีค่า biomarker บันทึกไว้ ค่า $X$ ที่สูงกว่ามักพบในผู้ที่เสียชีวิต
-
สรุปว่าผลลัพธ์มีข้อมูลเกี่ยวกับตัวทำนาย
เพราะ $X$ กับ $Y$ เคลื่อนไปด้วยกัน การรู้ผลลัพธ์ของผู้ป่วยจึงบอกอะไรบางอย่างเกี่ยวกับค่า biomarker ที่น่าจะเป็นของผู้ป่วยรายนั้น: $Y$ มีข้อมูลเกี่ยวกับ $X$
-
ใช้กับผู้ป่วย C
ค่า biomarker ของผู้ป่วย C หายไป แต่ C เสียชีวิต ($Y = 1$) การรู้ว่า $Y = 1$ ช่วยสร้างค่าที่เป็นไปได้ของ $X$ ที่หายไป
-
อย่าแทนด้วยค่าเดียว
Multiple imputation ไม่ได้ บอกง่าย ๆ ว่า "ผู้ป่วยเสียชีวิต จึงให้ $X = 9$" แต่ใช้ความสัมพันธ์ร่วมระหว่างตัวแปร และรวมความไม่แน่นอนเข้าไป เพื่อสร้างค่าที่เป็นไปได้หลายค่า
-
สุ่มหลายค่า วิเคราะห์ แล้วรวมผล
\[ X_C^{(1)} = 7.8, \quad X_C^{(2)} = 9.1, \quad X_C^{(3)} = 8.4, \quad \dots \]
แต่ละค่าที่สุ่มได้เข้าไปอยู่ในชุดข้อมูลที่เติมครบของตัวเอง และเป็นเช่นนี้ไปจนครบจำนวนชุดที่สร้าง จากนั้นวิเคราะห์ชุดข้อมูลเหล่านั้นและรวมผล
ผลลัพธ์: เพราะผู้ป่วย C เสียชีวิต ค่า biomarker ที่หายไปของ C จึงถูกสุ่มเป็นค่าที่เป็นไปได้หลายค่า เช่น 7.8, 9.1 และ 8.4 แทนที่จะตรึงไว้ที่ 9 จากนั้นวิเคราะห์ชุดข้อมูลที่เติมครบและรวมผล
ถ้าไม่ใส่ผลลัพธ์ จะเกิดอะไรขึ้น
สมมติว่าเติมค่า biomarker ที่หายไปแบบนี้แทน
$$X_{\text{missing}} = f(\text{Age}, \text{Severity})$$
โดยไม่สนใจ $Y$ การเติมค่าก็จะไม่ได้ใช้ข้อมูลที่สังเกตได้ซึ่งเชื่อม $X$ กับ $Y$ อย่างเต็มที่
เรื่องนี้ไม่ได้หมายความตามตัวอักษรว่ากระบวนการสมมติ $X \perp Y$ (คือ $X$ กับ $Y$ เป็นอิสระต่อกัน) เพราะตัวแปรอื่น เช่น ความรุนแรงของโรค อาจรักษาความสัมพันธ์นั้นไว้ได้บางส่วนทางอ้อม แต่การตัดผลลัพธ์ที่มีข้อมูลออกอาจทำให้ความสัมพันธ์ระหว่างตัวทำนายกับผลลัพธ์ที่สร้างขึ้นใหม่อ่อนลง ตัวอย่างเช่น
ความสัมพันธ์จริง
Low X → outcome uncommon
High X → outcome common
หลัง imputation model ที่ไม่สนใจ Y ซึ่งมีข้อมูล
Low X ↘
outcomes become more mixed
High X ↗
ความสัมพันธ์ใน regression ที่ได้จึงอาจถูกลดทอน (attenuated) คือถูกดึงเข้าหาศูนย์ แนวทางคลาสสิกเรื่องข้อมูลที่หายไปให้เหตุผลนี้ตรง ๆ: เมื่อตัวทำนายหายไป ผลลัพธ์มีข้อมูลเกี่ยวกับค่าที่เป็นไปได้ของตัวทำนายนั้น และการตัดผลลัพธ์ออกจากการเติมค่าอาจทำให้ความสัมพันธ์ระหว่างตัวทำนายกับผลลัพธ์อ่อนลงอย่างผิด ๆ [2, 3]
การใส่ผลลัพธ์ทำให้เกิด data leakage หรือไม่: ความแตกต่างที่สำคัญที่สุด
นี่คือความแตกต่างที่สำคัญที่สุดในเรื่องนี้ Data leakage (การรั่วไหลของข้อมูล) คือการปล่อยให้ข้อมูลที่ไม่ควรมีอย่างชอบธรรม ณ จุดที่ทำการทำนาย เข้าไปกำหนดแบบจำลองหรือการตัดสินประสิทธิภาพของแบบจำลอง
สถานการณ์ A: explanatory, causal หรือ outcome regression
สมมติว่าเป้าหมายการวิจัยคือ
biomarker $X$ สัมพันธ์กับการเสียชีวิต $Y$ อย่างไร
การเสียชีวิตถูกสังเกตแล้วในผู้เข้าร่วมการศึกษา จุดประสงค์ของ multiple imputation คือสร้างค่า $X$ ที่หายไปขึ้นใหม่ ก่อนประมาณ
$$Y = f(X)$$
การใช้ $Y$ ที่สังเกตได้ใน imputation model จึงเหมาะสม เพราะ $Y$ เป็นข้อมูลที่ชอบธรรมเกี่ยวกับ $X$ ที่หายไป
นี่ไม่ใช่ความหมายปกติของ prediction leakage
ทำไมจึงรู้สึกเหมือน leakage
ใน machine learning มีกฎที่ใช้กันทั่วไปว่า
อย่าให้ผลลัพธ์เข้าไปในขั้น preprocessing ของตัวทำนายเด็ดขาด
กฎนี้ใช้เมื่อข้อมูลจากคำตอบถูกปล่อยให้มีอิทธิพลต่อการทำนายของผู้ป่วยที่ไม่ควรรู้ผลลัพธ์ ลองนึกถึงแบบจำลองทำนายการเสียชีวิตที่นำไปใช้จริงแล้ว
$$P(\text{Death}) = f(\text{Age}, \text{Biomarker})$$
และผู้ป่วยรายใหม่ที่มาถึงพร้อมข้อมูล
Age = 68
Biomarker = missing
Death = ???
ณ เวลาที่ทำนาย ยังไม่รู้ $Y = \text{Death}$ จึงไม่มีใครนำ
$$\text{Biomarker}_{\text{missing}} = f(\text{Death})$$
ไปใช้ได้ เพราะคำตอบที่แบบจำลองต้องทำนายยังไม่มี การทำเช่นนั้นเป็นไปไม่ได้ในการใช้งานทางคลินิกจริง
การพัฒนาแบบจำลองทำนายซับซ้อนกว่านั้น
ประโยคที่ว่า
"ในแบบจำลองทำนายทางคลินิก ห้ามใส่ผลลัพธ์ใน imputation model เด็ดขาด"
เข้มเกินไป ระหว่างการพัฒนาแบบจำลอง (model development) ผลลัพธ์ของผู้เข้าร่วมในชุดพัฒนาถูกสังเกตแล้ว การศึกษาแบบจำลองทำนายทางคลินิกที่ชอบธรรมจำนวนมากใส่ผลลัพธ์ไว้ใน imputation model สำหรับตัวทำนายที่หายไป และงานด้านระเบียบวิธีในการวิจัยการทำนายพบว่าการใช้ผลลัพธ์เติมค่าตัวทำนายที่หายไปเป็นวิธีที่ดีกว่า [2] โดยทั่วไปยังแนะนำ multiple imputation มากกว่าการพึ่ง complete-case analysis โดยอัตโนมัติเมื่อตัวทำนายหายไป [3]
ความแตกต่างที่แท้จริงอยู่ระหว่างสามขั้น
การพัฒนาแบบจำลอง (model development)
ข้อมูลผลลัพธ์ที่สังเกตได้อาจช่วยประมาณความสัมพันธ์และเติมค่าตัวทำนายได้อย่างชอบธรรม หากออกแบบกระบวนการทางสถิติอย่างเหมาะสม
การตรวจสอบความถูกต้องของแบบจำลอง (model validation)
Validation ตรวจว่าแบบจำลองทำนายได้ดีเพียงใดในผู้ป่วยที่ไม่ได้ใช้ผลลัพธ์ในการปรับแบบจำลอง ขั้น preprocessing ต้องไม่ปล่อยให้ข้อมูลจากผลลัพธ์ของชุด validation ปนเปื้อนกระบวนการทำนายที่ปรับไว้ ในแบบที่จะไม่มีให้ใช้ในตอนทำนายจริง
การนำไปใช้ทางคลินิก (clinical deployment)
ตัวทำนายที่หายไปต้องจัดการด้วยข้อมูลที่จะมีจริงสำหรับผู้ป่วยในอนาคต
การฝึก (training) การตรวจสอบ (validation) และการนำไปใช้ (deployment)
| สถานการณ์ | รู้ผลลัพธ์แล้วหรือไม่ | ผลลัพธ์ช่วยกลยุทธ์ MI ได้หรือไม่ | ประเด็นหลัก |
|---|---|---|---|
| ชุดข้อมูล explanatory regression | รู้ | ได้ โดยทั่วไป | รักษาความสัมพันธ์ $X$-$Y$ |
| การพัฒนาแบบจำลองทำนาย | รู้ | ได้ อาจเหมาะสม | ขั้นตอนการพัฒนาและ validation ที่ถูกต้อง |
| Internal validation หรือ test partition | ผู้วิจัยรู้ แต่ในเชิงแนวคิดถือว่าซ่อนไว้ | ระวัง: ต้องป้องกัน leakage | การประเมินต้องเลียนแบบข้อมูลที่ไม่เคยเห็น |
| External validation | รู้หลังติดตามผล | ระวัง: ขึ้นกับกลยุทธ์ validation | ต้องประเมินการใช้งานจริงตามที่ตั้งใจ |
| ผู้ป่วยรายใหม่ตอนนำไปใช้ | ไม่รู้ | ไม่ได้: ต้องไม่ขึ้นกับ $Y$ ในอนาคต | $Y$ ยังไม่เกิดขึ้นหรือยังไม่รู้ |
Multiple imputation กับ MCAR
ให้ $R_X$ เป็นตัวบ่งชี้ว่าสังเกตค่า $X$ ได้ ($R_X = 1$) หรือ $X$ หายไป ($R_X = 0$) ข้อมูลขาดหายแบบสุ่มสมบูรณ์ (missing completely at random, MCAR) เมื่อ $P(R_X = 0)$ ไม่ได้ขึ้นอย่างเป็นระบบกับข้อมูลที่สังเกตได้หรือสังเกตไม่ได้ พูดง่าย ๆ คือ การที่ $X$ หายไปแทบไม่เกี่ยวกับลักษณะของผู้ป่วยหรือกับค่าที่หายไปเอง
ภายใต้เงื่อนไข MCAR ที่เข้มงวด complete-case analysis ยังไม่ลำเอียงได้ในการวิเคราะห์หลายแบบ แต่เสียจำนวนผู้ป่วย จึงมักเสียความแม่นยำ (precision) ส่วน multiple imputation เก็บข้อมูลไว้ได้มากกว่า [3]
Multiple imputation กับ MAR
ข้อมูลขาดหายแบบสุ่ม (missing at random, MAR) เมื่อคำนึงถึงข้อมูลที่สังเกตได้แล้ว การขาดหายไม่ขึ้นกับค่าที่มองไม่เห็นเองอีกต่อไป เขียนเป็นแผนภาพได้ว่า
$$P(R_X \mid X_{\text{mis}}, X_{\text{obs}}, Y, Z) = P(R_X \mid X_{\text{obs}}, Y, Z)$$
ตัวอย่างเช่น biomarker $X$ อาจหายไปบ่อยกว่าในผู้ป่วยที่มีผลลัพธ์รุนแรงซึ่งสังเกตได้ ถ้าสังเกตผลลัพธ์ $Y$ นั้นได้ การใส่ $Y$ ใน imputation model จะทำให้แบบจำลองใช้ข้อมูลที่เกี่ยวกับกระบวนการขาดหายได้
การใส่ตัวแปรที่สังเกตได้ที่เกี่ยวข้องจึงทำให้ข้อสมมติ MAR น่าเชื่อขึ้น ภายใต้ข้อมูลที่ใช้
Multiple imputation กับ MNAR
ข้อมูลขาดหายแบบไม่สุ่ม (missing not at random, MNAR) เมื่อการขาดหายยังขึ้นกับค่าที่สังเกตไม่ได้เอง แม้คำนึงถึงข้อมูลที่สังเกตได้แล้ว ตัวอย่างเช่น ค่า biomarker ที่สูงมากอาจมีโอกาสไม่ถูกบันทึกเป็นพิเศษ เพราะมันสูงมากนั่นเอง เขียนเป็นแผนภาพได้ว่า
$$R_X \leftarrow X_{\text{missing}}$$
แม้คำนึงถึงตัวแปรที่สังเกตได้แล้ว การเพิ่ม $Y$ และตัวแปรอื่นที่มีข้อมูลอาจอธิบายการขาดหายได้บางส่วน และทำให้ imputation model ดีขึ้น
การตีความข้อมูลที่หายไปอย่างถูกต้อง
| กลไก | แนวคิดหลัก | บทบาทของผลลัพธ์ที่สังเกตได้ |
|---|---|---|
| MCAR | การขาดหายไม่เกี่ยวกับข้อมูลที่เกี่ยวข้อง | $Y$ อาจเพิ่มประสิทธิภาพ (efficiency) และช่วยการเติมค่า แต่ไม่ใช่สิ่งที่ทำให้ MCAR เป็นจริง |
| MAR | การขาดหายอธิบายได้เมื่อคำนึงถึงข้อมูลที่สังเกตได้ | การใส่ $Y$ ที่มีข้อมูลทำให้ imputation model เหมาะสมขึ้น และทำให้ MAR น่าเชื่อขึ้น |
| MNAR | การขาดหายยังขึ้นกับค่าที่มองไม่เห็น แม้คำนึงถึงข้อมูลที่สังเกตได้แล้ว | $Y$ อาจช่วยได้ แต่รับประกันไม่ได้ว่าจะขจัด MNAR |
Imputation model ควรเข้ากันได้กับ scientific model
สมมติว่า analysis model สุดท้ายคือ
$$Y = \beta_0 + \beta_1 X + \beta_2\,\text{Age} + \beta_3\,\text{Sex}$$
imputation model ที่สมเหตุสมผลสำหรับ $X$ ที่หายไปควรใช้ตัวแปรที่มีความสัมพันธ์ที่เกี่ยวข้องกับการวิเคราะห์นั้น
$$X_{\text{mis}} = f(Y, \text{Age}, \text{Sex}, \text{useful auxiliary variables})$$
ตัวแปรเสริม (auxiliary variables) คือตัวแปรนอก analysis model ที่ช่วยทำนายค่าที่หายไปหรือโอกาสที่ค่าจะหายไป ถ้า scientific model มีพจน์ไม่เชิงเส้น (non-linear terms) หรือปฏิกิริยาสัมพันธ์ (interaction) ที่สำคัญ กระบวนการเติมค่าก็อาจต้องรักษาพจน์เหล่านั้นไว้ด้วย
แนวคิดนี้มักเรียกว่า compatibility หรือ congeniality ระหว่าง imputation model กับ analysis model [5] แนวทางด้านระเบียบวิธีปัจจุบันแนะนำให้พิจารณาใส่ตัวแปรที่เกี่ยวข้องจาก analysis model ผลลัพธ์ ตัวบ่งชี้การรักษาเมื่อเหมาะสม ปฏิกิริยาสัมพันธ์ และตัวแปรเสริมที่มีประโยชน์ทั้งหมดในการสร้าง imputation model [1]
ทำไมใช้ multiple imputation แทนการเติมด้วยค่าเฉลี่ยที่ทำนาย (fitted mean)
ทางลัดที่น่าลองคือให้ค่าที่เติมทุกค่าเท่ากับค่าเฉลี่ยที่ทำนาย (fitted mean) ของมัน นั่นไม่ใช่จุดประสงค์ของ multiple imputation สมมติว่า
$$E(X \mid Y, Z) = 8$$
Multiple imputation ไม่ได้กำหนด $X = 8$ ให้ผู้ป่วยแบบนี้ทุกราย แต่สะท้อนความไม่แน่นอนโดยสร้างค่าที่เป็นไปได้ในชุดข้อมูลที่เติมครบหลายชุด เช่น
$$7.1,\ 8.5,\ 9.0,\ 7.8,\ \dots$$
วิธีนี้รักษาความไม่แน่นอนที่เกิดจากข้อมูลที่หายไป จากนั้นรวมผลการวิเคราะห์แต่ละชุดอย่างเหมาะสม ความแปรผันระหว่างชุดข้อมูลที่เติมครบจึงถูกนำไปรวมไว้ในช่วงเชื่อมั่นสุดท้าย
สามสิ่งที่การใส่ผลลัพธ์ทำไม่ได้
-
การใส่ผลลัพธ์รับประกันว่าข้อมูลขาดหายแบบสุ่มสมบูรณ์ (MCAR)
ข้อมูลจะเป็น MCAR, MAR หรือ MNAR เป็นคุณสมบัติของกระบวนการที่ทำให้ข้อมูลหาย การเพิ่มตัวแปรใน imputation model ไม่สามารถรับประกัน MCAR ย้อนหลังได้
วิธีแก้: ถามว่าอะไรเป็นตัวขับให้ข้อมูลหาย และถือว่า MCAR, MAR หรือ MNAR เป็นข้อสมมติเกี่ยวกับกระบวนการนั้น ไม่ใช่สิ่งที่ imputation model สร้างขึ้น
-
เมื่อมีผลลัพธ์ใน imputation model แล้ว ไม่ต้องเติมค่าหลายชุดอีกต่อไป
การใส่ $Y$ เพิ่มข้อมูลให้ imputation model แต่ไม่ได้ขจัดความไม่แน่นอนเกี่ยวกับ $X_{\text{missing}}$
วิธีแก้: ยังต้องสร้างชุดข้อมูลที่เติมครบที่เป็นไปได้หลายชุด วิเคราะห์แต่ละชุด แล้วรวมผล
-
การใส่ผลลัพธ์ป้องกันการระบุแบบจำลองผิด (model misspecification)
ไม่มีวิธีทางสถิติใดรับประกันเรื่องนี้ได้ imputation model ยังระบุผิดได้จากรูปแบบฟังก์ชัน (functional form) ที่ผิด การละปฏิกิริยาสัมพันธ์ การจัดการความสัมพันธ์ไม่เชิงเส้นไม่ดี ข้อสมมติเรื่องการแจกแจงที่ผิด หรือข้อสมมติเรื่องการขาดหายที่ไม่เหมาะสม
วิธีแก้: ทำให้ imputation model เข้ากันได้กับ analysis model รวมทั้งพจน์ไม่เชิงเส้นและปฏิกิริยาสัมพันธ์ และระบุข้อสมมติเรื่องการขาดหายที่แบบจำลองพึ่งพา
ใช้ตรรกะนี้: "ปรับปรุงการทำนาย" หมายถึงอะไร
สรุปปัญหาในประโยคเดียว: ตัวทำนายพื้นฐานหายไปบางส่วนและจะใช้ใน outcome regression ทำไมผลลัพธ์ที่สังเกตได้จึงมักควรอยู่ใน imputation model วลีสองวลีถือคำตอบไว้ คือ baseline predictor missing (ตัวทำนายพื้นฐานหายไป) และ outcome regression
วัตถุประสงค์ทางวิทยาศาสตร์คือประมาณความสัมพันธ์
$$X \leftrightarrow Y$$
เนื่องจาก $Y$ ที่สังเกตได้มีข้อมูลเกี่ยวกับ $X$ ที่หายไป การตัด $Y$ ออกจึงอาจทำให้ความสัมพันธ์นั้นอ่อนลง ผลลัพธ์จึงถูกใส่ไว้เพื่อรักษาความสัมพันธ์ระหว่างตัวทำนายกับผลลัพธ์ และเพื่อปรับปรุงการทำนาย
ในที่นี้ "ปรับปรุงการทำนาย" หมายถึงการทำนายค่าตัวทำนายที่หายไปให้ดีขึ้นภายในกระบวนการเติมค่าเป็นหลัก ไม่ใช่การโกงโดยใช้ $Y$ ทำนายตัวมันเอง
กฎเรื่อง data leakage ที่ควรจำ
อย่าจำว่า "ผลลัพธ์ใน imputation = leakage" แต่ให้ถามคำถามเดียวทุกครั้งที่ผลลัพธ์เข้ามาใกล้ตัวทำนายที่หายไป:
คำถามเดียวกันในสามสถานการณ์
สำหรับการอนุมานเชิงอธิบาย (explanatory inference)
$$Y_{\text{observed}} \rightarrow X_{\text{missing}} \rightarrow \text{preserve the } X\text{-}Y \text{ association}$$
เหมาะสม สำหรับผู้ป่วยในอนาคต
$$Y_{\text{future}} \rightarrow X_{\text{missing}}$$
เป็นไปไม่ได้ เพราะยังไม่รู้ $Y_{\text{future}}$ สำหรับ validation ของแบบจำลองทำนาย
$$Y_{\text{validation}} \rightarrow \text{preprocessing that contaminates prediction evaluation}$$
อาจทำให้เกิด leakage หรือค่าประมาณประสิทธิภาพที่ดีเกินจริง (optimistic)
ประเด็นจึงอยู่ที่การมีข้อมูลให้ใช้ และการแยกข้อมูลออกจากกัน (availability and separation of information) ไม่ใช่แค่ว่าคำว่า "ผลลัพธ์" ปรากฏใน imputation model หรือไม่
แผนที่ความจำสุดท้าย
Explanatory หรือ outcome regression
$X$ หายไป + $Y$ สังเกตได้ $\rightarrow$ ใส่ $Y$ ใน MI model
ทำไม? เพื่อรักษาความสัมพันธ์ $X$-$Y$
การพัฒนาแบบจำลองทำนาย
ผลลัพธ์อาจเข้าไปใน MI ขั้นพัฒนาได้อย่างชอบธรรม หากจัดการการพัฒนาและ validation อย่างถูกต้อง
การทำนายผู้ป่วยรายใหม่
ไม่มี $Y$ ในอนาคต $\Rightarrow$ ใช้ $Y$ เติมค่า $X$ ไม่ได้
กลไกการขาดหาย
การใส่ $Y$ $\neq$ การรับประกัน MCAR
การใส่ $Y$ $\neq$ การเปลี่ยน MNAR เป็น MAR โดยอัตโนมัติ
อภิธานศัพท์
- analysis model
- แบบจำลองที่ตอบคำถามวิจัย เช่น การเสียชีวิตบน biomarker อายุ และความรุนแรงของโรค เรียกอีกอย่างว่า scientific model หรือ substantive model
- imputation model
- แบบจำลองช่วยงานที่ใช้เพียงเพื่อสร้างค่าที่เป็นไปได้ของตัวแปรในที่ที่ค่าหายไป
- multiple imputation (MI)
- การทดแทนค่าที่หายไปหลายครั้ง คือการเติมค่าที่หายไปแต่ละค่าหลายครั้งด้วยค่าที่เป็นไปได้ซึ่งสุ่มจาก imputation model วิเคราะห์ชุดข้อมูลที่เติมครบแต่ละชุด แล้วรวมผล
- auxiliary variable
- ตัวแปรเสริม คือตัวแปรนอก analysis model ที่ช่วยทำนายค่าที่หายไปหรือโอกาสที่ค่าจะหายไป
- compatibility (congeniality)
- ความสอดคล้องระหว่าง imputation model กับ analysis model เพื่อให้การเติมค่ารักษาความสัมพันธ์ พจน์ไม่เชิงเส้น และปฏิกิริยาสัมพันธ์ที่การวิเคราะห์พึ่งพาไว้
- complete-case analysis
- การวิเคราะห์ที่จำกัดเฉพาะผู้ป่วยที่ไม่มีค่าที่หายไปในตัวแปรของแบบจำลอง
- attenuation
- การลดทอน คือการที่ความสัมพันธ์ที่ประมาณได้ถูกดึงเข้าหาศูนย์
- data leakage
- การรั่วไหลของข้อมูล คือการใช้ข้อมูลระหว่างการปรับแบบจำลอง ขั้น preprocessing หรือการประเมินประสิทธิภาพ ที่ไม่ควรมีอย่างชอบธรรม ณ จุดที่ทำการทำนาย
- internal validation
- การตรวจสอบความถูกต้องภายใน คือการประเมินว่าแบบจำลองทำนายผู้ป่วยรายใหม่จากแหล่งเดียวกันได้ดีเพียงใด เช่น ในส่วนทดสอบที่กันไว้ซึ่งถือว่ายังไม่เห็นผลลัพธ์
- external validation
- การตรวจสอบความถูกต้องภายนอก คือการทดสอบแบบจำลองที่สร้างเสร็จแล้วในตัวอย่างแยกต่างหาก เช่น โรงพยาบาลอื่นหรือช่วงเวลาหลังจากนั้น
- deployment
- การนำไปใช้ คือการใช้แบบจำลองที่สร้างเสร็จแล้วทำนายผู้ป่วยจริง ซึ่งยังไม่ทราบผลลัพธ์
- MCAR
- ข้อมูลขาดหายแบบสุ่มสมบูรณ์ (missing completely at random): การขาดหายไม่เกี่ยวกับข้อมูลใดทั้งที่สังเกตได้และสังเกตไม่ได้
- MAR
- ข้อมูลขาดหายแบบสุ่ม (missing at random): เมื่อคำนึงถึงข้อมูลที่สังเกตได้แล้ว การขาดหายไม่ขึ้นกับค่าที่มองไม่เห็นเองอีกต่อไป
- MNAR
- ข้อมูลขาดหายแบบไม่สุ่ม (missing not at random): การขาดหายยังขึ้นกับค่าที่มองไม่เห็นเอง แม้คำนึงถึงข้อมูลที่สังเกตได้แล้ว
เอกสารอ้างอิง
- White IR, Royston P, Wood AM. Multiple imputation using chained equations: issues and guidance for practice. Stat Med. 2011;30(4):377-399. https://doi.org/10.1002/sim.4067
- Moons KGM, Donders RART, Stijnen T, Harrell FE Jr. Using the outcome for imputation of missing predictor values was preferred. J Clin Epidemiol. 2006;59(10):1092-1101. https://doi.org/10.1016/j.jclinepi.2006.01.009
- Sterne JAC, White IR, Carlin JB, Spratt M, Royston P, Kenward MG, Wood AM, Carpenter JR. Multiple imputation for missing data in epidemiological and clinical research: potential and pitfalls. BMJ. 2009;338:b2393. https://doi.org/10.1136/bmj.b2393
- Hoogland J, van Barreveld M, Debray TPA, et al. Handling missing predictor values when validating and applying a prediction model to new patients. Stat Med. 2020;39(25):3591-3607. https://doi.org/10.1002/sim.8682
- Meng XL. Multiple-imputation inferences with uncongenial sources of input. Stat Sci. 1994;9(4):538-558. https://doi.org/10.1214/ss/1177010269
ประเด็นสำคัญ
- เมื่อตัวทำนายหายไปใน outcome regression ให้ใส่ผลลัพธ์ที่สังเกตได้ใน imputation model เพราะผลลัพธ์มีข้อมูลเกี่ยวกับตัวทำนายที่หายไป และรักษาความสัมพันธ์ระหว่างตัวทำนายกับผลลัพธ์ไว้
- Analysis model อธิบายผลลัพธ์ ส่วน imputation model เพียงสร้างตัวทำนายที่หายไปขึ้นใหม่ ห้ามสับสนสองหน้าที่นี้
- การไม่ใส่ผลลัพธ์ไม่ได้สมมติความเป็นอิสระตามตัวอักษร แต่ทำให้ผลลัพธ์ปนกันระหว่างค่าตัวทำนายที่ต่ำและสูง และอาจลดทอนความสัมพันธ์
- Leakage เป็นเรื่องว่ามีข้อมูลให้ใช้หรือไม่: ผลลัพธ์ที่สังเกตได้ใช้ได้อย่างชอบธรรมในการวิเคราะห์เชิงอธิบาย และอาจเข้าไปในการเติมค่าขั้นพัฒนาได้ ผลลัพธ์ของชุด validation ต้องไม่ปนเปื้อนการประเมิน และผลลัพธ์ของผู้ป่วยรายใหม่ยังไม่เกิดขึ้น
- การใส่ผลลัพธ์ไม่ได้รับประกัน MCAR ไม่ได้เปลี่ยน MNAR เป็น MAR ไม่ได้ทำให้ไม่ต้องเติมค่าหลายชุด และไม่ได้ป้องกันการระบุแบบจำลองผิด
อ่านต่อในวิกิ (บทความภาษาอังกฤษ): [[missing-data-mechanisms]] [[multiple-imputation-clinical-research]]