Funnel Plots ใน Meta-Analysis

พอดีได้มีโอกาสอ่านรีวิวของ Funnel Plots ในวารสาร BMJ ฉบับล่าสุด เขียนโดย Jonathan A C Sterne ผมคิดว่ามีประโยชน์ก็เลยมาเขียนเล่าสู่กันฟังครับ

Funnel Plot คืออะไร

Funnel Plot ชื่อนี้ได้มาจากหน้าตาของกราฟที่มีลักษณะเป็นคล้ายกรวยครับ เกริ่นก่อนก็คือว่าโดยปกติเวลาเราทำ Meta-analysis เรามักจะกังวลกันว่า Study ที่นำมารวมกันนั้นมันมี Bias ไปทางไหนหรือเปล่า หรือว่าเราเอาแต่ Study ที่เอนเองไปทางใดทางหนึ่งมา Meta-analyze รวมกัน จึงเกิดกราฟที่พล็อตขึ้นมา ระหว่าง "ขนาดของ Study" และ "ผลลัพธ์ของ Study" ครับ

• ขนาดของ Study นั้นเราจะดูจากค่าที่เรียกว่า Standard Error ของผลลัพธ์ที่ได้ สำหรับใครที่ยังไม่รู้ เจ้า Standard Error นี่เป็นตัวบอกความคลาดเคลื่อนของผลลัพธ์ของ Study ที่ได้จาก Sample (กลุ่มที่เลือกมาศึกษา) เมื่อเทียบกลับไปเป็น Population (ประชากรทั้งหมดทั้งปวง) เช่นผมศึกษาค่าเฉลี่ยระดับน้ำตาลของคนไทยจำนวน 20 คน ผมย่อมจะได้ค่าจาก 20 คนนี้เท่านั้น ซึ่งอาจตรงหรือไม่ตรงกับค่าเฉลี่ยของคนที่เป็นเบาหวานทั้งหมด (Population) ก็ได้ ยิ่งถ้าผมศึกษาคนจำนวนมากขึ้นเท่าไหร่ ค่า Standard Error นี้ก็ยิ่งมีค่าน้อยลงเป็นส่วนกลับกันครับ โดยมากเราจะมีสูตรว่า SE = s / sqrt(n) โดยที่ s = SD ครับ
• ผลลัพธ์ของ Study ที่ได้ ที่เรียกกันว่า Effect Estimates เช่นถ้าเป็น Outcome ที่อยู่ในลักษณะของ Dichotomous (หาย/ไม่หาย ตาย/ไม่ตาย) ก็อาจอยู่ในรูปของ Odds Ratio/Relative Risk

การพล็อตกราฟดังกล่าวนั้นจะเอาขนาดของ Study ไว้ในแกนตั้ง โดยเอา Study ที่ Standard Error น้อยๆ (หรือก็คือ Study ใหญ่ๆ) ไว้ด้านบน และ Study เล็กๆ ไล่ลงมาด้านล่าง ส่วนในแกนนอนนั้น จะเอา Effect Estimates เรียงจากด้านน้อยไปหามาก (หรือก็คือเรียง Odds Ratio จากน้อย [Favor intervention 1] ไปมาก [Favor intervention 2])

ถ้าเราได้ Study ทั้งหมดทั้งปวงของเรื่องนั้นมาจริงๆ กราฟที่ได้นั้นก็ควรจะมีหน้าตาคล้ายกรวยคว่ำ นั่นก็คือ Study ใหญ่ๆ ควรจะอยู่ตรงกลาง และ Study เล็กๆ ลงมานั้นก็ควรจะกระจัดกระจายอยู่ทั้งสองด้านของ Study ใหญ่ๆ เนื่องจากว่า Study เล็กๆ นั้นมีโอกาส (chance) ที่จะสุ่มตัวอย่างเฉพาะบางกลุ่มมาทำการศึกษา (sampling variation)

เพื่อให้เห็นภาพชัดขึ้น จึงได้มีการตีขอบเขตของกรวยด้วยครับ โดยขอบเขตนี้ตรงกลางของกรวยจะอยู่ที่ผลลัพธ์ที่ประมาณได้จาก Fixed Effect และไล่ด้านข้างเป็น 1.96 ของ Standard Error ครับ

เรามักจะคาดกันง่ายๆ ว่าถ้าเกิดกราฟพล็อตที่ได้ออกมาไม่ได้เป็นรูปกรวย มีการเบ้หรือกองกันด้านใดด้านหนึ่งของกรวยดังกล่าว (หรือแม้แต่ออกไปนอกกรวยในบางกรณี) นั้นน่าจะเกิดจากการที่มี Publication Bias กล่าวคือ Study ที่มี Effect ไปอีกทางหนึ่งของกรวย นั้นอาจจะไม่ได้ถูกตีพิมพ์ (โดยเฉพาะ Study ที่เล็กๆ) ทำให้เราไม่นำมารวมใน Meta-analysis นั่นเอง

ยกตัวอย่างเช่นจากใน Paper นี้ได้ยกตัวอย่างของ Meta-analysis จากการให้ IV Magnesium หลังการเกิด MI ครับ

เราจะพบว่า กราฟของ Funnel Plot ที่เกิดขึ้นนั้นจุดที่พล็อตนั้นกองกันไปอยู่ด้านที่ OR เป็นลบ (หมายถึงว่า IV Mg ช่วยลด Mortality) ในขณะที่ Study ที่ใหญ่ที่สุดนั้นกลายเป็นอยู่ตรงกลาง (ไม่ได้ช่วยลด Mortality) แสดงว่าจริงๆ แล้ว Study เล็กๆ ที่มัน negative นั้นอาจไม่ได้ถูกตีพิมพ์ก็ได้ครับ

ใน Paper นี้ได้เสนอว่า นอกจากที่เราคิดว่า Funnel Plot จะแสดงถึง Publication Bias แล้ว จริงๆ เราก็ควรจะเตือนตัวเองเสมอว่า มันอาจจะมีกรณีอื่นๆ ที่ทำให้เกิดการเบ้ของกราฟนี้อีกก็เป็นได้ ซึ่งสาเหตุของการเกิดอาการเบ้ใน Funnel Plot อาจเกิดจาก

1. Reporting Bias
1. Publication Bias ซึ่งอาจเกิดจากทั้ง Delay Publication Bias (Paper ไม่ได้ถูกตีพิมพ์) หรือ Location Bias (ค้นไม่เจอซึ่งอาจเกิดจากปัญหาเลือกภาษาเป็นต้น)
2. Selective Outcome Reporting อาจค้นเจอ แต่ใน paper ที่ค้นได้เลือกที่จะไม่บอกผลลัพธ์บางอย่าง
3. Selective Analysis Reporting ใน paper อาจจะบอกเฉพาะผลลัพธ์ที่ bias ไปตามวิธีวิเคราะห์ที่ใช้
2. คุณภาพของงานศึกษาเล็กๆ อาจดีไม่เท่างานศึกษาใหญ่ๆ ทำให้ถูกจูงไปทางใดทางหนึ่ง ซึ่งอาจเกิดได้จาก Design งานศึกษาไม่ดี, ทำการวิเคราะห์ไม่ดี, หรือแม้แต่นั่งเทียนเขียนงานวิจัยหลอกๆ
3. อาจเกิดความแตกต่างระหว่าง Study จริงๆ (Heterogeneity) ซึ่งถ้าเราสามารถนำมาแยกตามปัจจัยที่ทำให้เกิด Heterogeneity (หรือทำ Subgroup Analysis) ก็อาจแยก Funnel Plot เป็นกลุ่มๆ ที่อาจจะไม่เกิดการเบ้ได้
4. Artefact ที่เกิดจาก Sampling Variation
5. สุดท้ายคืออาจเกิดจาก Chance เองก็ได้ (โชคไม่ดีที่กราฟเบ้)

โดยปกติแล้วนอกจากการดูกราฟด้วยตาเปล่าแล้ว ยังมีการใช้วิธีคำนวณเพื่อดูว่ากราฟเบ้หรือไม่ อย่างไรก็ดี วิธีคำนวณเหล่านี้นั้นมักไม่สามารถ Detect ความเบ้ได้มากเท่าไหร่ครับ

ยังไงก็ลองตามกันไปอ่าน Paper เต็มๆ ได้ที่ BMJ นะครับ

Reference

1.

Sterne JAC, Sutton AJ, Ioannidis JPA, Terrin N, Jones DR, Lau J, et al. Recommendations for examining and interpreting funnel plot asymmetry in meta-analyses of randomised controlled trials. BMJ. 2011 Jul;343(jul22 1):d4002-d4002.