大數據悖論

若資料有缺陷，則樣本數愈大，偏差愈大（「垃圾進，垃圾出」）

地圖不是領土（模型不是現實的東西）。-Alfred Korzybski

「所有的模型都是錯誤的，有一些是有用的」（George Box）

大數據的迷思

https://medium.com/math-and-statistics/%E5%A4%A7%E6%95%B8%E6%93%9A%E7%9A%84%E8%BF%B7%E6%80%9D-ebbba8df5517

1. 大數法則：只要 n（樣本數）夠大，我們就能正確估計母數（例如：平均值）。

2. 中央極限定理：無論母族群的分布是什麼，無數次隨機抽樣之獨立隨機數平均值的分布都是常態分布（只要樣本數大於 30），而平均值估計的錯誤跟 1/√n 成正比（跟母族群的數目 N 無關）。

以上定律成立的條件是機率抽樣，如果沒有這些條件，那麼估計的錯誤跟 √N 成正比，而且適用大母族群法則：n 愈接近 N，偏差愈大（雖然抽樣變異數愈小）。

偏差 = 資料缺陷率（資料的品質） x (1-f)/f x 資料的變異性（問題的困難度），f = n/N，f = 1 時偏差 = 0，f = 0 時偏差 = 無限大

資料缺陷率（Data defect index，ddi）：不能由樣本推估，只能由歷史資料知道，例如：2016 年美國總統大選民調中，投川普的 ddi 是 -0.45%，投希拉蕊的 ddi 是 -0.021%。

https://github.com/kuriwaki/ddi

圖一：若 ddi = 0.05。f = 0.2 時，有效樣本數 = 100，亦即簡單隨機取樣只要 n = 100，那麼錯誤率就跟 n = N x 0.2（例如：隨機取樣 100 人跟非隨機取樣 478 萬台灣人的錯誤率一樣）；f = 0.5 時，有效樣本數 = 400；f = 0.7 時，（簡單隨機取樣之）有效樣本數 = 1000。

假設你想要知道一碗湯有多鹹，只要湯有搖勻，那麼無論碗有多大，你只要嚐一小口就可以了。無論母族群有多大（N），只要你是機率取樣，那麼 n 只要夠大就好了（1000 人的民調數據就能推估所有的美國人）。可惜大部分的研究都是具有選擇性偏差的非機率取樣（方便樣本），只有複雜/分層調查研究、民調是機率取樣，但是即使後者也會受到不回應偏差的影響。

2016 年的美國總統大選，幾乎所有的民調都預估希拉蕊會勝選，結果卻是川普勝選了。其中一個因素是拒答率太高了，尤其是川普的支持者。

偏差-變異交換：模型愈複雜，偏差愈小、變異數愈大（有效樣本數減少）、解釋（因果）性愈高；模型愈簡單，偏差愈大、變異數愈小（有效樣本數增加）、預測性愈高。

The Big Data Paradox in Clinical Practice 22

https://www.tandfonline.com/doi/full/10.1080/07357907.2022.2084621

Generalization Bias in Science 22

https://onlinelibrary.wiley.com/doi/full/10.1111/cogs.13188

Observations on Big Data, Precision Health, and Machine Learning 22

https://discourse.datamethods.org/t/observations-on-big-data-precision-health-and-machine-learning/6061

Unrepresentative big surveys significantly overestimated US vaccine uptake 21

https://www.nature.com/articles/s41586-021-04198-4

https://dataverse.harvard.edu/dataset.xhtml?persistentId=doi:10.7910/DVN/GKBUUK

https://github.com/vcbradley/ddc-vaccine-US

Towards Principled Unskewing: Viewing 2020 Election Polls Through a Corrective Lens From 2016 20

https://hdsr.mitpress.mit.edu/pub/cnxbwum6/release/5

Addressing selection bias and measurement error in COVID-19 case count data using auxiliary information 20

https://arxiv.org/abs/2005.10425

What surveys really say 21

https://www.nature.com/articles/d41586-021-03604-1

What is your question in a RCT? Causation or prediction?

https://www.slideshare.net/StephenSenn1/what-is-your-question-250659957

The paradox of big data 20

https://link.springer.com/article/10.1007/s42452-020-2862-5

Building Deep Statistical Thinking for Data Science 20

https://youtu.be/9WDtuCVZUp8

Meng’s “Big Data Paradox” and an extreme example

https://civilstat.com/2018/10/mengs-big-data-paradox-and-an-extreme-example/

Statistical paradises and paradoxes in big data 18

https://statistics.fas.harvard.edu/files/statistics-2/files/statistical_paradises_and_paradoxes.pdf

https://www.nbi.dk/~koskinen/Teaching/AdvancedMethodsInAppliedStatistics2019/StudentPresentations/WriteUp_TheaQuistgaard.pdf

Statistical paradises and paradoxes in Big Data 18

https://youtu.be/8YLdIDOMEZs

https://youtu.be/yz3jOIHLYhU

https://youtu.be/54T-guLVGdQ

https://www.nbi.dk/~koskinen/Teaching/AdvancedMethodsInAppliedStatistics2019/StudentPresentations/Presentation_TheaQuistgaard.pdf

More Data Means More Problems (a Paradox)

https://youtu.be/evRp7IYGyeg

Real-World Evidence for Regulatory Decision-Making: Guidance From Around the World 22

https://www.sciencedirect.com/science/article/pii/S0149291822000170

The challenges and opportunities in using real-world data to drive advances in healthcare in East Asia: expert panel recommendations 22

https://www.tandfonline.com/doi/full/10.1080/03007995.2022.2096354

Reproducibility of real-world evidence studies using clinical practice data to inform regulatory and coverage decisions 22

https://www.nature.com/articles/s41467-022-32310-3

Real-World Evidence - Where Are We Now?

https://www.fda.gov/media/158581/download

https://www.fda.gov/science-research/science-and-research-special-topics/real-world-evidence

Current Status, Challenges, and Future Perspectives of Real-World Data and Real-World Evidence in Japan 21

https://link.springer.com/article/10.1007/s40801-021-00266-3

The Real-World Data Challenges Radar: A Review on the Challenges and Risks regarding the Use of Real-World Data 21

https://www.karger.com/Article/FullText/516178

留言

張貼留言

這個網誌中的熱門文章

可轉移性、普遍性、代表性和外部有效性

 ### 可轉移性（Transportability） - **定義：** 可轉移性指的是將一個研究中得到的因果效應估計從一個人群（研究人群）應用到另一個不同的人群（目標人群）的能力。它涉及特定的統計方法來調整人群之間的差異，並特別關注為了合理和實施此類應用所需的假設和方法。 - **用途：** 當研究人員想知道在一個設置或人群中觀察到的干預效果是否在不同的設置或人群中保持時使用。 ### 普遍性（Generalizability） - **定義：** 普遍性是指研究發現可以應用到更廣泛人群、設置、時間或未直接研究的測量指標的程度。它是一個比可轉移性更廣泛的概念，更多地關注研究結果在特定研究條件之外的適用性。 - **用途：** 在評估研究結果是否適用於明確研究之外的更廣泛背景時考慮，而不必然採用特定的統計方法來進行此類應用。 ### 代表性（Representativeness） - **定義：** 代表性指的是研究樣本如何緊密地反映其所來自的總體或目標人群的特徵。它涉及抽樣過程和樣本在多大程度上體現了更廣泛人群的特徵。 - **用途：** 這一概念在研究設計階段至關重要，影響研究結果能夠被泛化到總體的程度。 ### 外部有效性（External Validity） - **定義：** 外部有效性是指研究結果可以被泛化或應用到原始研究設置、人群、治療變量和結果之外的背景的程度。它包括普遍性和可轉移性的概念，但範圍更廣，包括隨時間和在不同條件下應用研究發現的適用性。 - **用途：** 它涉及到研究發現超出特定研究範圍的整體適用性和相關性，考慮諸如時間、設置和人群等因素。 **關鍵差異和關係：** - **可轉移性與普遍性：** 可轉移性是普遍性的一個子集，特別關注使用統計調整將結果應用到不同人群的能力。普遍性是一個更廣泛的概念，不必然涉及此類調整。 - **代表性與外部有效性：** 代表性樣本可以增強研究的外部有效性，但外部有效性也取決於其他因素，如研究設計和執行。 - **外部有效性包含：** 普遍性和可轉移性，以及其他考慮因素，以便將研究發現應用於原始背景之外。 總之，雖然所有這些概念都涉及到將研究發現應用於原始研究條件之外，但它們每一個都關注此應用的不同方面，從用於調整不同人群之間差異的統計方法（可轉移性）到研究發現的整體適用性（外部有效性）。 - ...
閱讀完整內容

頻率學派 vs 貝氏學派

機率是重複事件長期發生的頻率 vs 主觀上某事件發生的不確定性（比較像是一般人的觀念）。 傳統 vs 新 簡單vs 複雜 人工計算可行 vs 不可行 母數（參數）是未知的常數（沒有機率可言） vs 未知的隨機變數（有機率） 樣本是隨機的變數 vs 已經發生的固定數 客觀（只依據本次試驗的結果）vs 主觀（依據先驗信念及本次試驗的結果而更新成後驗信念）。 H: 假設，D: 資料。H0: 虛無假設（參數或母數 θ 等於 0），H1: 對立假設，p(H1)=1-p(H0)。 一個棒球比賽的觀眾關心的是「機率」p(D|H)，亦即預測「這個左打者擊中球的機率是多少？」；當他看見一名打者擊中了球以後，計算這一名打者是一個左打者的機率是多少則是屬於「逆機率」p(H|D)。 醫生關心的是「逆機率」p(H|D)：當看見某症候、檢驗、檢查 D時，用貝氏定理計算病人有某疾病 H 的機率。 估計 p 值（H0 為真時，看見 D 或比它更極端的機率 p(D|H0)) vs 估計後驗機率 p(H1|D)：p(D|H) ≠ p(H|D)。 95% 信賴區間包含母數的機率是 0% 或 100% vs 95% 置信區間包含母數的機率是 95%。 頻率學派：當 p < α（例如 0.05）時拒絕 H0，當 p ≥ α 時無法拒絕 H0。但是我們無法知道 p(H0|D)、p(H1|D)，而且無論 p 值多大都無法接受 H0。 貝氏定理： 1. H1 的後驗勝算 p(H1|D)/(p(H0|D))= 先驗勝算 x 似然比或貝氏因子 p(D|H1)/p(D|H0)，勝算=機率/(1-機率），機率=勝算/(勝算+1)。 2. 後驗機率 p(H|D）= 先驗機率 p(H) x p(D/H)/p(D) p(D): p(D/H0) + p(D/H1) RCT 時，頻率學派的 α 是 H0 為真（無效）時，你卻斷言為假（有效）的機率：p(斷言有效|無效)。傳統上它被稱為「第一型錯誤率」，其實它應該是「第一型斷言率」，而不是治療無效你卻以為有效的錯誤機率：貝氏學派的 1 - p(有效|資料，先驗機率）。後者才是我們所關心的。 ESP and the significance of significance 22 https://understandinguncertainty.org/node/1286 爲什麼我...
閱讀完整內容

貝氏分析計算器

貝氏分析計算器 ：20250130 by 顧進裕, Claude-3.5-Sonnet 平均值與標準差計算器 貝氏定理：後驗分布 p(H|D) = 先驗分布 p(H) × 似然分布 p(D|H) / 邊際分布 p(D) 似然分布：觀察到的平均值與標準誤 se 後驗分布：95% 可信區間（credible interval） 1. 等尾可信區間：適用於對稱性分布，可以跟 95% CI 比較 2. 最高後驗密度：適用於偏斜或多峰分布 3. 分位數可信區間：適用於單峰的對稱性分布 後驗預測分布：95% 預測區間，p 值靠近 0.5 時表示模型是可靠的 假設： • log(OR), log(RR), log(HR) 都是常態分布 • 先驗 log(OR) = log(RR) = log(HR) = 0（即先驗 OR = RR = HR = 1） • log(先驗反應比率)=log(mean 1/mean2) • 大部分的 OR, RR, HR, log(先驗反應比率) 介於 0.5～2 之內  • 先驗標準平均差 SMD =平均差/標準差 sd= 0 • 大部分的 SMD 介於 -1～1（亦即二組相差一個標準差）之內 多重先驗敏感性分析： • 強先驗: gaussian(0, 0.2)，95% confidence interval（信賴區間） -0.4, 0.4, 亦即 OR, RR, HR, 先驗反應比率 0.7, 1.5 • 內定先驗: gaussian(0, 0.42)，95% CI（信賴區間） -0.84, 0.84, 亦即 OR, RR, HR, 先驗反應比率 0.4, 2.7 • 弱先驗: gaussian(0, 1)，95% CI（信賴區間） -4, 4, 亦即 OR, RR, HR, 先驗反應比率 0.14, 7.4
閱讀完整內容