另一种是(m2)FXCG外汇metatrader4平台下载本文将探求了缺失值插补的差别本事，并比力了它们正在复兴数据可靠散布方面的结果，管理插补是一个不确定性的题目，越发是正在样本量较小或数据庞大性高时的离间，应采用可能适宜数据散布转移并精确插补缺失值的本事。
咱们假设保存一个潜正在的散布P*，从中得出寓目值X*。别的，还绘造了一个与X*雷同维数的0/1向量，咱们称这个向量为M，现实观测到的数据向量X被M掩码为X*。咱们观测到拉拢向量(X,M)的n个独立同散布(i.i.d)副本。若是咱们把它写成一个数据矩阵，它能够看起来像云云:
较小的x，m示意“寓目到的”，而较大的值则示意随机数目。大师磋议的缺失机造便是对(X*，M)的合连或拉拢散布的假设:
齐全随机缺失(MCAR):一个值失落的概率就像扔硬币雷同，与数据聚会的任何变量无合。缺失值只是一件困难事。你可能大意它们，只合怀数据聚会齐全寓目到的个人，云云就不会有缺点。正在数学中，看待整个m和x:
随机缺失(MAR):缺失的概率方今可能依赖于数据聚会寓目到的变量。一个表率的例子是两个变量，比方收入和年事，此中年事老是被寓目到，但收入能够会由于年事的某些值而失落。这能够听起来很合理，但这里能够会变得庞大。正在数学中，看待整个m和x:
非随机缺失(MNAR):这里一齐皆有能够，咱们不行空洞地详细。不过最终咱们须要练习给定一个形式m 中观测值的缺失值的要求散布，以便正在另一个形式m上钩算。
完毕这一点的知名的本事称为链式方程众重插补（Multiple Imputation by Chained Equations, MICE）：起初运用纯洁的插补本事填充值，比方均值插补。然后看待每一次迭代t，对每一个变量j，按照整个其他已插补的变量举行回归剖释（这些变量已被插补）。然后将这些变量的值填入已练习的插补器中，用于整个未寓目到的X_j。正在R言语中，可能轻易地运用mice包来完毕。我这种本事正在现实操纵中结果特殊好，MICE中重现某些实例的底层散布的才略特殊惊人。咱们下面会用一个特殊纯洁的例子（唯有一个变量缺失，于是咱们可能手动编码），模仿MICE平淡会迭代奉行的进程，以更好地懂得他的处事道理。
咱们将看一个特殊纯洁但具有阐发性的例子:探究一个具有两个拉拢正态变量X_1, X_2的数据集。咱们假设两个变量的方差为1，正合系系数为0.5。为了轻易阐发，咱们假设X_1是收入的对数，X_2是年事。别的咱们树立收入X_1保存缺失机造，即当年事“高”时，X_1往往会缺失。这便是咱们设的:
当X_2(年事)较大(即大于0)时，X_1(收入)缺失的概率为0.8。因为咱们假设X_2老是被寓目到，这是一个教科书式的MAR示例，它有两种形式，一种是整个变量都被齐全寓目到(m1)，另一种是(m2)，此中X_1缺失。纵然这个例子很纯洁，但若是咱们假设年事越大，收入越高，那么从一种形式转换到另一种形式时，收入和年事的散布就会产生明白的转移。正在形式m2中，收入缺失，寓目到的年事和(未寓目到的)收入的值都趋势于更高。
（通用的）插补的宗旨该当是尽能够地复造底层数据散布。为了阐发这一点，探究第一个例子，此中p=0，云云唯有X_1缺失值方今将测试运用知名的MICE本事来插补这个例子。因为唯有X_1缺失，可能手动完毕这一点。咱们从均值插补最先，纯洁地预备正在观测到的形式中X_1的均值，并将这个均值加添到NA的场所。咱们还运用了更为庞大的回归插补：正在观测到X_1的形式中，将X_1对X_2举行回归剖释，然后对每个缺失的X_1观测值，咱们插入回归的预测值。结尾，看待高斯插补，咱们从X_1对X_2的同样回归最先，但随后通过从高斯散布中抽取来插补每个缺失的X_1值。也便是说咱们不是仅插补要求希冀（即要求散布的中央），而是从这个散布中抽取。这导致了一种随机插补，当初能够有些违反直觉，但现实上会带来最好的结果：
查究这张图可能马上发觉，均值和回归插补并欠好，由于它们齐全未能重现原始数据散布。比拟之下，高斯插补看起来相当不错，真相上，我以为很难将其与可靠状况辨别开来。这能够看起来只是一个工夫观念，但这有其后果。联思一下，若是你获得了任何这些插补的数据集，方今你思要找到正在将X_2对X_1举行回归时的回归系数（与咱们用于插补的操作相反）。正在这种状况下，可靠值由beta=cov(X_1, X_2)/var(X_1)=0.7给出。
高斯插补的结果特殊迫近0.7（0.71），更紧张的是，它特殊迫近运用完善（未观测）数据获得的推断！而均值插补低估了beta值，回归插补则高估了beta值。回归插补由于要求均值插补人工地加强了变量之间的合连，这将导致正在科学和（数据科学）施行中推断出的效应被过高推断！
回归插补能够看起来过于纯洁，不过正在呆板练习和其他界限中特殊常用的插补本事恰是云云处事的。比方，knn插补和随机丛林插补（即missForest）。极度是随机丛林插补正在几篇基准测试论文中受到讴歌和推选，且操纵特殊广博。missForest是正在观测数据上拟合一个随机丛林，然后纯洁地通过要求均值举行插补，运用它的结果将与回归插补特殊相通，从而导致变量之间合连的人工加强和推断的缺点！
上面咱们仍然说了应将插补视为一个散布预测的题目，那么这个散布预测的题目该当奈何评估呢？
着思咱们开垦了一种新的插补本事，方今思要与已保存的本事如missForest、MICE或GAIN举行基准测试。这种状况下，咱们人工地引入缺失值。然后将这个可靠数据集与咱们的插补结果举行比力。咱们假设上面的回归插补是一种新本事，咱们思要将其与均值和高斯插补举行比力。
不过运用RMSE来评估咱们的插补将方向于那些插补要求均值的本事，如回归插补、knn插补和missForest。
而就像咱们要阐发的题目，因为插补性质上是一个散布预测题目，于是除了运用RMSE等统计目标除外，还应评估插补本事是否可能复兴数据的集体散布。这可能通过比力差别插补本事天生的数据散布的统计性情（如均值、方差、偏度等）或运用更庞大的散布相通性器量（如地球搬动者间隔或Kullback-Leibler散度）来完毕。这里运用运用能量间隔来量度齐全观测数据的散布与插补“散布”之间的差别
能量间隔：能量间隔是一种器量两个散布之间差别的统计量，它基于从两个散布中随机抽取样本对的间隔。正在插补的上下文中，它能有用地评估插补数据散布与原始数据散布之间的相通性。
通过运用能量间隔平分布敏锐的评估目标，咱们可能更精确地评估插补本事是否可能复兴数据的原始统计性情，而不光仅是均匀秤谌上的迫近性。这种本事极度适合于评估那些旨正在搜捕数据庞大依赖性和散布特色的高级插补工夫。
方今咱们将这两个分数操纵到这个查究项目中，并测试咱们的回归imputation是否比其他两个更好:
正在运用均方根差错（RMSE）评估时，回归插补看起来出现特殊好！它抢先了均值插补和高斯插补。不过这与咱们上面的剖释相冲突，采用回归插补能够会导致高度偏睹的结果。而（标度化的）能量间隔准确地识别出高斯插补是最佳本事，这与视觉和更好的参数推断相同等。
于是，当评估插补本事时（当可靠数据可用时），应避免运用像RMSE和MAE云云的器量。而该当被视为并行动散布预测题目来评估，应运用诸如能量间隔之类的散布器量。将RMSE行动评估器械的太过运用对这一界限的查究有极少首要的影响。
当底层寓目数据弗成用时，评估题目变得尤其难题。这篇论文[1]中，开垦了一个分数，纵然正在这种状况下也能对插补本事举行排名！
无需看到缺失数据的值，分数也可能识别散布，极度是当数据有两个以上的维度时。
当阅读合于缺失值插补的文献时，人们容易以为正在缺失数据机造为MAR（Missing At Random，随机缺失）的状况下题目仍然处置，而整个的缺失题目都来自于是否可能假设为MAR。固然正在运用最大似然等尺度步调时这能够是准确的，但若是思要找到一个好的（非参数的）插补本事，状况并非如斯。
论文[1]磋议了正在MAR下能够产生的庞大散布转移，当从齐全观测的形式转移到一个思要插补的形式时,正在观测变量中是否能够产生的散布转移呢？回到上面的例子，此中将X_1设为收入，将X_2设为年事。正在第一幅图中就能看到的，散布看起来相当差别。而要求散布 X_1 X_2 维系稳定！这正在规矩上容许识别准确的插补散布。
这一发觉看待分解和管理MAR下的缺失数据具有紧张旨趣。纵然数据能够看起来正在周至观测和个人缺失时有差别的散布，通过合怀要求散布的安闲性，可能更无误地插补缺失值。也便是说非参数插补工夫可能适宜数据的这种内正在庞大性，而不光仅是纯洁地操纵参数本事或假设数据具有匀称散布。正在现实操纵中，这种深切剖释揭示了为何纯洁的插补本事（如均值插补或要求均值插补）能够不敷以搜捕数据的可靠布局，越发是正在涉及庞大相干和动态散布时。
固然mice-cart和mice-DRF都做得不错，但它们照旧不如高斯插补那么好。这自己并不令人讶异，由于正在这种状况下，高斯插补是希望的插补本事（由于 (X_1, X_2) 确实是高斯散布的）。而X_2中的散布转移能够能够导致mice-cart和mice-DRF正在复兴3000个观测值的散布时遭遇难题（这些本事平淡特殊有用）。
论文还磋议了一个相似的，但更特别的例子，涉及两个变量（X_1, X_2）。正在这个例子中，散布转移更为明显，基于丛林的本事相应地面对离间：
散布转移的影响：当底层数据的散布产生明显转移时，基于模子的插补本事（如基于决定树或随机丛林的本事）能够难以精确地复兴数据的可靠散布。这是由于这些模子依赖于数据中保存的形式和布局，而当这些形式和布局由于缺失数据而变化时，模子的结果能够会消沉。
高斯插补的实用性：高斯插补假设数据听命高斯散布，这使得它正在管理性质上呈高斯散布的数据时特殊有用。看待这品种型的数据，高斯插补可能更好地搜捕数据的集体统计性情，席卷均值和协方差布局。
本事采用的紧张性：采用准确的插补本事看待确保插补结果的质地至合紧张。正在面临庞大的数据和散布时，分解每种本事的上风和限度性可能帮手查究职员和施行者采用最适合他们数据特色的插补本事。
缺失值确实是一个棘手的题目。，管理缺失值的最佳方法是尽量避免它们的映现，不过这险些是不行够的，于是纵然只探究随机缺失（MAR），寻找插补本事的处事还远未罢了。咱们照旧缺乏一种可能（1）举行非参数散布预测和（2）适宜正在MAR下能够产生的散布转移的本事。有时也感思人们将题目庞大化了，由于极少MICE本事出现得特殊生色，能够仍然足以处置很众缺失值题目。
有极少特殊优秀的呆板练习本事，如GAIN及其变体，试图运用神经搜集来插补数据。本事能够是准确的，由于它们听命了准确的思道：插补正在寓目到的状况下缺失的要求散布。不过运用它们一段期间后，本能并不行让人顺心，越发是与MICE比拟。
于是若是我遭遇一个缺失值题目，可能起初测试的是mice-cart或正在论文中开垦的新本事mice-DRF。它们重现数据的才略特殊惊人。不过这些本事须要起码一个中等的样本巨细，比方抢先200或300。若是正在少于200个寓目的状况下，可能采用更纯洁的本事，如高斯插补。若是你思从这些本事中找到最好的，可能测试运用论文中的评分轨则来找到最好的本事。
结尾别忘了这些本事都无法有用地管理插补不确定性！由于咱们正在这篇著作中只磋议了简单插补。准确的众重插补将须要探究插补本事自己的不确定性，这平淡运用贝叶斯本事落成，这能够又是一篇论文了。
结尾：由于原论文都是运用R举行编写，我又对R不太熟习，本人运用举行Python复现有几段映现了题目，于是就直接贴R的代码了，有意思的小伙伴请自行运用 Python重写。别的，GPT4的改写结果也欠好，而copilot则直接提示无法改写，于是若是你有获胜的的GPT4改写的Prompt也可能干系我，谢谢。
极度声明：以上实质(如有图片或视频亦席卷正在内)为自媒体平台“网易号”用户上传并揭晓，本平台仅供应消息存储办事。
小米15起售价4499元，将周至援手苹果修造！SU7 Ultra预售价81.49万元
妹子更心爱18cm仍旧40分钟？女司机带体验回复太赤裸裸了，看完秒懂哈哈
OpenAI首席财政官揭秘公司“创收主力”：ChatGPT付用度户占75%！
CBA老例赛：广州拒深圳逆转 郭艾伦25+7迎500场里程碑怒喷裁判吃T
苹果史上最小电脑：2024 款 Mac mini 正式揭晓，M4/M4 Pro 芯片
首发3999元 小米揭晓米家分储鲜Pro十字冰箱508L：双体例0串味
