咱们仍是参加了大数据期间经典三级，每天，公共都会产生海量数据，如酬酢媒体本色、电子商务往复纪录、传感器数据、金融往复日记等。
这些数据不仅限制深广，而况更新速率快、种类无边。
闻明数据科学家维克托·迈尔·舍恩伯格（Viktor Mayer-Schönberger）在《大数据期间》一书中建议了三大念念维变革：
少妇图片要全体，不要抽样（用全量数据代替抽样数据）
要后果，不要十足精确（数据分析追求充足好的铁心，而非极致的精确）
要有关，不要因果（分析侧重有关性，而非因果干系）
其中，第一条不雅点常被相连为“抽样仍是落伍”。简略关于领有超强算力的大公司而言，使用全量数据莫得问题（不差钱，不差算力）。但关于莫得这样多资源的分析者而言，就难以终澄莹。咱们如故要处忠良商范畴内的数据，虽然也但愿数据充足有代表性和可靠性。
那么抽样如故一个不可替代的循序。
在大数据环境下，咱们如何进行有用的抽样？本文参考《数据分析念念维通识课》一书及有关而已，先容几种大数据期间常用的抽样循序。
1. 常见抽样循序
苟简马上抽样
循序玄虚从总体数据中马上抽取样本，并保证每个个体被选中的概率特殊。
算法圭臬
假定数据集限制为N，咱们但愿抽取n个样本。
使用马上数生成器或洗牌算法，马上遴荐n个数据点。
酿成最终的样本集。
蓄池塘抽样
循序玄虚蓄池塘抽样（Reservoir Sampling）适用于无法先见数据总量的数据流场景，能够保证所罕有据点被选中的概率特殊。
算法圭臬
崇尚一个大小为k的“蓄池塘”；
启动化：将数据流的前k个元素存入蓄池塘；
动态更新：
关于第i（i > k）个数据，以k/i的概率替换蓄池塘中的某个元素；
不然，跳过该数据。
最终蓄池塘中的k个数据即为样本。
这里咱们举个粗造的例子，在某城市的地铁站，每天都有千千万万的东说念主流量。假定咱们想要马上抽取100名乘客进行惬意度考核，但由于客流量巨大，咱们不可能事前知说念今日有若干乘客进站。这时，咱们不错使用蓄池塘抽样来确保每名乘客被选中的概率特殊。
具体操作如下：
咱们先开拓一个“池子”（蓄池塘），最多容纳100东说念主。
在前100名进站的乘客中，咱们告成让他们一王人参加池子。
从第101名乘客脱手，咱们给他们一个“挤进池子”的契机，具体来说，第101名乘客有 100/101 的概率参加池子，若是他被选中，则池子华夏来的某位乘客会被马上替换掉。
当第102名乘客到来时，他有100/102的概率参加池子，并替换掉池子中的某东说念主……依此类推。
最终，蓄池塘中的100名乘客便是咱们的抽样样本，他们是从通盘进站乘客中马上选出的，确保了公道性和代表性。
推导流程见【1】.
分层抽样
循序玄虚适用于数据集存在不同类别或群体的情况，确保每个类别在抽样时都获取顺应的代表性。
算法圭臬
将数据集按类别（strata）分离，如性别、年岁、地区等；
在每个类别中进行马上抽样，不错是等比例抽样（如每层抽取调换百分比的数据），也不错把柄类别的迫切性进行加权抽样。
过采样与欠采样
循序玄虚用于类别不平衡的数据集，举例诓骗检测、医疗会诊等场景。
算法圭臬
过采样（Oversampling）：复制少数类别样本，或使用SMOTE（合成少数类过采样算法）生成新样本；
欠采样（Undersampling）：马上删除无数类别样本，以减少类别不平衡对模子的影响。
权重抽样
循序玄虚适用于数据点迫切性不同的情况，举例在保举系统、金融商场分析中赋予数据不同的权重。
算法圭臬
狡计权重：为每个数据点分拨一个权重（如基于拜谒频率、往复金额等）；
抽样：把柄权重概率进行抽样，而不是等概率马上抽样。
2. 抽样循序对比表
抽样循序优点瑕疵适用场景苟简马上抽样（SRS）宗旨苟简，易于终了；能保证样本的无偏性。适用于一丝据集，大数据环境下存储和拜谒本钱较高；可能导致数据类别不平衡。商场考核、A/B 测试。蓄池塘抽样适用于数据流场景，无需存储一王人数据；能确保所罕有据点被抽中的概率特殊。不成提前细目哪些数据会参加样本；不适用于特定类别数据的抽样。网罗日记分析、及时数据监测。分层抽样保证种种别在样本中的比例与总体一致，提高代表性。需要先进行数据分层，增多了数据预处理的复杂度；不适用于无昭彰类别的数据。医疗数据分析、客户考核。过采样（Oversampling）顾问类别不平衡问题，提高模子对少数类的学习智商；过采样不会丢失数据。可能导致过拟合，因为模子可能学习到复制样本的噪声。金融诓骗检测、医疗会诊。欠采样（Undersampling）减少狡计本钱，平衡数据分散。可能导致信息蚀本，影响模子的合座性能。金融诓骗检测、不平衡数据处理。权重抽样适用于数据点迫切性不同的情况，提高数据分析的有用性。需要稀奇的权重信息，狡计复杂度较高。保举系统、金融商场分析。
在大数据期间，抽样不仅是一种省俭狡计资源的妙技经典三级，更是一种优化数据分析质地、训诲有联想精确度的迫切循序。掌持这些抽样时刻，将匡助咱们更高效地从海量数据中索求有价值的信息！