小风的城
我心自有明月在，不堕地狱不跪佛
目 录CONTENT
数据挖掘-小风的城
以下是
数据挖掘
相关的文章
-
ROD 异常点检测模块 本文介绍了针对工业数据中异常点检测的ROD（Regression-based-OD）模块的研发过程。该模块采用GBDT回归算法，并结合TFAUTOML自动优化超参数，显著降低了MSE，实现了对小型高维工业数据中潜在异常点的精准识别与剔除。项目分析了传统异常检测算法如LOF、COF在处理高维数据时的局限性，并提出了基于监督学习和交叉验证框架的新方法。通过递增式剔除策略和模型收敛性优化，确保了异常点剔除的有效性和数据分布信息的完整性。实验结果表明，ROD模块在小型高维数据集上表现优于传统方法。未来改进方向包括引入多种回归算法以提高鲁棒性，开发自动停止点识别算法，以及增加异常点可视化功能。此外，文章还详细讨论了GBDT算法及其与XGBoost的对比，以及模型评估指标和工业数据特征。 -
PGOF 异常点检测算法 本文介绍了一种针对工业小型、高维数据集的异常点检测算法——PGOF（PCA_Grubb_Outlier_Factor）。传统算法如LOF和COF在高维空间中因“维数灾难”问题而失效，为此，PGOF通过结合PCA降维和Grubb统计方法，有效解决了这一难题。该算法首先使用PCA将高维数据映射到低维空间，然后在每个维度上计算Grubb值，并通过加权融合得到综合异常得分。实验结果表明，PGOF在AUC值和PR曲线上均优于传统算法，具有良好的泛化能力和鲁棒性。未来改进方向包括引入自适应降维策略和多算法融合策略。此外，文章还详细介绍了PCA、Grubb检验等关键技术及其在异常检测中的应用。
