想问问各位大佬，在二分类任务中，原始数据很多标签错误（假阳性超 90%），没法通过基于人工或者规则的方法清洗数据，有什么好的算法或者策略来识别出标签错误数据呢？ 发现这里没有 AI 算法相关节点，而大家都用 python ，我就发现这里吧。
推荐学习书目
› Learn Python the Hard Way
Python Sites
› PyPI - Python Package Index
› http://diveintopython.org/toc/index.html
› Pocoo
值得关注的项目
› PyPy
› Celery
› Jinja2
› Read the Docs
› gevent
› pyenv
› virtualenv
› Stackless Python
› Beautiful Soup
› 结巴中文分词
› Green Unicorn
› Sentry
› Shovel
› Pyflakes
› pytest
Python 编程
› pep8 Checker
Styles
› PEP 8
› Google Python Style Guide
› Code Style from The Hitchhiker's Guide
This topic created in 1366 days ago, the information mentioned may be changed or developed.
Supplement 1 · Feb 17, 2023
我详细阐述一下，我这的应用场景是药物发现领域的分子（样本）在靶点的活性预测。比如我们测定大量的分子与靶点的结合信号，其中可能只有 1%的分子会出信号，出了信号的分子可能是潜在的活性分子，没出信号的分子大概率是没活性的。我们根据人工的经验会选择一些高置信度信号的分子进行验证是否有活性，验证成本很高，一般验证几十个样本左右，验证结果显示中只有 35%左右是真实有活性的。如果随机从出信号的样本中挑选，根据我们经验估计 true positive 的概率不会超过 10%。
也就是我们拿到 99%的负样本，1%的正样本（其中可能 90%左右就是 false positive ），目的建立模型挑选出 true positive
也就是我们拿到 99%的负样本，1%的正样本（其中可能 90%左右就是 false positive ），目的建立模型挑选出 true positive
 |
thinkershareFeb 16, 2023
1
没啥好办法，我也想要支持知道。
|
 |
leimaoFeb 16, 2023
2
0/1 二元分类，标签错误 90%
那你 flip 一下标签，标签正确率不就是 90%了么 |
|
leimaoFeb 16, 2023
3
我仔细看了下，你说的是 false positive 90%，不好意思。
|
|
leimaoFeb 16, 2023
4
|
 |
5
@leimao 谢谢你分享的文献，我复现一下试试。我后面再看看被引文献，应该可以找到更多研究结果。我以前没接触过这个方向，看到过一个用于回归任务的 robust loss function ，https://arxiv.org/abs/1701.03077 。
|
 |
king888Feb 16, 2023
6
当然是使用超能力，据时代周刊报道说 openai 是找非洲人工打标签的，每小时 2 刀
|
|
thinkershareFeb 16, 2023
7
@TongDu 大部分技术手段都没啥用，我之前研究过，你这个只需要二分类，可能简单点，可以考虑使用元学习 /小样本学习试一试。不过问题一旦稍微复杂了，感觉还是要使用人工打标签才靠谱。
|
 |
ml1344677Feb 16, 2023
8
没法很好解决 这个问题几乎跟没标注一样了
|
 |
qzwmjvFeb 16, 2023
9
false positive 你是怎么知道的？
|
 |
WaldenHorizonFeb 16, 2023
10
如果你有办法判断原数据错误，那你根本不需要做这个项目了[狗头]
|
 |
NoOneNoBodyFeb 16, 2023
11
机器学习节点 https://www.v2ex.com/go/ml
Torch https://www.v2ex.com/go/torch Keras https://www.v2ex.com/go/keras …… 还是没搞清这个 90%是怎么来的，有对照数据？还是有其他参考标准？ |
 |
jamosLiFeb 16, 2023
12
先聚类，再分？
|
 |
raycoolFeb 16, 2023
13
对于有监督学习，FP 这么高，任何算法都无效吧，还是想办法标注比较好。
|
 |
INFPFeb 17, 2023
14
@qzwmjv
对啊，没有“正确”的 label 你怎么算出来 false positive rate 的哈哈哈。 anyway ，对于这种情况不建议做任何形式的 imputation 去补 label ，因为这样不过是在错误上构建错误，或者是在已知中预测已知。 建议考虑 unsupervised learning ，或者 semi-supervised learning 。比如聚类，比如在有一部分确定正确的 label 的情况下用 semi-supervised SVM 去建模，可能会比只用“确定正确”的小部分数据的 test performance 好一些，也肯能不如。 |
Select Language