如何比较两个列表的相似度


现在想到的方法是如下
--方法 1--
A 列表：['aa', 'bb', 'cc']
B 列表：['bb', 'cc', 'ff', 'kk']
因为'bb'和'cc'相同所以有
A:2/3
B:2/4
所以 AB 相似度等于：(2/3 + 2/4) / 2 = 0.583
假如有 C 列表：['bb']
同样与 B 列表比较，同理 BC 相似度等于：(1/4+1/1) / 2 = 0.625
然而 AB 相似度<BC 相似度却不太理想

--方法 2--
另外一个方法就是分母用元素的合计数
AB 相似度等于：(2/(3+4) + 2/(3+4)) / 2 = 0.286
BC 相似度等于：(1/(4+1)+1/(4+1)) / 2 = 0.2
结果：AB 相似度>BC 相似度

所以正确的方案应该用数学上的那些手段来实现呢？

Supplement 1 · Mar 29, 2019

谢谢各位的意见，我想做的就是类似文章相似度。
比较的对象一个是手写的规整的文本，另一个是口头说话的声音识别结果。
顺序和结构不是特别重视，也就是求核心的意思（单词）相似度。
正在尝试交集并集，调和平均，余弦距离

bb'

相似

列表

cc'

13 replies • 2019-03-29 14:31:30 +08:00

youngxhui

Mar 29, 2019 via Android

使用余弦距离

aijam

Mar 29, 2019

比如 edit distance，TF/IDF

SeaRecluse

Mar 29, 2019

只比较两个交叉熵，多个用余弦距离

largecat

Mar 29, 2019 via Android

还有一个
A,B 合起来总共不重复的 5 个元素，共有 2 个，所以 2/5=40 ％

BC 合计不重复 4 个，共有 1 个所以 1/4=25 ％

cdcfishzz

Mar 29, 2019 via Android

方法 2 是不正确的。
假设两个完全一样的列表，预期值为 1。
(3/(3+3)+3/(3+3))/2 ＝ 3/6≠1。

adrianyoung

Mar 29, 2019

可以参考一下 BLEU 的惩罚因子
能够解决你提到的方法一的问题

wkc

Mar 29, 2019

https://github.com/yanyiwu/simhash 文本相似度计算

adrianyoung

Mar 29, 2019

或者两个列表直接构建一个向量空间，算余弦距离

holajamc

Mar 29, 2019

In [1]: a = ['a', 'b', 'c']

In [2]: b = ['a', 'b', 'd']

In [3]: def jaccard_sim(a, b):
...: return len(set(a).union(set(b)))/len(set(a).intersection(set(b)))
...:

In [4]: jaccard_sim(a, b)
Out[4]: 2.0

杰卡德相似性