针对词语在多个文件里该怎么使用TF-IDF计算词频?
发布网友
发布时间：2022-04-24 22:29
共2个回答
热心网友
时间：2023-10-13 09:13
TF-idf算法其实是一种用户资讯检索与资讯探勘的常用加权技术，常常被SEOER们应用到，而很多人或许不太知道，其实最直观的了解就是“网站关键词密度”。
直接切入主题，TF-idf算法到底是如何计算的：
公式：
TF：词频
IDF：逆文本频率指数
TF-IDF=TF*IDF
我们举例说明，TF词频的意思，是指一个词出现在页面中的次数，如果一篇文章的总词语数是200，而“网站优化”这个词出现了4次，那么这个词频TF=4/200，也就是0.02。
而IDF也就是很文件频率，指这个词在多少页面出现过计数为N，文件总数计数为M，那么IDF=lg(M/N)。假设“网站优化”在2000个页面出现，总文件数为1亿,那么文件频率IDF=lg(100000000/2000)=4.697,那么计算最后的TF-IDF=0.02*4.697=0.0939794。
这只是一个判断一个页面的相关度的问题，而在SEO网站优化中，并不只是判断TF-IDF的值加分，我们需要一个识别度高的词来为页面加分。例如：搜索引擎收录一万亿个页面，应该说每个页面都会有“的、是、中、地、得”等等词，这些高频词也叫噪音词或停止词，搜索引擎会去除这些词，所以这些词的加分权重其实应该是0。计算公式：TF-IDF=log(1万亿/一万亿)=log1=0。
其实在搜索引擎检索中，计算权重的时候，会根据每个词分词来计算，例如：“SEO网站优化的技巧”这个词。
假设：SEO页面检索数位2000万，网站优化的检索数为1000万，技巧的检索数为50000万
搜索引擎索引总数假设为100亿。
SEO在www.ruihess.com这个网站中页面(页面总词数400)出现8次，网站优化出现10次，技巧出现16次。
那么各自的词频
TF(SEO)=8/400=0.02,
TF(网站优化)=10/400=0.025
TF(技巧)=20/400=0.04
TF(的)=上面已近提到，的属于高频停止词，权重为0。
那么搜索“SEO网站优化的技巧”这个页面的相关度为：TF(总)=0.02+0.025+0.05=0.095。
而IDF(SEO)=LOG(10000000000/20000000)=2.697
IDF(网站优化)= LOG(10000000000/10000000)=3
IDF(技巧)=log(10000000000/100000000)=1.697
这么算下来之后，每个词为搜索“SEO网站优化的技巧”为页面的权重和相关度贡献的值分别为：
Tf-idf(seo)=0.02*2.697=0.0539794
Tf-dif(网站优化)=0.025*3=0.075
Tf-idf(技巧)=0.04*1.697=0.0679588
由此可以看出，虽然技巧出现的频率更高，但识别度没有SEO和网站优化高，所以为页面的权重贡献度并不是太大。
一个词的预测能力也就是识别度越高，那么这个词的权重越大，反之则越小，看到“网站优化“可能你就已经基本了解这个页面要讲什么，但是看到技巧，你可能还不是太明白页面的主题。
当然这支持搜索引擎的算法的一个点，我们还要结合标签来实现权重的提升，例如H标签，而主关键词周边的词也会加分，这里周边是指在一个标签内的例如：SEO网站优化的技巧主要是一些搜索引擎优化追问在这2000也页面里，如果有的页面出现了10次“网站优化”，有的出现了50次，有的出现了1次，那这个TF取哪个？
热心网友
时间：2023-10-13 09:14
词语多个成功运行计算视频，哎呀，这是一个比较需要的，我太太不太
