网页数据构建知识图谱-数据和方法

1.网页数据解析
(1)可以参看webkit内核,构建一个网页解析工具,解析dom树/视觉树/分块树,根据需求解析目标数据;
(2)构建xpath类规则,提取指定目标数据;
(3)解析microdata数据,可以参考pps/babytree,里面的itemscope/itemprop系列标签

2.数据来源
(1)百度百科/维基百科等知识词条类
(2)豆瓣类垂直站点
(3)其它类别的站点

3.构建
(1)实体:可以使用百科词条/维基百科的词条作为一个实体,里面能够包含实体属性,如果有图片可以直接配图
(2)关系:可以挖掘标签,如类型电视剧,作为某一个电视剧实体的上位关系,挖掘类型电视剧下面的所有电视剧实体,这可以作为一种方法。还可以从垂直站点挖掘,另外,可以考虑mypos数据,kv数据等。实体和关系都以七元组的方式存入知识库中。
(3)算法:有了实体和关系,用户输入一个query,对query变换,分析用户意图之后,检索出和query相似度比较高的实体和关系,拉取匹配度高的【关系,下位实体1,下位实体2,…】列表,通过相似度/query点展预测/用户意图等一系列特征判断,给出topN的推荐,可以以星状图展现,也可以以检索列表展现等。

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章