HIVE 字段级血缘分析写入Neo4j_lineagelogger-程序员宅基地

Step 1. 利用HIVE Hook LineageLogger 获取字段之间的依赖关系

注意：LineageLogger Hook 是Hive2.0版本之后存在的，如果HIVE版本不够需要升级HIVE版本。PS.CDH有的HIVE版本添加此功能

下面以hive 2.5.3版本为例

添加参数

vim /usr/local/hive/conf/hive-site.xml
<property>
    <name>hive.exec.post.hooks</name>
    <value>org.apache.hadoop.hive.ql.hooks.LineageLogger</value>
</property>

配置hook输出

vim ${HIVE_HOME}/conf/hive-log4j2.properties
og4j.logger.org.apache.hadoop.hive.ql.hooks.LineageLogger=INFO

输出位置在 hive-log4j2.properties 的 property.hive.log.dir 参数

测试输出

hive> desc test_table;
OK
c1                  	string
c2                  	bigint
c3                  	int

hive> select c1, max(c2) as max_c2 from test_table group by c1;

hive.log 日志输出如下

JSON格式化如下

{
   
    
	"edges": [{
   
    
		"sources": [2],
		"targets": [0],
		"edgeType": "PROJECTION"
	}, {
   
    
		"sources": [3],
		"targets": [1],
		"expression": "max(ods.test_table.c2)",
		"edgeType": "PROJECTION"
	}],
	"vertices": [{
   
    
		"id": 0,
		"vertexType": "COLUMN",
		"vertexId": "c1"
	}, {
   
    
		"id": 1,
		"vertexType": "COLUMN",
		"vertexId": "max_c2"
	}, {
   
    
		"id": 2,
		"vertexType": "COLUMN",
		"vertexId": "ods.test_table.c1"
	}, {
   
    
		"id": 3,
		"vertexType": "COLUMN",
		"vertexId": "ods.test_table.c2"
	}]
}

比如edges中第二条 sources [3]， targets [1]
代表 ods.test_table.c2 到 max_c2

参考文章利用LineageLogger分析HiveQL中的字段级别血缘关系

Step 2. 利用已有的血缘log 清洗后存入 Neo4j

Neo4jUtil.py

from py2neo import Graph

class Neo4jUtil:
    def __init__(self, url, username, password):
        self.graph = Graph(url, auth=(username, password))

    def empty(self):
        self.graph.run("match (n) detach delete n")
    # 创建节点
    def create_column_node(self, node_name):
        match_result = self.graph.run("MATCH (a:Column) WHERE a.name = '%s' RETURN a" % node_name).data()
        if len(match_result) == 0:
            self.graph.run("CREATE (n:Column { name: '%s' })" % node_name)
    # 创建关系
    def create_column_relation(self, origin_name, dest_name):
        match_result = self.graph.run(
            "MATCH (a:Column)-[r:beDepColumn]->(b:Column) WHERE a.name = '%s' AND b.name = '%s' RETURN r" %
            (origin_name, dest_name)).data()
        if len(match_result) == 0:
            self

本文链接：https://blog.csdn.net/xw514124202/article/details/94029564

原作者删帖不实内容删帖广告或垃圾文章投诉

智能推荐

【SeedLab】BGP Exploration and Attack Lab_bgp seed-程序员宅基地

文章浏览阅读2.3k次。本实验需要使用SEED互联网仿真器（已集成到docker配置文件）。启动docker容器，配置文件在/Labsetup/outputs/目录下。由于要配置很多docker容器，所以构建+启动过程会比较漫长。.随着docker启动，仿真器也随之运行，仿真器所用到的设备均为docker容器。..._bgp seed

元素选择器之排除特定元素_input排他选择器-程序员宅基地

文章浏览阅读2.1k次。需求如下:该搜索框是对整个页面的input检索，但与弹出层中的input冲突博主几经辗转简单处理解决问题，思路如下：排除掉特定class的input。代码如下：$('input:not(.pop)', this.footer()).on('keyup change', function () { if (that.search() !== th..._input排他选择器

使用JAXB进行XML与JavaBean的转换（支持泛型）_jaxb 泛型-程序员宅基地

文章浏览阅读5.6k次，点赞6次，收藏20次。看到别人有个1024的勋章，特意留了一篇在今年的10.24日，看看会不会获得。在日常开发中可能涉及接口之间的相互调用，虽然在现在微服务的理念推广下，很多公司都采用轻量级的JSON格式做为序列化的格式，但是不乏有些公司还是有一些XML格式的报文，最近就在对接某个合作方的时候遇到了XML报文。在JSON报文爽快的转换下很难试用一个一个的拿报文参数，还是希望能直接将报文转换成Bean。接下来就了解到..._jaxb 泛型

python numpy学习笔记_ndarray的位置-程序员宅基地

文章浏览阅读1.2k次。numpy的主要数据对象是多维数组，其中包含相同类型的元素，通常是数字类型，每个元素都有一个索引。使用numpy前通常要导入包。import numpy as np目录类型维度创建运算索引和切片类型numpy的数组被称为ndarray。numpy.array只处理一维数组，而ndarray对象才提供更多功能。a = np.array([[1, 2, 3], [4, 5, 6]])type(a) # <class 'numpy.ndarray'>dtype属性可以获得元素的数_ndarray的位置

我的世界java版gamemode指令_《我的世界》Java版常用指令代码大全！你想要的都在这里了！...-程序员宅基地

文章浏览阅读1.6w次。还在苦于网上找到的一些指令已经不适用了吗？还在苦于有些地方的指令有误吗？还在苦于有些地方整理的指令不够全面吗？那么你来对地方了！小编为大家整理了《我的世界》原版游戏常用的指令，这些基本足以满足各位的基本需求了！大家来一起看看吧！注：表示的是必须输入的部分，[方括号]表示的是可选择性输入的部分基本命令列表命令描述/?/help的替代命令，提供命令使用帮助。/ban + 玩家名字将玩家加入封禁列表。/..._gamemode指令java

Spring Boot 结合shiro做第三方登录验证_shiro 第三方token登录-程序员宅基地

文章浏览阅读1.5w次，点赞3次，收藏3次。Spring Boot 结合shiro做第三方登录验证1、首先，说一下我的具体实现思路。在做spring boot拦截器的过程中，开始我准备用spring security来实现，但是研究了一段时间之后发现spring security的集成度太高，需要修改的东西比较多，而且对它本身的使用方法不是很了解，后来转而使用Apache shiro。由于是第三方登录，是不需要我来验证密码的。最开始，我陷入了_shiro 第三方token登录