【openGauss】谈一谈openGauss对Oracle中lob类型的兼容情况_opengauss blob转bytea-程序员宅基地

技术标签: openGauss  gaussdb  

【openGauss】谈一谈openGauss对Oracle中lob类型的兼容情况


一、Oracle中的lob

在Oracle数据库中,有blob和clob这两种较为特殊的数据类型,之所以特殊,是因为这两个类型中能存储大量的数据,最高可达4GB,因此比较适合用来存文件,其中blob用于存储二进制数据,而clob用于存储纯文本数据。
另外,如果表里有字段是这两种类型,那么这些类型的数据也会有个单独的存储扩展段。而表内这两列实际存储的是“LOB locator”,即LOB定位器,相当于一个索引值,可以根据这个值在另外的存储扩展段里找到实际的lob数据。
也是由于存储是分开的,所以对这两种字段的操作会比较麻烦,比如插入空值时不能插null,而要插入一个 empty_blob()或empty_clob();对数据内容进行拼接更新,不能直接用管道符拼接数据update,而是需要使用dbms_lob包进行管理,等等。诸如此类的“常规操作”需要用“非常规”的方式进行。
oracle的文本类型varchar2只能操作32767的字节长度,而管道符和concat函数都是针对varchar2类型进行的操作,就算clob和varchar2可以隐式互转,可一旦超过这个长度限制就会报错,所以不得不用dbms_lob包来处理。
另外,有to_clob(varchar2)和to_blob(raw)这两个函数可以通过转换得到clob及blob类型的数据,这其实也说明了clob/blob与varchar2/raw之间的关系。

二、openGauss中的lob

openGauss是基于postgresql 9.2的内核进行的深度开发,而postgresql是没有clob、blob、raw类型的。为了方便从oracle中进行迁移(当然sql标准里其实也定义了blob和clob类型),openGauss里添加了这些pg里没有的类型。
但是,openGauss里添加的这些类型,并不完全等同于oracle中对应的类型
官方文档
https://opengauss.org/zh/docs/3.0.0/docs/Developerguide/二进制类型.html
https://opengauss.org/zh/docs/3.0.0/docs/Developerguide/字符类型.html

首先从大小上来说,BLOB/CLOB在ORACLE里为4GB,而openGauss里只有约1GB;ORACLE里RAW只有32767字节长度,而openGauss里却保持和BLOB一样的接近1GB。感觉可以这么理解,在openGauss里,BLOB可以完全和RAW互相转换,TEXT和CLOB也可以互相转换。

BLOB到RAW的隐式转换不需要经过任何函数,同理TEXT到CLOB也是如此。所以,如果要把一个RAW转成BLOB,只需要"::blob" ;TEXT转CLOB也是同理。

三、兼容性分析

其实文本类型还好说,比较各种数据库里对文本类型处理的函数大多是一致的,因此很少存在sql语法兼容问题,麻烦的还是二进制类型,比如这个BLOB和RAW。前面有说到,oracle里有专门的包来处理这些二进制类型,比如dbms_lob/utl_raw等,但openGauss里仅仅只对raw有一些基础处理的函数(【openGauss】谈谈openGauss中的raw类型)。不过在【openGauss】记录一次关于openGauss(postgresql)数据类型的摸索经过及感想这篇文章里,我知道了对于每种类型来说,都有四个很重要的函数:

select typname,typinput,typoutput,typreceive,typsend 
from pg_type where typname in ('raw','blob','bytea')

bytea这个pg内置的类型自不必说,pg原生就提供了很多处理bytea的函数,像length、substr这种用于字符类型的,一样可以用于处理bytea类型,而且处理逻辑和按字符串不一样,是按十六进制字节处理,因此不需要考虑十六进制文本的转换导致的长度翻倍。而openGauss自己增加的类型,则没有这种函数可以处理,所以得利用这些*send函数,将raw/blob转换成bytea再进行处理。
从上面这个表里可以得知,raw类型可以用rawsend来转换成bytea,见下面这个sql

select '1234ff'::raw,length('1234ff'::raw),length(rawsend('1234ff'::raw))

可以看到,如果我们直接对RAW类型使用length,得出来的长度其实是其十六进制字符串的长度,是个错误的值,而转换成bytea后,再用length,长度才正确。其他诸如substr函数均是如此,这里就不演示了。
然后就是BLOB类型,我不确定这里是开发人员有意为之或是其他什么原因,竟然把blob的send函数写成了byteasend,用这个函数去查blob类型是会报错的,因为不存在一个"byteasend(blob)"这样的函数

数据库操作时出错。 确认要继续执行吗?
单击“详细信息”了解详情。
SQL错误码: = 42883
[127.0.0.1:52633/ocalhost/127.0.0.1:5434] ERROR: function byteasend(blob) does not exist
建议:No function matches the given name and argument types. You might need to add explicit type casts.
位置:55
在位置:referenced column: byteasend
行号: 9

另外,我在openGauss源码里也没找到blobsend这个函数,因此,只能借助于比较完备的raw类型来处理,即对blob类型先用"::raw"转换成raw类型,再rawsend转换成bytea类型,才能正确的使用相关函数来对这个二进制数据进行处理。

而且如果是像dbms_lob.copy这样,输入BLOB,输出还是BLOB,则需要将blob转raw转bytea,经过bytea的一系列专用函数处理后,再通过rawout转换成cstring再转成text再转成raw再转成blob。(cstring不能直接转raw,而且理论上此处使用rawrecv函数效率更高,但它的输入类型是internal,传bytea类型会报错,因此只能输出文本再转raw了)

DECLARE
  a blob:='1234ff'::blob;
  b bytea;
  c blob;
BEGIN
  b:=rawsend(a::raw);
  ----
  --中间过程略
  ----
  c:=rawout(b)::text::raw::blob;
end;
/

四、大对象?

其实oracle中的clob和blob,统称为大对象;而在pg体系中,大对象其实并非是blob/clob这样的类型,而是专门有一套处理机制。
大对象客户端接口
大对象服务端函数

每个大对象都有一个对应的oid作为标识符,像截取、合并等操作都是以oid来进行处理,参考前文,其实这个才更像oracle对lob对象的处理方式,表里只存一个标识符(定位器),实际数据在另外的地方存。而openGauss文档里说自己的clob是大对象,其实不太符合其实现机制,因为它只是text的同义词,而且text并非大对象。

五、总结

如果有从oracle迁移到openGauss的,而且有使用二进制数据类型及处理的,一定要谨慎处理这些兼容问题,否则可能会出现代码不报错但数据处理出错的情况。

当然,也可以使用compat-tools组件。目前compat-tools已经加入了utl_raw及dbms_lob这两个包,欢迎大家测试使用
https://gitee.com/enmotech/compat-tools

参考资料:
【openGauss】谈一谈openGauss对Oracle中lob类型的兼容情况

版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://blog.csdn.net/tttzzzqqq2018/article/details/134684503

智能推荐

c# 调用c++ lib静态库_c#调用lib-程序员宅基地

文章浏览阅读2w次,点赞7次,收藏51次。四个步骤1.创建C++ Win32项目动态库dll 2.在Win32项目动态库中添加 外部依赖项 lib头文件和lib库3.导出C接口4.c#调用c++动态库开始你的表演...①创建一个空白的解决方案,在解决方案中添加 Visual C++ , Win32 项目空白解决方案的创建:添加Visual C++ , Win32 项目这......_c#调用lib

deepin/ubuntu安装苹方字体-程序员宅基地

文章浏览阅读4.6k次。苹方字体是苹果系统上的黑体,挺好看的。注重颜值的网站都会使用,例如知乎:font-family: -apple-system, BlinkMacSystemFont, Helvetica Neue, PingFang SC, Microsoft YaHei, Source Han Sans SC, Noto Sans CJK SC, W..._ubuntu pingfang

html表单常见操作汇总_html表单的处理程序有那些-程序员宅基地

文章浏览阅读159次。表单表单概述表单标签表单域按钮控件demo表单标签表单标签基本语法结构<form action="处理数据程序的url地址“ method=”get|post“ name="表单名称”></form><!--action,当提交表单时,向何处发送表单中的数据,地址可以是相对地址也可以是绝对地址--><!--method将表单中的数据传送给服务器处理,get方式直接显示在url地址中,数据可以被缓存,且长度有限制;而post方式数据隐藏传输,_html表单的处理程序有那些

PHP设置谷歌验证器(Google Authenticator)实现操作二步验证_php otp 验证器-程序员宅基地

文章浏览阅读1.2k次。使用说明:开启Google的登陆二步验证(即Google Authenticator服务)后用户登陆时需要输入额外由手机客户端生成的一次性密码。实现Google Authenticator功能需要服务器端和客户端的支持。服务器端负责密钥的生成、验证一次性密码是否正确。客户端记录密钥后生成一次性密码。下载谷歌验证类库文件放到项目合适位置(我这边放在项目Vender下面)https://github.com/PHPGangsta/GoogleAuthenticatorPHP代码示例://引入谷_php otp 验证器

【Python】matplotlib.plot画图横坐标混乱及间隔处理_matplotlib更改横轴间距-程序员宅基地

文章浏览阅读4.3k次,点赞5次,收藏11次。matplotlib.plot画图横坐标混乱及间隔处理_matplotlib更改横轴间距

docker — 容器存储_docker 保存容器-程序员宅基地

文章浏览阅读2.2k次。①Storage driver 处理各镜像层及容器层的处理细节,实现了多层数据的堆叠,为用户 提供了多层数据合并后的统一视图②所有 Storage driver 都使用可堆叠图像层和写时复制(CoW)策略③docker info 命令可查看当系统上的 storage driver主要用于测试目的,不建议用于生成环境。_docker 保存容器

随便推点

网络拓扑结构_网络拓扑csdn-程序员宅基地

文章浏览阅读834次,点赞27次,收藏13次。网络拓扑结构是指计算机网络中各组件(如计算机、服务器、打印机、路由器、交换机等设备)及其连接线路在物理布局或逻辑构型上的排列形式。这种布局不仅描述了设备间的实际物理连接方式,也决定了数据在网络中流动的路径和方式。不同的网络拓扑结构影响着网络的性能、可靠性、可扩展性及管理维护的难易程度。_网络拓扑csdn

JS重写Date函数,兼容IOS系统_date.prototype 将所有 ios-程序员宅基地

文章浏览阅读1.8k次,点赞5次,收藏8次。IOS系统Date的坑要创建一个指定时间的new Date对象时,通常的做法是:new Date("2020-09-21 11:11:00")这行代码在 PC 端和安卓端都是正常的,而在 iOS 端则会提示 Invalid Date 无效日期。在IOS年月日中间的横岗许换成斜杠,也就是new Date("2020/09/21 11:11:00")通常为了兼容IOS的这个坑,需要做一些额外的特殊处理,笔者在开发的时候经常会忘了兼容IOS系统。所以就想试着重写Date函数,一劳永逸,避免每次ne_date.prototype 将所有 ios

如何将EXCEL表导入plsql数据库中-程序员宅基地

文章浏览阅读5.3k次。方法一:用PLSQL Developer工具。 1 在PLSQL Developer的sql window里输入select * from test for update; 2 按F8执行 3 打开锁, 再按一下加号. 鼠标点到第一列的列头,使全列成选中状态,然后粘贴,最后commit提交即可。(前提..._excel导入pl/sql

Git常用命令速查手册-程序员宅基地

文章浏览阅读83次。Git常用命令速查手册1、初始化仓库git init2、将文件添加到仓库git add 文件名 # 将工作区的某个文件添加到暂存区 git add -u # 添加所有被tracked文件中被修改或删除的文件信息到暂存区,不处理untracked的文件git add -A # 添加所有被tracked文件中被修改或删除的文件信息到暂存区,包括untracked的文件...

分享119个ASP.NET源码总有一个是你想要的_千博二手车源码v2023 build 1120-程序员宅基地

文章浏览阅读202次。分享119个ASP.NET源码总有一个是你想要的_千博二手车源码v2023 build 1120

【C++缺省函数】 空类默认产生的6个类成员函数_空类默认产生哪些类成员函数-程序员宅基地

文章浏览阅读1.8k次。版权声明:转载请注明出处 http://blog.csdn.net/irean_lau。目录(?)[+]1、缺省构造函数。2、缺省拷贝构造函数。3、 缺省析构函数。4、缺省赋值运算符。5、缺省取址运算符。6、 缺省取址运算符 const。[cpp] view plain copy_空类默认产生哪些类成员函数

推荐文章

热门文章

相关标签