用户登录
用户注册

分享至

impala kudu配置

  • 作者: 嗷嗷de奥特曼
  • 来源: 51数据库
  • 2020-10-04
没有数据分析流式计算的经验,根据对kv存储系统的理解,简单答一发,轻拍。。数据存储的选择上,HBASE和HADOOP在吞吐率、延迟上各有侧重,如果做数据分析,要从HBase导出到hadoop平台再用Hive查询,这就要求系统要混布HBASE和hadoop。KADU的目标就是要兼顾前两个存储系统,实现对外数据的存储和后台计算的本地化,减少数据传输成本已经部署运维成本。架构方面,还是延用BIGTABLE的基本架构,元数据和数据分开存储的,但做了一些比较有挑战的优化操作,提升查询和插入的性能另外的亮点是,多副本间使用了raft保证数据的高可靠性。性能方面,目前beta版本要略差与HBASE,这也是意料之中的事情。



  可以通过映射表方式实现。下面说得略细,需要耐心看并做参考:
首先要知道目前(2017.05.04)kudu没有timestamp与decimal类型,需要用其它类型代替,比如timestamp可以用长bigint代替,decimal可以用double型代替。
如果想在kudu中创建一个新表,并将数据导入到这个新表中,那么比较简单的方式是通过impala建立kudo的内部映射表,因为建立内部映射表过程会同时建立一个kudu新表并在impala中建立一个内部映射表,建立方法如下:
首先保证kudu正确安装并且master与tserver服务都正常运行,然后在impala shell中输入
create table table_name (
column1 type primary key ...,
column2 type,
...
)
partition by hash(column1) partitions n stored as kudu;
这样就在kudu中建立好表了,下一步就可以通过impala的映射表向这个kudu表中导入数据了(table_name要用自己取的表名代替,columnn也要用自己取的列名代替。)(如果建立列集主键,方式为primary key(column1, column2, column3),具体如何建立这里就不细说了)(顺便说一下:这样建立的kudu中的表名为:impala::database_name.table_name)。
如果kudu中已经存在一个现有表,您想将impala表中数据导入到这个现有kudu表中,那么需要在impala中建立外部映射表,方法是:
create external table table_name
stored as kudu
tblproperties('kudu.table_name' = 'kudu中的table_name');
这样就建立完成了。
在impala shell 中执行:
insert into table_name select * from 你的impala表;

就可以将你的表数据导入到新表了。
最后提及:kudu表必须有主键或者列集主键,可能你的表没有主键或列集主键,而你的表第一列或对应列集的前几列又有重复数据,这种情况下你的表导入后会有数据丢失,比较简单的解决方法是:
在建立kudu表时增加一个专门的主键,放在第一列。然后:
insert into table_name select row_number() over(order by 你的impala表中任意一列名), * from 你的impala表;
软件
前端设计
程序设计
Java相关