用户登录
用户注册

分享至

impala服务

  • 作者: 海无边
  • 来源: 51数据库
  • 2020-10-04
可以通过映射表方式实现。下面说得略细,需要耐心看并做参考:
首先要知道目前(2017.05.04)kudu没有timestamp与decimal类型,需要用其它类型代替,比如timestamp可以用长bigint代替,decimal可以用double型代替。
如果想在kudu中创建一个新表,并将数据导入到这个新表中,那么比较简单的方式是通过impala建立kudo的内部映射表,因为建立内部映射表过程会同时建立一个kudu新表并在impala中建立一个内部映射表,建立方法如下:
首先保证kudu正确安装并且master与tserver服务都正常运行,然后在impala shell中输入
create table table_name (
column1 type primary key ...,
column2 type,
...
)
partition by hash(column1) partitions n stored as kudu;
这样就在kudu中建立好表了,下一步就可以通过impala的映射表向这个kudu表中导入数据了(table_name要用自己取的表名代替,columnN也要用自己取的列名代替。)(如果建立列集主键,方式为primary key(column1, column2, column3),具体如何建立这里就不细说了)(顺便说一下:这样建立的kudu中的表名为:impala::database_name.table_name)。
如果kudu中已经存在一个现有表,您想将impala表中数据导入到这个现有kudu表中,那么需要在impala中建立外部映射表,方法是:
create external table table_name
stored as kudu
tblproperties('kudu.table_name' = 'kudu中的table_name');
这样就建立完成了。
在impala shell 中执行:
insert into table_name select * from 你的impala表;

就可以将你的表数据导入到新表了。
最后提及:kudu表必须有主键或者列集主键,可能你的表没有主键或列集主键,而你的表第一列或对应列集的前几列又有重复数据,这种情况下你的表导入后会有数据丢失,比较简单的解决方法是:
在建立kudu表时增加一个专门的主键,放在第一列。然后:
insert into table_name select row_number() over(order by 你的impala表中任意一列名), * from 你的impala表;



  HDFS和HBase两个系统把持着,一直没有太大突破。在追求高吞吐的批处理场景下,我们选用HDFS,在追求低延迟,有随机读写需求的场景下,我们选用HBase,那么是否存在一种系统,能结合两个系统优点,同时支持高吞吐率和低延迟呢?有人尝试修改HBas

再看看别人怎么说的。
软件
前端设计
程序设计
Java相关