wordpress有多少网站,网站建设教程最新资讯,自建网站经营者例子,黄骅市原来叫什么名字问题背景#xff1a; 1、在Kylin里跑一个较大的cube,其中这个cube是一个大表事实表#xff0c;关联两张维度表#xff0c;在第三步#xff1a; Extract Fact Table Distinct 报错#xff0c;查看Mapreduce的执行过程#xff0c;发现其中有4个Reduce执行失败#xff0c;…问题背景 1、在Kylin里跑一个较大的cube,其中这个cube是一个大表事实表关联两张维度表在第三步 Extract Fact Table Distinct 报错查看Mapreduce的执行过程发现其中有4个Reduce执行失败失败的报错是内存溢出多次调大reduce的内存以后 Kylin闪退。 2、多次启动kylin以后查看kylin.out 报 Dumping heap to java_pidxxx.hprof…. “java.lang.outofMemoryError:Requested array size exceeds VM limit” 查看 kylin.log 报仍然启动引起内存溢出的cube
原因分析 cube在关联字典表时本身事实表数据量比较大关联的字典表也比较大造成内存溢出Kylin闪退后重启仍然去跑这个cube。
解决方法 1、删除这个cube,或者把cube的状态改为disable由于Kylin无法启动通过api调用不成功可能通过Kylin管理手册的方式清除cube数据清除垃圾数据 2、由于确认事实表hive 表是测试表我采用了最粗暴的方式删除了这张hive表问题解决。
