六台机器,每台 64G,在 Hive 执行一条语句 select count(1) from table; 表数据大约 20 亿条。。存储大约 2T,三副本是 6T 。
这一条语句 Hive 直接报错了,看起来是资源不足报的,想问下大佬们有没有解决办法,hive 执行 sql,把数据都放内存吗?我得配 2T 的内存?能不能一批批处理,这也太消耗资源了。。而且只是一个简单的 count(1)。。
报错截图如下
https://i.imgur.com/IytKHjm.png
https://i.imgur.com/vCrafEn.png
这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。
V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。
V2EX is a community of developers, designers and creative people.