数据都是一条一条的, 比如 user:123, hash:123
彼此之间没有联系.
然后会写入文件, 目前每天 400 G 的数据, 通过定时脚本上传到阿里云 OSS.
写入文件既是为了持久化, 也是为了其他组件读取数据出分析统计结果.
最近一年内数据膨胀很厉害, 已经从单日 40G 快速涨到了现在 400G, 预计后续还会持续上涨.
所以目前想改进一下方案.
大家有什么推荐么. 最好是基于 k8s, 能跨阿里云 google 云实现的.
我的需求关键字应该是
持久化数据
数据可供消费
持久化的时间需求应该是半年
 |
1
gz911122 Jun 14, 2019
写入数仓呗
这跟 k8s 没什么关系吧 阿里云有个 odps |
 |
2
xlent Jun 14, 2019
阿里云的 sls，直接当日之存呢，也能消费
|
 |
3
snappyone Jun 14, 2019
跟 k8s 有啥关系，跨 google 阿里云这个也很迷啊
|
|
4
snappyone Jun 14, 2019
另外这个需求挺适合 kafka 的
|
 |
5
lihongjie0209 Jun 14, 2019
和 k8s 有什么关系?
|
 |
6
pmispig Jun 14, 2019
先部署一个 k8s 再部署一个 es ?
|
 |
7
ai277014717 Jun 14, 2019
感觉没什么好改进的。可以尝试先消费数据？
|
 |
8
fireapp Jun 14, 2019 via iPhone
minio 走起，压缩 + 序列化
|
 |
9
jingxyy Jun 14, 2019
这么大的量 又有 olap 的消费需求 还是好好搞搞大数据那一套吧
|
 |
11
hihipp Jun 14, 2019 via iPhone
看楼主描述，每天文本数据并不是实时消费掉。
压缩文本数据，能节约好多空间，后续消费时只多了解压步骤。 压缩我推荐用 rar，设置恢复记录！！！ |
 |
12
goodryb Jun 14, 2019
压缩上传 oss，然后 odps 创建外部表，数据源就是 oss
如果不是经常查询老数据，可以设置定期转成归档存储，半年后自动删除 |
 |
14
tyoung Jun 14, 2019 via Android
MySQL+TokuDB 存储引擎，可以压缩 5 到 10 倍存储
|
 |
15
Giny Jun 14, 2019
emmm 跟 k8s 有关系 又是类似与键值对的形式 抱歉，我只能想到 etcd
|
 |
16
luozic Jun 15, 2019 via iPhone
键值对 ？还是啥值都有？ key：value 的 es 集群一天 400G 没多少，Postgres 也能塞。 其他的 请搜大数据咋存的我。
|
Select Language