大厂的对象存储都是基于什么实现的呢？

2021 年 9 月 1 日
 acbot
腾讯云 COS，阿里云 OSS，HW OBS 这些对象存储服务是独立自主实现的，还是基于什么开源项目（比如 ：MinIO ）实现的呢？
10006 次点击
所在节点    云计算
34 条回复
Ianchen
2021 年 9 月 1 日
盲猜一个 Ceph
acbot
2021 年 9 月 1 日
@Ianchen 最早我感觉也是 Ceph 但是后来我发现 MinIO 更像 特别是 Rest Api 和 微服务结合方面
ccde8259
2021 年 9 月 1 日
Ceph……
自研一套 API 不用几个钱
digitv
2021 年 9 月 1 日
明确的告诉你，这三家都是自研的，ceph 这东西当当玩具可以，真正大规模的实践坑很多。存储是云计算的根基，在这块上各家都是重金投入，而且不存在兼容性的问题，自研好处多多。
moult
2021 年 9 月 1 日
腾讯和阿里有历史技术沉淀在，肯定自研的。像 HW，七牛这类厂商就不好说了。。。不过，感觉 ceph 和 minio 自用还可以，拿来卖服务还差口气儿。
tongz
2021 年 9 月 1 日
各位大佬, OSS 的话, 海量小文件存储靠谱吗, 单个文件平均在 1KB-10KB 之间, 每天产生 1 千万个左右, 还在持续增长, 写多读少
locoz
2021 年 9 月 1 日
底层可能部分用了 ceph，但是主体肯定是自己搞的，大厂又不差那点钱。
plko345
2021 年 9 月 1 日
@acbot 对象存储好像都是有标准的，api 和协议方面都差不太多，aws s3 也是，底层不一样，但提供给用户的接口一样，所以会有这种错觉
0ZXYDDu796nVCFxq
2021 年 9 月 1 日
主要是 s3 协议已经是事实上的业界标准了，不兼容就没人用
4BVL25L90W260T9U
2021 年 9 月 1 日
ceph 确实支撑不了多大的场景，但是也不至于到玩具的地步。头条 2017 年才从 ceph 切换到自研的。
boyhailong
2021 年 9 月 1 日
了解的成都好几个做云存储的都是 ceph 。。。。 而且也都商用了
dongqihong
2021 年 9 月 1 日
大体都分三层，接入层（ API 、各种业务逻辑），索引层（基于 LSM ），持久化存储层（分部署存储，类似 HDFS ）
阿里腾讯华为都大致如此，S3 早期也一样
WebKit
2021 年 9 月 1 日
@moult 七牛也是 go 开发，自研的
0ZXYDDu796nVCFxq
2021 年 9 月 1 日
AWS S3 这种，一个 bucket 放百亿量的文件，如何做检索的
opengps
2021 年 9 月 1 日
参考 aws 的对象存储
crowdwei
2021 年 9 月 2 日
Azure Storage:
https://azure.microsoft.com/en-us/blog/sosp-paper-windows-azure-storage-a-highly-available-cloud-storage-service-with-strong-consistency/
henvm
2021 年 9 月 2 日
对象存储不是基于对象的吗?
imbushuo
2021 年 9 月 2 日
https://dl.acm.org/doi/10.1145/2043556.2043571

scalable table as index + scalable persistent layer (stamp)，跟 SSD 的内部存储组织类似但是 scale 被放大了
acbot
2021 年 9 月 2 日
@boyhailong 曾经我看一个 私有云的商用产品存储方案也是用的 ceph
acbot
2021 年 9 月 2 日
@moult 也就是 一个中型公司自己服务用的话 ceph 和 minio 都没有问题是不？

这是一个专为移动设备优化的页面（即为了让你能够在 Google 搜索结果里秒开这个页面），如果你希望参与 V2EX 社区的讨论，你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://v2ex.xtra.eu.org/t/799276

V2EX 是创意工作者们的社区，是一个分享自己正在做的有趣事物、交流想法，可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX