一个入口
POSIX 挂载和 HCFS 看到的是同一棵目录树。应用和大数据作业不用各维护一套路径。
统一存储访问平台
多套存储
一个入口
本地目录、NFS、CIFS、对象存储和 HDFS 留在原地，收进同一棵目录树。应用按 POSIX 挂载访问，Spark、Hive、Flink 通过 HCFS 接入。
- 本地目录
- NFS
- CIFS
- 对象存储
- HDFS
- local本地目录
- nfsNFS v3 / v4
- shareCIFS / SMB
- bucketS3 / OSS
- hdfsHDFS
POSIX 挂载
应用 · 脚本 · 训练
HCFS
Spark · Hive · Flink
挂进来，而不是搬出去
需要统一访问的路径显式挂进 SynFlux。还没接进来的负载，继续直接走原来的系统。
不替换存量
原有存储继续服务未接入的业务。上 SynFlux 不等于迁数据，也不等于停机换库。
热点靠近计算
热点留在业务节点的本地磁盘，也可以放到独立的缓存集群。管理节点不转发数据。
私有化部署
装在你自己的环境里。数据面直连你的后端，不经过我们的云。
上面怎么用，下面接什么
两种入口，五类后端。对象存储和 HDFS 保持各自的语义，不在上面模拟完整 POSIX。
给应用
POSIX 挂载
应用、脚本和训练作业使用一个目录。读写、建目录和常用属性走这一层。
符号链接和硬链接在本地目录与 NFSv3 上。用户扩展属性在本地目录上。文件锁限于同一挂载点，不跨节点。
给大数据
HCFS
Spark、Hive、Flink 通过配置接入，业务代码不用改。
与 POSIX 挂载共享命名空间。大数据走 HCFS，SynFlux 不把自己伪装成一套 HDFS 集群。
热数据靠近计算
节点本地缓存
默认在关闭、刷盘或卸载成功后写入后端。若要求写成功时后端已经有数据，可以按目录改为直达后端。
独立缓存集群
缓存可以放到单独的机器上，与计算节点分开，容量按集群扩展。
跨节点可见性
同一节点上随后就能读到。其他节点要等这次关闭完成。这不是多机同时强一致的并行文件系统。
两种接法，同一套软件
存量
把现有存储挂进来
共享目录、对象桶和 HDFS 按路径进入同一棵树。应用改的是挂载点，不是底下的存储。
新建
用对象存储做容量
容量放在对象存储上，目录和缓存由 SynFlux 提供。应用仍然用 POSIX 或 HCFS。
- 运行中接入或移除后端
- 命令行和单集群控制台
- 管理节点可多副本
- 指标接入 Prometheus
- 控制面令牌，可选 LDAP / OIDC
先把边界说清楚
-
不替换现有存储 未接入的业务继续直连原系统。
-
不伪装成 HDFS 大数据通过 HCFS 接入，不提供假 NameNode。
-
不做跨节点强一致 其他节点在文件关闭之后可见。
-
数据留在你的环境 私有化部署，数据面直连你的后端。
金融、运营商，以及多套存储并存的团队