对象存储 OSS:什么是OSS-HDFS服务

beat365下载地址 ⌚ 2025-11-03 01:25:51 👤 admin 👁️ 2933 ❤️ 810
对象存储 OSS:什么是OSS-HDFS服务

注意事项警告 当您为某个Bucket开通OSS-HDFS服务后,OSS-HDFS服务数据将保留在Bucket的.dlsdata/目录下。禁止以非OSS-HDFS提供的方式对该目录及其下的Object执行写入操作,如重命名、删除等,以避免影响服务或数据丢失。

开通OSS-HDFS服务后,您在使用涉及.dlsdata/目录写入操作的OSS其他功能时,可能存在数据丢失、数据污染、数据无法正常访问等风险。更多信息,请参见使用前须知。

费用说明数据使用费用

使用OSS-HDFS服务时,数据块采用了OSS的存储方式。因此,OSS的计量计费方式适用于OSS-HDFS服务中的数据块。更多信息,请参见计费概述。

功能优势通过OSS-HDFS服务,无需对现有的Hadoop、Spark大数据分析应用做任何修改。通过简单的配置即可像在原生HDFS中那样管理和访问数据,同时获得OSS无限容量、弹性扩展、更高的安全性、可靠性和可用性支撑。

作为云原生数据湖基础,OSS-HDFS在满足EB 、亿级文件管理服务、TB级吞吐量的同时,全面融合大数据存储生态,除提供对象存储扁平命名空间之外,还提供了分层命名空间服务。分层命名空间支持将对象组织到一个目录层次结构中进行管理,并能通过统一元数据管理能力进行内部自动转换。同时相较于传统HDFS的元数据管理节点NameNode的主备冗余方式,OSS-HDFS的元数据管理采用多节点多活冗余机制,具备更好的数据冗余能力。对Hadoop用户而言,无需做数据复制或转换就可以实现像访问本地HDFS一样高效的数据访问,极大提升整体作业性能,降低了维护成本。

功能特性功能特性

说明

参考文档

RootPolicy

您可以通过RootPolicy为OSS-HDFS服务设置自定义前缀,在无需修改原有访问hdfs://前缀作业的基础上,将作业直接运行在OSS-HDFS服务上。

通过RootPolicy访问

ProxyUser

ProxyUser命令用于授权一个用户代表其他用户进行文件系统操作。例如,某些敏感数据只允许授权的特定用户代表其他用户进行访问和操作。

ProxyUser(配置代理用户)

UserGroupsMapping

UserGroupsMapping用于配置用户和用户组之间的映射关系。

UserGroupsMapping(管理用户和用户组映射)

应用场景OSS-HDFS服务提供全面的大数据和AI生态支持,其主要应用场景如下:

Hive、Spark离线数仓OSS-HDFS服务原生支持文件、目录语义和操作,添加文件和目录权限,支持目录原子性、毫秒级rename操作,支持通过setTimes设置时间,扩展属性(XAttrs)、ACL以及本地读缓存加速等特性。适用于开源Hive、Spark离线数仓。在ETL场景下相较于OSS标准存储类型Bucket,OSS-HDFS服务具有更大的性能优势。

OLAPOSS-HDFS服务提供append、truncate、flush、sync、pwrite等基础文件操作。通过JindoFuse充分支持POSIX,可以在ClickHouse这类OLAP场景中替换本地磁盘来实现存储与计算分离方案。同时,得益于缓存系统进行加速,达到较优性价比。

HBase存储与计算分离OSS-HDFS服务原生支持文件、目录语义和操作,并支持flush操作,可用于替代HDFS用做HBase存储与计算分离方案。相比HBase结合OSS标准存储类型Bucket的方案,HBase结合OSS-HDFS服务依赖HDFS来存放WAL日志,大幅简化整体方案架构。更多信息,请参见使用OSS-HDFS作为HBase的底层存储。

实时计算OSS-HDFS服务高效支持flush和truncate操作,可无缝替代HDFS在Flink实时计算应用场景下用做Sink、Checkpoint存储方案。

数据迁移OSS-HDFS服务作为新一代云原生数据湖存储,支持IDC HDFS平迁上云,优化HDFS使用体验,同时享受弹性伸缩、按需付费的成本效益,大幅优化存储成本。JindoDistCp工具支持将HDFS文件数据(包括文件属性等元数据)无缝迁入OSS-HDFS 服务,并基于HDFS Checksum提供快速比对。

引擎支持列表生态类型

引擎/平台

参考文档

开源生态

Flink

开源Flink使用JindoSDK处理OSS-HDFS服务的数据

Flume

Flume使用JindoSDK写入OSS-HDFS服务

Hadoop

Hadoop使用JindoSDK访问OSS-HDFS服务

HBase

HBase使用OSS-HDFS服务作为底层存储

Hive

Hive使用JindoSDK处理OSS-HDFS服务中的数据

Impala

Impala使用JindoSDK查询OSS-HDFS服务中的数据

Presto

Trino使用JindoSDK查询OSS-HDFS服务中的数据

Spark

Spark使用JindoSDK查询OSS-HDFS服务中的数据

阿里云生态

EMR

在EMR Hive或Spark中访问OSS-HDFS

Flink

EMR Flink可恢复性写入OSS-HDFS服务

实时计算Flink读写OSS或者OSS-HDFS

Flume

使用Flume同步EMR Kafka集群的数据至OSS-HDFS服务

HBase

HBase以EMR集群的方式使用OSS-HDFS服务作为底层存储

Hive

Hive以EMR集群的方式处理OSS-HDFS服务中的数据

Impala

Impala以EMR集群的方式查询OSS-HDFS服务中的数据

Presto

Trino以EMR集群的方式查询OSS-HDFS服务中的数据

Spark

Spark以EMR集群的方式处理OSS-HDFS服务中的数据

Sqoop

Sqoop以EMR集群的方式读写OSS-HDFS服务的数据

相关数据

荒野行动的信号区是什么意思?

荒野行动的信号区是什么意思?

在荒野行动中,我们要学习很多游戏相关的指令,从而帮助我们更好地战斗,因为那些简短的指令可以帮助我们更好地与伙伴沟通,传递信息,

09-14 beat365下载地址
结尾感言与下一本计划。

结尾感言与下一本计划。

热搜小说: 唐家三少 天蚕土豆 我吃西红柿 辰东 首页 短篇小说 中篇小说 长篇小说 最新小说 小说排行榜 玄幻 言情 穿越 重生 架空 总裁 武侠

10-26 beat365下载地址
iPhone主機板維修

iPhone主機板維修

iPhone主機板壞掉的8個徵兆 1.從螢幕顯示判斷若螢幕無法顯示、黑半邊,或畫面出現陰陽屏,也就是邊角或中央出現一片漸層的黑影,部分不亮,

10-03 365体育欧洲版本
男士太阳镜十大品牌【2025年最新排行榜】

男士太阳镜十大品牌【2025年最新排行榜】

太阳镜如何挑选?试戴才是王道! 夏日炎炎,很多姑娘出门恨不得把自己包裹地严严实实的,让阳光、紫外线一点都照不到自己。前面呢,小编

10-25 365体育欧洲版本
3、饥荒绳子怎么做?

3、饥荒绳子怎么做?

《饥荒》里的绳子怎么搞到你需要采草,就是那种基本随处可见的,多于兔子窝旁,然后在合成栏里的材料合成,望采纳 。 2、饥荒绳子怎么合

09-14 beat365下载地址
《魔兽世界》乌龟服战士和法师职业推荐

《魔兽世界》乌龟服战士和法师职业推荐

魔兽世界乌龟服战士和法师在不同的阶段好玩的程度是不一样的,新手可能会觉得战士好玩一些,因为操作简单伤害还可以。再往后玩玩大部分

07-27 365体育欧洲版本