Hadoop分布式文件系统(HDFS)是Hadoop框架的核心组件之一,主要用于存储海量数据。本教程将介绍HDFS的基本操作,帮助您快速上手。
1. HDFS基本概念
- HDFS:Hadoop分布式文件系统(Hadoop Distributed File System)
- 数据块:HDFS将文件切分成固定大小的数据块(默认128MB或256MB),这些数据块存储在集群的不同节点上。
- 节点:HDFS集群由一个NameNode(主节点)和多个DataNode(从节点)组成。
2. HDFS操作
2.1 上传文件
使用hadoop fs -put
命令将文件上传到HDFS:
hadoop fs -put /local/path/to/file /hdfs/path/to/file
2.2 下载文件
使用hadoop fs -get
命令将文件从HDFS下载到本地:
hadoop fs -get /hdfs/path/to/file /local/path/to/file
2.3 列出文件
使用hadoop fs -ls
命令列出HDFS中的文件和目录:
hadoop fs -ls /hdfs/path
2.4 创建目录
使用hadoop fs -mkdir
命令创建HDFS中的目录:
hadoop fs -mkdir /hdfs/path/to/dir
2.5 删除文件
使用hadoop fs -rm
命令删除HDFS中的文件:
hadoop fs -rm /hdfs/path/to/file
3. 扩展阅读
想要了解更多关于HDFS的知识,可以参考以下资源:
4. 图片
