Hadoop分布式文件系统(HDFS)是Hadoop框架的核心组件之一,主要用于存储海量数据。本教程将介绍HDFS的基本操作,帮助您快速上手。

1. HDFS基本概念

  • HDFS:Hadoop分布式文件系统(Hadoop Distributed File System)
  • 数据块:HDFS将文件切分成固定大小的数据块(默认128MB或256MB),这些数据块存储在集群的不同节点上。
  • 节点:HDFS集群由一个NameNode(主节点)和多个DataNode(从节点)组成。

2. HDFS操作

2.1 上传文件

使用hadoop fs -put命令将文件上传到HDFS:

hadoop fs -put /local/path/to/file /hdfs/path/to/file

2.2 下载文件

使用hadoop fs -get命令将文件从HDFS下载到本地:

hadoop fs -get /hdfs/path/to/file /local/path/to/file

2.3 列出文件

使用hadoop fs -ls命令列出HDFS中的文件和目录:

hadoop fs -ls /hdfs/path

2.4 创建目录

使用hadoop fs -mkdir命令创建HDFS中的目录:

hadoop fs -mkdir /hdfs/path/to/dir

2.5 删除文件

使用hadoop fs -rm命令删除HDFS中的文件:

hadoop fs -rm /hdfs/path/to/file

3. 扩展阅读

想要了解更多关于HDFS的知识,可以参考以下资源:

4. 图片

![Hadoop架构图](https://cloud-image.ullrai.com/q/Hadoop Architecture/)