Hadoop(HDFS)을 Docker로 구축하고, Python(Flask)을 사용하여 HDFS에 파일을 저장, 조회, 삭제하는 CRUD API를 만드는 과정

version: "3"

services:
  namenode:
    image: bde2020/hadoop-namenode:2.0.0-hadoop3.2.1-java8
    container_name: namenode
    restart: always
    ports:
      - 9870:9870 # WebHDFS 및 UI 포트
      - 9000:9000 # IPC 포트
    volumes:
      - namenode_data:/hadoop/dfs/name
    environment:
      - CLUSTER_NAME=test
      - HDFS_CONF_dfs_permissions_enabled=false # 권한 체크 비활성화 (테스트용)

  datanode:
    image: bde2020/hadoop-datanode:2.0.0-hadoop3.2.1-java8
    container_name: datanode
    restart: always
    volumes:
      - datanode_data:/hadoop/dfs/data
    environment:
      - SERVICE_PRECONDITION=namenode:9870
    depends_on:
      - namenode

volumes:
  namenode_data:
  datanode_data:

from flask import Flask, request, jsonify, send_file
from hdfs import InsecureClient
import io

app = Flask(__name__)

# Hadoop WebHDFS 연결 설정
# Docker가 로컬 9870포트로 포워딩 되어 있으므로 localhost:9870 사용
client = InsecureClient('http://localhost:9870', user='root')

@app.route('/')
def index():
    return "Hadoop HDFS CRUD API Server Running..."

# [R] List: 특정 디렉토리의 파일 목록 조회
@app.route('/files', methods=['GET'])
def list_files():
    path = request.args.get('path', '/') # 기본값은 루트('/')
    try:
        files = client.list(path)
        return jsonify({"path": path, "files": files})
    except Exception as e:
        return jsonify({"error": str(e)}), 404

# [R] Read: 파일 내용 읽기 (다운로드)
@app.route('/read', methods=['GET'])
def read_file():
    path = request.args.get('path')
    if not path:
        return jsonify({"error": "Path parameter is required"}), 400
    
    try:
        # HDFS에서 파일을 읽어옴
        with client.read(path) as reader:
            content = reader.read()
            return send_file(
                io.BytesIO(content),
                as_attachment=True,
                download_name=path.split('/')[-1],
                mimetype='application/octet-stream'
            )
    except Exception as e:
        return jsonify({"error": str(e)}), 404

# [C] Create: 파일 업로드
@app.route('/upload', methods=['POST'])
def upload_file():
    if 'file' not in request.files:
        return jsonify({"error": "No file part"}), 400
    
    file = request.files['file']
    target_path = request.form.get('path', '/') # 저장할 HDFS 경로 (기본: 루트)
    
    if file.filename == '':
        return jsonify({"error": "No selected file"}), 400

    full_path = f"{target_path.rstrip('/')}/{file.filename}"

    try:
        # write() 함수는 data, encoding 등을 받습니다. 
        # Flask FileStorage 객체의 스트림을 바로 넘기거나 read()하여 넘깁니다.
        client.write(full_path, file.read(), overwrite=True)
        return jsonify({"message": "Upload success", "hdfs_path": full_path}), 201
    except Exception as e:
        return jsonify({"error": str(e)}), 500

# [U] Update: 디렉토리 생성 (간단한 Update 예시)
# HDFS에서 파일 수정(Append)은 까다로우므로, 여기서는 디렉토리 생성(Mkdir)으로 대체합니다.
@app.route('/mkdir', methods=['POST'])
def make_directory():
    data = request.json
    path = data.get('path')
    
    if not path:
        return jsonify({"error": "Path is required"}), 400

    try:
        client.makedirs(path)
        return jsonify({"message": f"Directory {path} created"}), 201
    except Exception as e:
        return jsonify({"error": str(e)}), 500

# [D] Delete: 파일 또는 디렉토리 삭제
@app.route('/delete', methods=['DELETE'])
def delete_file():
    path = request.args.get('path')
    if not path:
        return jsonify({"error": "Path parameter is required"}), 400

    try:
        # recursive=True는 디렉토리 삭제 시 내부 파일까지 삭제
        result = client.delete(path, recursive=True)
        if result:
            return jsonify({"message": f"Deleted {path}"}), 200
        else:
            return jsonify({"error": "File not found or delete failed"}), 404
    except Exception as e:
        return jsonify({"error": str(e)}), 500

if __name__ == '__main__':
    app.run(debug=True, port=5000)

python app.py

curl -X POST http://localhost:5000/mkdir \
     -H "Content-Type: application/json" \
     -d '{"path": "/my_data"}'

curl -X POST http://localhost:5000/upload \
     -F "file=@test.txt" \
     -F "path=/my_data"

curl "http://localhost:5000/files?path=/my_data"

curl "http://localhost:5000/read?path=/my_data/test.txt"

curl -X DELETE "http://localhost:5000/delete?path=/my_data/test.txt"