Cloud Storage FUSE

이 문서에서는 애플리케이션이 표준 파일 시스템 시맨틱스를 사용하여 버킷의 객체를 읽고 쓸 수 있도록 Cloud Storage 버킷을 로컬 파일 시스템으로 마운트하고 액세스할 수 있게 해주는 FUSE 어댑터인 Cloud Storage FUSE에 대해 간략히 설명합니다.

이 문서에는 항상 Cloud Storage FUSE의 최신 버전이 반영됩니다. 최신 버전에 대한 자세한 내용은 GitHub에서 Cloud Storage FUSE 출시를 참조하세요.

Cloud Storage FUSE는 Google에서 지원하는 오픈소스 제품입니다. Cloud Storage FUSE는 FUSE 및 Cloud Storage API를 사용하여 버킷을 파일 시스템의 로컬 마운트된 폴더로 투명하게 노출시킵니다.

Cloud Storage FUSE를 사용하려면 Linux 또는 Linux용 Windows 하위 시스템과 같은 호환 운영체제가 있는 머신에 Cloud Storage FUSE 패키지를 설치하고, 적절한 Google Cloud 인증 및 권한을 확인한 후 gcsfuse 명령어를 실행하여 특정 Cloud Storage 버킷을 로컬 디렉터리에 마운트합니다.

Cloud Storage FUSE는 다른 Google Cloud 서비스와 통합됩니다. 예를 들어 Cloud Storage FUSE CSI 드라이버를 사용하면 Google Kubernetes Engine(GKE) API를 통해 버킷을 볼륨으로 사용할 수 있으므로 Kubernetes 포드 내에서 Cloud Storage를 읽고 쓸 수 있습니다. 다른 통합에 관한 자세한 내용은 통합을 참고하세요.

Cloud Storage FUSE 작동 방식

Cloud Storage FUSE는 객체 스토리지 이름을 디렉터리와 유사한 구조로 변환하여 작동하며, 객체 이름의 슬래시 문자(/)를 디렉터리 구분 기호로 해석합니다. 공통 접두사가 동일한 객체는 동일한 디렉터리의 파일로 취급되므로 애플리케이션은 마운트된 버킷과 파일 시스템처럼 상호작용할 수 있습니다. 계층적 네임스페이스를 사용하여 객체를 논리적 파일 시스템 구조로 구성할 수도 있습니다. 이를 통해 객체를 폴더로 구성할 수 있습니다.

Cloud Storage FUSE는 Google Kubernetes Engine, Compute Engine VM, 온프레미스 시스템을 비롯해 Cloud Storage에 연결하여 어디서나 실행할 수 있습니다.

머신러닝용 Cloud Storage FUSE

Cloud Storage FUSE는 파일 시스템 시맨틱스가 필요한 애플리케이션에 적합한 성능과 확장성 특성을 가진 Cloud Storage 사용 사례에 적합합니다. 예를 들어 Cloud Storage FUSE는 데이터, 모델, 체크포인트, 로그를 Cloud Storage에 직접 저장할 수 있는 방법을 제공하므로 머신러닝(ML) 프로젝트에 유용합니다. 이와 관련된 상세 설명은 ML 워크로드용 Cloud Storage FUSE를 참조하세요.

Cloud Storage FUSE는 머신러닝(ML) 학습 및 모델 데이터를 Cloud Storage의 객체로 저장하고 액세스하려는 개발자가 일반적으로 사용합니다. Cloud Storage FUSE는 ML 프로젝트를 개발할 때 다음과 같은 몇 가지 이점을 제공합니다.

• Cloud Storage FUSE를 사용하면 Cloud Storage 버킷을 로컬 파일 시스템으로 마운트할 수 있으므로 애플리케이션이 표준 파일 시스템 시맨틱스를 사용하여 학습 및 모델 데이터에 액세스할 수 있습니다. 즉, Cloud Storage를 사용하여 ML 데이터를 저장할 때 애플리케이션 코드를 다시 작성하거나 리팩터링하는 비용을 방지할 수 있습니다.

• 학습부터 추론에 이르기까지 Cloud Storage FUSE를 사용하면 Cloud Storage의 기본 제공되는 높은 확장성, 성능, 비용 효율성을 사용하여 ML 워크로드를 대규모로 실행할 수 있습니다.

• Cloud Storage FUSE를 사용하면 Cloud Storage의 데이터에 직접 액세스할 수 있는 컴퓨팅 리소스를 제공하여 학습 작업을 빠르게 시작할 수 있으므로 컴퓨팅 리소스에 학습 데이터를 다운로드할 필요가 없습니다.

자세한 내용은 Cloud Storage FUSE에서 지원하는 프레임워크, 운영체제, 아키텍처를 참조하세요.

프레임워크, 운영체제, 아키텍처

Cloud Storage FUSE는 다음 프레임워크로 검증되었습니다.

• TensorFlow V2.x

• TensorFlow V1.x

• PyTorch V2.x

• PyTorch V1.x

• JAX 0.4.x

Cloud Storage FUSE는 다음 운영체제 및 아키텍처를 지원합니다.

• Rocky Linux 8.9 이상

• Ubuntu 18.04 이상

• Debian 10 이상

• CentOS 7.9 이상

• RHEL 7.9 이상

• SLES 15 이상

• x86_64

• ARM64

다른 Google Cloud 제품과의 통합

Cloud Storage FUSE는 다음 Google Cloud 제품과 통합됩니다.

제품	Cloud Storage FUSE 통합 방법
AI 하이퍼컴퓨터	Cloud Storage FUSE는 버킷을 로컬 파일 시스템으로 마운트하고 파일 시스템 서비스보다 비용 효율적으로 데이터 스토리지를 확장할 수 있으므로 AI 및 ML 사용 사례에 권장됩니다. 자세한 내용은 스토리지 서비스를 참조하세요.
Batch	Cloud Storage FUSE를 사용하면 일괄 작업을 만들고 실행할 때 Cloud Storage 버킷을 스토리지 볼륨으로 마운트할 수 있습니다. 작업 정의에서 버킷을 지정하면 작업이 실행될 때 버킷이 작업의 VM에 자동으로 마운트됩니다.
Cloud Composer	환경을 만들면 Cloud Composer가 워크플로 및 Cloud Storage 버킷의 특정 폴더에 있는 해당 종속 항목의 소스 코드를 저장합니다. Cloud Composer는 Cloud Storage FUSE를 사용하여 버킷의 폴더를 Cloud Composer 환경의 Airflow 구성요소에 매핑합니다.
Cloud Run	Cloud Run을 사용하면 Cloud Storage 버킷을 볼륨으로 마운트하고 버킷 콘텐츠를 컨테이너 파일 시스템에 파일로 표시할 수 있습니다. 볼륨 마운트를 설정하려면 Cloud Storage 볼륨 마운트를 참조하세요.
Cluster Toolkit	Cluster Toolkit을 사용하면 Cloud Storage 버킷을 파일 시스템으로 만들거나 마운트할 수 있습니다. 적절한 모듈을 사용하여 청사진 YAML 파일에서 버킷을 지정할 수 있습니다. 그런 다음 배포가 실행될 때 버킷이 자동으로 생성되거나 마운트됩니다.
Dataflow	Cloud Storage FUSE를 사용하여 Cloud Storage 버킷을 작업자 파일 시스템에 직접 마운트하면 Dataflow 기반 Apache Beam 파이프라인 코드가 표준 파일 시스템 시맨틱스를 사용하여 Cloud Storage의 파일에 직접 액세스할 수 있습니다. 이는 대규모 데이터 세트와 파일 액세스가 필요한 소프트웨어가 포함된 AI/ML 작업에 Dataflow를 사용하는 경우에 특히 유용합니다.
Deep Learning Containers	Deep Learning Containers용 Cloud Storage 버킷을 마운트하려면 Cloud Storage FUSE CSI 드라이버(권장)를 사용하거나 Cloud Storage FUSE를 설치하면 됩니다.
Deep Learning VM Image	Cloud Storage FUSE에는 Deep Learning VM Image가 사전 설치되어 있습니다.
Google Kubernetes Engine(GKE)	Cloud Storage FUSE CSI 드라이버는 Cloud Storage FUSE 및 Kubernetes API의 통합을 관리하여 Cloud Storage 버킷을 볼륨으로 사용합니다. Cloud Storage FUSE CSI 드라이버를 사용하여 버킷을 Google Kubernetes Engine 노드에 파일 시스템으로 마운트할 수 있습니다.
Vertex AI 학습	Vertex AI에서 커스텀 학습을 수행할 때 Cloud Storage 버킷의 데이터를 마운트된 파일 시스템으로 액세스할 수 있습니다. 자세한 내용은 Cloud Storage FUSE로 Cloud Storage 파일 읽기 및 쓰기를 참조하세요.
Vertex AI Workbench	Vertex AI Workbench 인스턴스에는 JupyterLab 인터페이스 내에서 버킷을 탐색하고 Cloud Storage에 있는 호환 파일로 작업할 수 있는 Cloud Storage 통합이 포함되어 있습니다. Cloud Storage 통합을 사용하면 Vertex AI Workbench 인스턴스와 동일한 프로젝트 내에서 액세스할 수 있는 모든 Cloud Storage 버킷 및 파일에 액세스할 수 있습니다. 통합을 설정하려면 JupyterLab에서 Cloud Storage 버킷 및 파일에 액세스하는 방법에 관한 Vertex AI Workbench 안내를 참고하세요.

일반적으로 Cloud Storage와 통합되는 Google Cloud 제품 목록은 Google Cloud 서비스 및 도구와의 통합을 참고하세요.

캐싱

Cloud Storage FUSE는 성능을 높이고 비용을 줄이는 데 도움이 되는 네 가지 유형의 캐싱(파일 캐싱, 통계 캐싱, 유형 캐싱, 목록 캐싱)을 제공합니다. 이러한 캐시에 관한 자세한 내용은 캐싱 개요를 참고하세요.

디렉터리 시맨틱스

Cloud Storage는 플랫 네임스페이스가 있는 버킷과 계층적 네임스페이스가 사용 설정된 버킷을 제공합니다. 기본적으로 Cloud Storage FUSE는 계층적 네임스페이스가 사용 설정된 버킷에서 명시적으로 정의된 디렉터리(폴더라고도 함)를 추론할 수 있지만, 시뮬레이션된 폴더 및 관리형 폴더를 포함하여 플랫 네임스페이스가 있는 버킷에서는 암시적으로 정의된 디렉터리를 추론할 수 없습니다.

명시적으로 정의된 디렉터리는 Cloud Storage 버킷에 자체 객체로 표시되는 폴더입니다. 암시적으로 정의된 디렉터리는 Cloud Storage 버킷에 자체 객체가 없는 디렉터리입니다.

예를 들어 my-directory/가 시뮬레이션된 폴더인 my-directory/my-object.txt 객체가 포함된 my-bucket이라는 버킷을 마운트한다고 가정해 보겠습니다. 버킷 마운트 지점에서 ls를 실행하면 기본적으로 Cloud Storage FUSE가 시뮬레이션된 디렉터리 my-bucket/my-directory/나 그 안에 있는 객체 my-object.txt에 액세스할 수 없습니다. Cloud Storage FUSE가 시뮬레이션된 폴더와 그 안의 객체를 추론할 수 있도록 하려면 플랫 네임스페이스 버킷을 마운트할 때 gcsfuse mount 명령어의 일부로 --implicit-dirs gcsfuse 옵션 또는 implicit-dirs 구성 파일 필드를 포함하세요.

파일 시스템을 사용하여 데이터를 저장하고 액세스해야 하는 경우 계층적 네임스페이스가 사용 설정된 버킷을 사용하세요. 이러한 버킷을 만드는 방법을 알아보려면 계층적 네임스페이스가 사용 설정된 버킷 만들기를 참조하세요.

암시적으로 정의된 디렉터리를 사용하여 버킷을 마운트하는 방법을 포함하여 디렉터리 시맨틱스에 대한 자세한 내용은 Cloud Storage FUSE GitHub 문서의 파일 및 디렉터리를 참조하세요.

Cloud Storage FUSE 재시도 전략

기본적으로 Cloud Storage FUSE에서 Cloud Storage로의 실패한 요청은 기본적으로 값이 30s(30초)인 지정된 최대 백오프 기간까지 지수 백오프로 재시도됩니다. 백오프 기간이 지정된 최대 기간을 초과하면 지정된 최대 기간 동안 재시도가 계속됩니다. --max-retry-sleep 옵션 또는 gcs-retries:max-retry-sleep 필드를 gcsfuse mount 호출의 일부로 사용하여 백오프 기간을 지정할 수 있습니다.

정체된 GET 또는 READ 요청의 재시도 전략

Cloud Storage FUSE를 사용하여 GET 또는 READ 요청을 수행하면 제한 시간이 적용됩니다. 요청이 제한 시간을 초과하면 Cloud Storage FUSE는 요청을 취소하고 지수 백오프 알고리즘을 사용하여 재시도합니다.

제한 시간은 동적이며, 최소 1.5초로 과거에 성공하거나 취소된 GET 또는 READ 요청의 99번째 백분위수 지연 시간을 기반으로 합니다. 이렇게 하면 가장 느린 요청의 1%, 즉 99번째 백분위수 이전 지연 시간을 초과하는 요청만 재시도됩니다.

정체된 업로드에 대한 재시도 전략

대용량 파일 쓰기는 청크 단위로 업로드됩니다. 꼬리 쓰기 지연 시간을 줄이기 위해 청크 수준 쓰기 작업이 중단되거나 실패하면 Cloud Storage FUSE는 10초 후에 다시 시도합니다. 중단된 각 청크에 대해 최대 4회의 재시도 작업이 실행됩니다.

Cloud Storage 작업과 연결된 Cloud Storage FUSE 작업

또한 Cloud Storage FUSE를 사용하여 작업을 수행할 때는 Cloud Storage FUSE 작업과 연관된 Cloud Storage 작업을 수행합니다. 다음 표에서는 일반적인 Cloud Storage FUSE 명령어 및 연관된 Cloud Storage JSON API 작업을 설명합니다. gcsfuse 명령어에서 --log-severity 옵션 또는 logging:severity 필드를 TRACE로 설정하여 Cloud Storage FUSE 작업에 대한 정보를 표시할 수 있습니다.

명령어	JSON API 작업
gcsfuse --log-severity=TRACE example-bucket mp	Objects.list(사용자 인증 정보 확인)
cd mp	해당 사항 없음
ls mp	Objects.list("")
mkdir subdir	Objects.get("subdir") Objects.get("subdir/") Objects.insert("subdir/")
cp ~/local.txt subdir/	Objects.get("subdir/local.txt") Objects.get("subdir/local.txt/") Objects.insert("subdir/local.txt"), 빈 객체 만들기 Objects.insert("subdir/local.txt"), 쓰기 완료 후 닫을 때
rm -rf subdir	Objects.list("subdir") Objects.list("subdir/") Objects.delete("subdir/local.txt") Objects.list("subdir/") Objects.delete("subdir/")

측정항목

Cloud Storage는 Cloud Storage FUSE 성능과 비용을 최적화하는 데 도움이 되는 심층적인 측정항목을 제공합니다. Cloud Storage FUSE 측정항목에 대해 자세히 알아보려면 Cloud Storage FUSE 측정항목을 참조하세요.

보안

Cloud Storage FUSE는 애플리케이션 기본 사용자 인증 정보를 통해 Google Cloud의 표준 인증을 적용하여 사용자 또는 서비스 계정을 식별합니다. 버킷 내 콘텐츠에 대한 액세스는 Identity and Access Management 권한에 따라 관리됩니다. 로컬 시스템 권한은 마운트 지점 자체와 로컬로 캐시된 데이터를 보호합니다.

Cloud Storage FUSE 가격 책정

Cloud Storage FUSE는 무료로 사용할 수 있습니다. 하지만, Cloud Storage에서 발생하는 네트워크 I/O, 스토리지, 메타데이터에는 다른 Cloud Storage 인터페이스와 같이 요금이 청구됩니다. 즉, Cloud Storage FUSE에서 수행하는 모든 데이터 전송과 작업은 Cloud Storage 전송과 작업에 매핑되며 그에 따라 요금이 청구됩니다. 일반적인 Cloud Storage FUSE 작업과 Cloud Storage 작업에 대한 매핑 방법에 대한 자세한 내용은 작업 매핑을 참조하세요.

예정이 없던 요금이 청구되지 않도록 Cloud Storage FUSE 사용으로 인한 Cloud Storage 요금이 얼마인지 파악해야 합니다. 예를 들어, Cloud Storage FUSE를 사용하여 로그 파일을 저장하는 경우, 로그가 동시에 수백 또는 수천 개의 시스템에서 공격적으로 밀려들면 요금이 빠르게 증가할 수 있습니다.

스토리지, 네트워크 사용량, 작업과 같은 요금에 대한 자세한 내용은 Cloud Storage 가격 책정을 참조하세요.

제한사항

Cloud Storage FUSE에 파일 시스템 인터페이스가 있기는 하지만 백엔드의 NFS 또는 CIFS 파일 시스템과는 다릅니다. 또한 Cloud Storage FUSE는 POSIX 규정을 준수하지 않습니다. Google Cloud의 POSIX 파일 시스템 제품은 Filestore를 참고하세요.

Cloud Storage FUSE를 사용할 때는 POSIX 파일 시스템과 다른 제한사항 및 시맨틱스에 유의하세요. Cloud Storage FUSE는 해당 기능 내에서만 사용해야 합니다.

알려진 문제

Cloud Storage FUSE의 알려진 문제 목록은 GitHub의 미해결 Cloud Storage FUSE 문제를 참조하세요.

지원 받기

Google Cloud의 공식 지원 채널 중 하나를 사용하여 지원을 받고, 일반적인 질문을 제출하고, 새로운 기능을 요청할 수 있습니다. GitHub에서 문제를 제출하여 지원을 받을 수도 있습니다.

일반적으로 발생하는 문제에 대한 해결 방법은 Cloud Storage FUSE GitHub 문서의 프로덕션 문제 해결을 참조하세요.

다음 단계

• Cloud Storage FUSE CLI 설치 방법 알아보기

• 빠른 시작을 완료하여 Cloud Storage FUSE 살펴보기

• 버킷 마운트 방법 알아보기

• gcsfuse CLI 또는 Cloud Storage FUSE 구성 파일을 사용하여 Cloud Storage FUSE의 동작을 구성하는 방법 알아보기