[SAA] Storage with On-premise

AWS Snow Family

• 물리적 마이그레이션 전용 스토리지
• 높은 보안, 이동 가능
• AWS 내부 - 외부 간의 데이터 마이그레이션 지원
• 엣지로 리소스를 전송하는 용도로도 사용. (이때는 빈통임)
• 완료 시 사용자 데이터 폐기
• Snowcone, Snowball edge, Snowmobile 등등

무선 마이그레이션의 단점

• 네트워크 비용이 매우 비싸다
• 오래 걸린다. (10TB per 3h)
• 대역과 연결도 한정돼 있음
• 장기간 전송에 대해 안정적으로 커넥션을 유지할 수 없다.
• 전용 회선을 깔수도 없음

Snowball edge

• TB, PB 이상의 데이터를 AWS 내/외부로 이동
• 용량 + 운송 작업 단위로 비용 나옴
• 블록 스토리지와 S3 호환 가능한 오브젝트 스토리지 제공
• 마이그레이션 뿐 아니라 재해복구, 데이터 센터 폐기에도 사용
• Snowball edge storage optimized: 80TB 하드디스크
• Snowball edge compute optimized: 42TB 하드디스크 or 28TB NVMe(일종의 저장장치)

Snowcone

• 작고 휴대 가능 (2.1kg)
• 튼튼하고 가혹한 환경에서 잘 견딤(온도, 기압 등)
• 엣지 컴퓨팅, 데이터 전송 및 보관에 사용
• 작은 공간에서 사용에 좋고, 저용량에 좋음
• 배터리와 케이블을 직접 제공
• AWS Data Sync를 통해 AWS로 재업로드 가능
• 물론 오프라인(물리)로도 가능
• Snowcone: 8TB 하드디스크
• Snowcone SSD: 14TB SSD

SnowMobile

• Exabyte 단위의 데이터를 이동하는 트럭 (GB > TB > PB > EB)
• 한 모빌 당 100PB 용량
• 높은 보안
• 온도조절, GPS, CCTV 등 지원됨
• 10PB 이상을 운송할거면 그냥 Snowball말고 이거 쓰자.

---

Amazon FSx

• 고성능, 고가용성 서드파티 파일시스템을 AWS에서 실행
• 완전 관리형 서비스
• Lustre, NetApp ONTAP, Windows File Server, OpenZFS 4가지 서비스에 대해 기존 워크로드 호환을 지원
• 기존 파일시스템을 스냅샷으로 복제할 때 사용
• AWS에서 외부 서비스(3rd party)와 온프레미스의 기존 워크로드를 유지하면서 이전하는 것에 의의
• 상대적으로 낮은 비용으로 처리 가능

FSx for Windows File Server

• 윈도우용 FSx 완전관리형 파일시스템 공유 드라이브
• SMB 프로토콜과 NTFS 사용
• MS의 Active Directory 확장 지원 (유저 권한 관리. ACL, 사용자 할당량 등을 공유함)
• Linux EC2 인스턴스에 마운트 가능
• MS의 분산파일시스템(DFS) 네임스페이스 지원 (여러 파일 시스템 간 파일 그룹핑)
• 최대 10GB/s, 백만 단위 IOPS(Input/Output Operations Per Second), 100PB 용량의 데이터까지 확장 가능
• 지연율이 낮아야 하면 SSD, 범용적으로 사용할 땐 HDD 사용
• VPN, Direct Connect(물리 회선)을 사용해서 온프레미스 인프라에서 연결 가능
• 멀티 AZ 설정 가능
• 일단위로 S3에 백업됨.

FSx for Lustre

• 병렬 분산 파일 시스템
• 대규모 컴퓨팅에서 사용됨
• 클러스터링을 통한 병렬 분산 처리를 리눅스 베이스로 만들어서 이름이 Lustre임
• 머신러닝, HPC와 같이 고성능을 요구하는 경우 사용.
• 100 GB/s, 백만단위 IOPS, ms 미만의 지연율
• 소규모, 불규칙적이고 많은 파일 작업이면 SSD(성능), 큰 파일을 직렬적으로 처리할 거면 HDD(처리량)
• FSx가 S3로부터 읽기용 파일시스템의 역할 가능.
• 반대로 FSx의 연산 결과를 S3에 쓸 수 있다.
• 온프레미스와 연동 가능
• 배포 옵션은 Scratch File System, Persist File System으로 나뉨
• Scratch File System
  • 임시 저장소
  • 데이터 복제 X
  • 속도 빠름
  • 단기간 처리 작업, 비용 최적화
• Persistent File System
  • 장기 보관
  • 데이터가 동일 AZ 내에서 복제
  • 실패한 파일을 1분 이내 대체
  • 장기간 처리하거나, 휘발되지 않아야 하는 데이터 처리에 사용

FSx for NetApp ONTAP

• NFS, SMB, iSCSI 프로토콜과 호환 가능
• OPTAP, NAS에 있는 워크로드를 AWS로 옮기는 용도
• 리눅스, 윈도우, 맥, AWS상 VMware 클라우드, 아마존 워크스페이스와 앱스트림 2.0, EC2, ECS, EKS와 호환
• 스토리지 자동 확장, 축소
• 스냅샷 생성 가능
• 복제 가능
• 저비용
• 압축 가능
• 데이터 중복 방지
• 특정 시점에 대해 동시에 복제 가능 (테스트 또는 신규 워크로드를 생성하는데 도움이 됨. S3에서도 봤었지)

FSx for Open ZFS

• NFS 파일 시스템과 대응됨 (v3, v4 ~ v4.2 버전 호환)
• 온프레미스의 ZFS 워크로드를 AWS로 옮길 때 사용
• 리눅스, 윈도우, AWS상 VMware 클라우드, 아마존 워크스페이스와 앱스트림 2.0, EC2, ECS, EKS와 호환
• 최대 10만 IOPS를 0.5ms 이하의 지연시간 내에서 처리 (엄청난 성능)
• 스냅샷, 압축, 낮은 비용이 장점
• 특정 시점에 대해 동시 복제 가능

---

Hybrid Cloud

• 일부 인프라는 클라우드, 일부는 온프레미스
• 클라우드 이전 과전 중간 단계, 보안적인 요구사항, 컴플라이언스 요구사항 등등 사용 목적을 갖는다.
• 하이브리드를 위해 저장소 S3에 온프레미스와 호환되기 위한 추가 서비스가 필요하다.

Storage Gateway

• 온프레미스와 클라우드 간의 다리 역할
• 재해 복구, 온프레미스에 캐싱 등의 목적으로 쓸 수 있겠지
• Block Storage, File Storage, Object Storage와 연동할 수 있는 시스템들이 있다

S3 File Gateway

• S3 버킷에 NFS or SMB 프로토콜을 기반으로 접근할 수 있도록 설정 (암튼 네트워크 기반 파일 공유 시스템)
• 파일 게이트웨이에 가장 최근에 사용한 데이터가 캐시됨 (속도 증가)
• S3 Standard, IA, One Zone IA, Intelligent Tiering 지원
• S3 라이프사이클 정책을 통해 Glacier로 전송할 수 있다. (직접 연결은 안되지만 자동 강등되면 보내지는 듯)
• Gateway의 IAM role로 버킷에 대한 접근 제어
• SMB 프로토콜의 경우, 사용자 인증시 Active Directory와 호환

FSx File Gateway

• FSx 윈도우 파일서버와 자체적으로 연결
• 자주 접근하는 데이터 캐시
• 윈도우 자체 기능과 호환 (SMB, NTFS, Active Directory 등)
• 공유된 파일 또는 자체적인 파일을 그룹화하는데 유용

Volume Gateway

• iSCSI 프로토콜을 이용해 S3를 백단에 두고 사용하는 블록 스토리지
• EBS 스냅샷을 이용해 데이터 백업 및 복구. 아마 Volume 스토리지를 object 스토리지인 S3에 저장하는 방식이 EBS 스냅샷인듯.
• 가장 최근 데이터를 캐싱
• 모든 데이터가 온프레미스에 있고 일정 주기마다 S3에 백업

Tape Gateway

• 물리적 테이프를 기반으로 백업
• VTL(Virtual Tapes Library)가 S3 또는 Glacier로 데이터로 백업. Tape 데이터를 Object 스토리지인 S3에 넣기 위해 VTL 형식으로 넣는 것으로 보임
• 기존 테이프기반 처리과정을 통해 데이터 백업(iSCSI 인터페이스)
• 주요 백업 소프트웨어 벤더들과 호환

하드웨어 장치

• 스토리지 게이트웨이들은 온프레미스 가상화 필요
• 지금까지의 게이트웨이들은 소프트웨어 해결 방식. 이런 소프트웨어가 깔린 하드웨어가 필요한 경우에는 기기를 신청할 수 있다.
• 스토리지 게이트웨이 하드웨어 기기는 아마존닷컴에서
• 파일, 볼륨, 테이프 게이트웨이와 호환가능
• 요구되는 CPU, 메모리, 네트워크, SSD 자원들 있음
• 소규모 데이터 센터의 일단위 NFS 백업에 유용

---

AWS Transfer Family

• EFS 또는 S3에 데이터를 넣거나 빼기 위한 완전 관리형 파일 전송 서비스
• FTP, FTPS(SSL기반), SFTP를 위한 서비스로 나뉨
• 확장 가능, 고가용성, 신뢰성
• 프로비저닝된 엔드포인트 사용 시간 + 데이터 전송 GB 단위로 비용 청구
• 서비스 내부에서 사용자 민감 정보 관리 및 저장
• 기존 인증 시스템들과 호환 가능
• 파일공유, 공개된 데이터, CRM, ERP 등에서 사용

---

AWS Data Sync

• 대용량 데이터 이전 용도
• 클라우드 외부(온프레미스, 타사 클라우드 등)에서 이동하면 별도의 에이전트 필요 (에이전트가 설치된 SnowFamily 사용 가능)
• AWS 내부에서 이종 스토리지 서비스 간 이동은 에이전트 불필요
• 동기화 대상
  • 모든 스토리지 클래스에서 사용 가능 (Glacier 포함)
  • EFS
  • 모든 종류 FSx
• 시간, 일간, 주간 단위로 복제 태스크 스케줄링 가능
• 파일 권한 및 메타데이터 유지 (NFS POSIX, SMB 등의 권한)
• 한개의 에이전트가 10Gbps 대역 사용 가능
• 에이전트 별로 전송량 제한 가능

---

알면 좋은 것들

• NAS와 File Server 모두 네트워크를 통한 파일 공유 시스템이지만, NAS가 더 가볍고 저비용임. NAS 전용 스토리지 장치에서 NAS OS를 사용함.File Server는 특정 OS 위에서 돌고 파일 공유 외의 다른 역할도 수행.
• NFS는 NAS의 프로토콜 중 하나임
• 볼륨 스토리지를 읽는 프로토콜은 iSCSI
• 개인적으로 헷갈렸던 부분 표로 정리됨

세 서비스의 차이