004. [AWS] 저장소(Storage)

01. Storage 이해하기

(01) Storage 종류

  • 파일 스토리지
    우리가 알고있는 일반적인 스토리지 이다. 폴더 내의 파일들이 위치하며, 제일 최상단의 스토리지 부터 시작된다.
  • 블록 스토리지
    블록 스토리지는 동일한 데이터 청크(데이터의 크기) 단위로 데이터를 분할하여, 디스크 볼륨에 저장된다. 일반적으로 서버에서 많이 사용되며, RAID 와 같은 시스템에 최적화 되어 있다.
    가상머신은 블록 스토리지를 기반으로 운영된다.
  • Object 스토리지
    오브젝트 스토리지는 파일 스토리지와 유사하게 파일형태로 저장되나, 폴더 구조를 지니지 않고, 각각을 나타내는 주소값으로 파일명과 맵핑되어 있다.

(02) File Storage

  • Amazon EFS
    확장 가능한 네트워크 파일 시스템
  • Amazon FSx for Windows File Server
    윈도우 서버에 구성된 파일 스토리지

(03) Block Storage

  • Amazon EBS
    사용하기 쉽고, 고성능의 블록 스토리지 (EC2가 사용하고 있음)

(04) Object Storage

  • Amazon S3
    많은 데이터들을 저장하고 조회할 수 있으며, 세계 어디에라도 쉽게 찾을 수 있는 서버

(05) Backup

  • AWS Backup
    AWS 에서 동작하는 서비스들을 자동으로 백업하고 중앙에서 관리할 수 있도록 하는 서비스

(06) Data Transfer

  • AWS Storage Gateway
    On-premises 환경에서 클라우드 스토리지에 접근할수 있도록 기능을 제공하는 서비스
  • AWS Data Sync
    AWS의 데이터 전송 송도가 최대 10배 빠른 서비스
    • On Premise 데이터를 가져오는데도 사용한다.

02. AWS S3

01) 개념 이해하기

(01) AWS S3란 ?

  • AWS S3 는 객체 스토리지 서비스를 이야기 한다.
  • S3 는 무제한 저장소를 지니고 있다.
  • 저장된 데이터는 공개 저장소 / 개인 저장소로 구별할 수 있다.
  • AWS대부분의 데이터는 S3에 저장한다.
  • 99.9999999999% 의 안정성을 보인다. (100만 분의 1 의 확률 )

(02) S3 살펴보기

  • 보안 설정(ACL, 버킷 정책, 엑스스 접근 정책)에 따라, 버킷은 외부에 공개할 수 있으며, 접근 사용자등을 제한할 수 있다.
  • 버전 관리가 가능하다.
  • 로그 관리가 되고 있다.
  • S3 는 일반적으로 특정 지역에 한해 사용된다 하지만, 이름은 글로벌 단위로 단일해야한다.

(03) 고 가용성과 내구성

  • 고 가용성 : 언제든지 데이터에 대해 접근할수 있는 것을 이야기 한다. (99.99 % )
  • 내구성 : 데이터가 손실되지 않고 지속적으로 남아 있는 것을 이야기 한다. (11 9)

(04) S3 서비스 종류

S3는 기본적으로 성능에 따라 다른 비용을 지불하게 만들어져 있다. 즉, 저장용의 데이터는 저렴한 저장소로, 자주 액세스 하는 데이터는 비싼 저장소에 넣는다면, 운영 효율성과 비용 절감을 할 수 있다.

  • S3 Standard
    기본적으로 많이 사용하는 스토리지이다.
    • 자주 데이터에 엑세스 하는 경우 사용
    • 여러 가용 영역에서 운영
  • s3 Standard -infrequent / S3 One Zone -infrequent
    가끔 접속하는 데이터의 경우 지정한다.
    • 자주 엑세스 하지 않지만, 빠른 속도로 접근해야하는 경우 사용된다.
    • 둘간의 차이는 zone 을 몇개 쓰는지만 관련되어 있다.
  • S3 Glacier / S3 Glacier Deep Archive
    거의 접근하지 않는 데이터들을 여기에 지정한다.
    • 장기적인 데이터 보관을 위해 주로 사용한다.
  • S3 intelligent Tiering
    S3 사용 패턴에 따라 자동으로 데이터를 옮겨 비용을 절감하도록 한다.
    • 머신러닝을 통해 데이터들을 저렴한 비용의 저장소로 옮긴다.
    • 여러 가용영역에서 운영
  • S3 Outposts
    On-premise 에서 오브젝트 스토리지를 제공한다.
    • 단일 스토리지 클래스만 제공한다.

(05) S3 세부 비교

(06) S3 Glacier

  • 데이터를 오랜기간 보관하는데 사용하는 용도
  • 데이터를 조회 하기 위해서는 하루 혹은 2일의 시간이 필요할 수 있음
  • 요금 : 한달에 1TB 당 1달러
  • Query in place 가 가능하다. ( 데이터를 내 플랫폼에 저장하지 않아도 조회할 수 있다. )
  • 검색 옵션
    • standard : 저비용
    • 벌크 검색 : 많은 데이터를 검색하는데 사용하기에 좋은 (중간 비용)
    • expedited : 급한 경우 더 비싸지만 조회하는데 사용할 수 있다. ( 1 ~ 5분 사이)
  • Deep Archive 의 경우, 실제로 비용은 더 저렴하고 대신 12시간에서 48시간의 조회 시간이 필요하다.

(07) S3 가 사용되는 예시

  1. Website 의 static 파일의 대한 처리 ( Cloud Front 를 활용하여 CDN 기능을 이용하면 짧은 지연시간의 서비스가 가능하다. )
  2. 데이터 장기 보관을 위해 ( Glacia 활용)
  3. 데이터 분석을 위해 (Athena 와 같이 대용량 데이터 분석을 위한 데이터로 사용할 수 있다. )
  4. 모바일 앱의 데이터 보관을 위해

02) S3 사용하기

(01) S3 생성 옵션 살펴보기

기본적인 이름 지정 (이름은 Unique 해야 한다)

버킷 관련 소유권 설정

  • ACL을 통해 외부와 공유할지 말지 / 외부에서 데이터를 올리게 할지 말지를 결정하는 단계

공용 저장소 여부 설정

버킷 버전 관리 설정

  • 버전 관리를 설정하면, 파일을 삭제하거나 수정하는 경우 복구등을 할 수 있다.
  • CodeCommit 과 같은 Git 도구를 사용한다면 Enable 해야 사용할 수 있다.

[데이터 암호화 방식]

[객체 삭제 방지 조건]

03. Amazon EFS

01) 개념 이해하기

(01) Amazon EFS 란 ?

  • NFS 를 제공하는 완전히 관리되는 저장 시스템을 이야기 한다.
  • 여러대의 EC2 가 연결되어 공유할 수 있도록 사용할 수 있다.
  • 가용성이 높고 동시성이 높다.
  • EFS 를 사용하는 기기 장애에 대한 보호 기능을 내장하고 있다.
  • 데이터를 기본적으로 암호화 하여 저장하고 있다.

(02) EFS 의 스토리지 클래스

  • 스탠다드
  • Infrequent Access
    (접근하는 주기가 7 , 14, 30, 60일 등이 넘어가는 경우 자동으로 넘길 수 도 있다.)

04. AWS Storage Gateway

01) 개념 이해하기

(01) AWS Storage Gateway 란 ?

  • On-premise 환경에서 AWS의 데이터를 접근하기 위해 사용하는 서비스를 이야기한다.
  • 기본적으로 3가지 방식을 지원하고 있다.
    • File Gateway
      S3의 SMB 나 NFS 인터페이스를 제공한다.
    • Tape Gateway
      테이프에 데이터를 백업할수 있도록 제공한다.
    • Volume Gateway
      iSCSI 방식으로 블록 스토리지를 제공한다. 이를 통해, 로컬의 서버들의 하드디스크로 활용할 수 있으며, 모든 데이터는 S3에 저장하지만, 자주 접근하는 데이터의 경우, 로컬에도 동시 저장하여 속도를 보장한다.

05. EC2 Storage

01) 개념 이해하기

(01) EC2 Storage 란 ?

EC2 의 경우 여러가지 연결 방식을 지니고 있다. 일반적으로, EC2 의 경우 컴퓨트를 담당하는 서버와 데이터를 저장 하는 공간이 별개로 분리되어 운영 되지만, 필요에 따라 우리가 사용하는 컴퓨터 처럼 직접 마운트 되어 사용되는 경우도 있다.

아래는, EC2 의 연결되는 방식의 예시이다.

  • EBS : 일반적인 블록 스토리지로 외부에 별개로 전용 데이터 블록이 있어 여기서 데이터를 쓸수 있다.
    • 데이터 인스턴스가 동작하지 않아도 보관이 가능하다.
    • 하나의 인스턴스 / 같은 가용영역에서 운영된다.
    • 빠르게 데이터를 주고 받을 수 있으며, 장기적인 데이터 운영도 가능하다.
  • Instance Store : 렉 상에 직접 저장소가 붙어서 사용되는 경우이다.
    • 호스트에 물리적으로 연결하는 방식이다.
    • EC2 가 종료되면 바로 데이터가 사라진다.
    • 네트워크 연결이 필요없어 데이터 속도가 매우 빠르다.
  • EFS : Elastic File System 으로, 별개의 스토리지를 사용하지만, 다른 EC2 나 기기들과 데이터를 공유하며 사용한다.
    • 리눅스 파일 시스템에서만 사용이 가능하다.
    • 전체 리전 / 많은 가용영역에서 운영이 가능하다.
    • EBS 보다 비용이 비싼 편이다.
    • 주로, 공유 폴더 구조로 운영이 필요할 때 사용하는 편이다.

06. AWS Backup

01) 개념 이해하기

(01) AWS Backup란 ?

  • AWS 의 사용되는 데이터들을 백업하는데 유용하게 사용한다.

07. Snow Family

01) 개념 이해하기

(01) AWS Snow Family

  • 데이터를 마이그레이션을 진행할때 ,물리적으로 데이터를 이관하는 방식을 이야기 한다.

[snow 유형]

  • snowcone : 8TB 까지 데이터 운송이 가능한 장치
  • snowball : 페타바이트 가량의 데이터 전송을 위한 장치 (큰 장비)
  • snowmobil : 멀티 페타바이트나 엑사 바이트를 옮기기 위한 방식 (컨테이너 사용)

193 thoughts on “004. [AWS] 저장소(Storage)”

  1. Pingback: best price
  2. Pingback: tadalafil samples
  3. Pingback: semaglutide pcos
  4. Элвис Пресли, безусловно, один из наиболее влиятельных музыкантов в истории. Родившийся в 1935 году, он стал иконой рок-н-ролла благодаря своему харизматичному стилю и неповторимому голосу. Его лучшие песни, такие как “Can’t Help Falling in Love”, “Suspicious Minds” и “Jailhouse Rock”, стали классикой жанра и продолжают восхищать поклонников по всему миру. Пресли также известен своими выдающимися выступлениями и актёрским талантом, что сделало его легендой не только в музыке, но и в кинематографе. Его наследие остается живым и вдохновляет новые поколения артистов. Скачать музыку 2024 года и слушать онлайн бесплатно mp3.

    응답
  5. Pingback: celexa nausea
  6. Do you mind if I quote a couple of your posts as long as I provide credit and
    sources back to your website? My website is in the exact same area of interest as
    yours and my users would certainly benefit from some of the information you provide here.
    Please let me know if this ok with you. Regards!

    Here is my page :: Tracey

    응답

Leave a Comment