AWS Data Storage Flashcards
Data Storage Services
S3 + Glacier
DynamoDB
ElastiCache
Amazon S3 Use cases
Backup and storage * Disaster Recovery * Archive * Hybrid Cloud storage * Application hosting * Media hosting * Data lakes & big data analytics * Software delivery * Static website
S3 Max. Object Size is
5 TB (5000GB)
Amazon S3 – Security
User-Based, Resource-Based, Encryption
S3 - Policy in User-Based
IAM Policies
S3 - Resource-Based
- Bucket Policies – bucket wide rules from the S3 console - allows cross
account - Object Access Control List (ACL) – finer grain (can be disabled)
- Bucket Access Control List (ACL) – less common (can be disabled)
S3 Storage Classes
- Amazon S3 Standard - General Purpose
- Amazon S3 Standard-Infrequent Access (IA)
- Amazon S3 One Zone-Infrequent Access
- Amazon S3 Glacier Instant Retrieval
- Amazon S3 Glacier Flexible Retrieval
- Amazon S3 Glacier Deep Archive
- Amazon S3 Intelligent Tiering
Describe S3 User-Based
- IAM Policies – which API calls should be allowed for a specific user from IAM
Describe S3 Resource-Based
- Bucket Policies – bucket wide rules from the S3 console - allows cross
account - Object Access Control List (ACL) – finer grain (can be disabled)
- Bucket Access Control List (ACL) – less common (can be disabled)
How to use objects in S3 type encryption
encrypt objects in Amazon S3 using encryption keys
S3 - JSON-based policies
- Resources: buckets and objects
- Effect: Allow / Deny
- Actions: Set of APIs to Allow or Deny
- Principal: The account or user to apply
the policy to
Use S3 bucket for policy to:
- Grant public access to the bucket
- Force objects to be encrypted at upload
- Grant access to another account (Cross
Account)
S3 - Replication CRR is:
Cross-Region Replication
Same-Region Replication is:
SRR
S3 use cases CRR
compliance, lower latency access, replication across accounts
S3 use cases SRR
log aggregation, live replication between production and test accounts
S3 Storage Classes – Infrequent Access
- For data that is less frequently accessed, but requires rapid access when needed
- Lower cost than S3 Standard
- para dados acessados com menos frequência mas requerem acesso rápido quando necessário, custo mais baixo do que classe Standard
Amazon S3 Standard-Infrequent Access (S3 Standard-IA) - availability and use cases
- 99.9% Availability
- Use cases: Disaster Recovery, backups
Amazon S3 One Zone-Infrequent Access (S3 One Zone-IA) - availabilty percent
99.5%
Amazon S3 One Zone-Infrequent Access (S3 One Zone-IA) - Use cases:
Storing secondary backup copies of on-premises data, or data you can recreate
Amazon S3 Glacier Storage Classes:
- Amazon S3 Glacier Instant Retrieval
- Amazon S3 Glacier Flexible Retrieval
- Amazon S3 Glacier Deep Archive – for long term storage:
Resources Amazon S3 Glacier Instant Retrieval
- Millisecond retrieval, great for data accessed once a quarter
- Minimum storage duration of 90 days
Resources Amazon S3 Glacier Flexible Retrieval (formerly Amazon S3 Glacier):
- Expedited (1 to 5 minutes), Standard (3 to 5 hours), Bulk (5 to 12 hours) – free
- Minimum storage duration of 90 days
Resources Amazon S3 Glacier Deep Archive – for long term storage:
- Standard (12 hours), Bulk (48 hours)
- Minimum storage duration of 180 days
S3 Intelligent-Tiering resources:
- Small monthly monitoring and auto-tiering fee
- Moves objects automatically between Access Tiers based on usage
- There are no retrieval charges in S3 Intelligent-Tiering
S3 – Lifecycle Rules types:
Transition Actions, Expiration actions
Lifecycle Rules - Transition Actions moves form:
- Move objects to Standard IA class 60 days after creation
- Move to Glacier for archiving after 6 months
Lifecycle Rules - Expiration Actions moves form:
- Access log files can be set to delete after a 365 days
- Can be used to delete old versions of files (if versioning is enabled)
- Can be used to delete incomplete Multi-Part uploads
S3 Event Notifications use case
generate thumbnails of images uploaded to S3
S3 – Baseline Performance latency
100 - 200 ms
Classes Amazon S3 – Object Encryption SSE
- Server-Side Encryption with Amazon S3-Managed Keys (SSE-S3)
- Server-Side Encryption with KMS Keys stored in AWS KMS (SSE-KMS)
- Server-Side Encryption with Customer-Provided Keys (SSE-C)
Amazon S3 exposes two endpoints:
- HTTP Endpoint – non encrypted
- HTTPS Endpoint – encryption in flight
Amazon S3 casos de uso
Backup e armazenamento * Recuperação de desastres * Arquivo * Armazenamento em nuvem híbrida * Hospedagem de aplicativos * Hospedagem de mídia * Data lakes e análises de big data * Entrega de software * Site estático
Amazon S3 Analytics - Análise da classe de armazenamento
- Ajuda a decidir quando fazer a transição de objetos para a classe de armazenamento correta
- Recomendações para Normas e IA padrão
- NÃO funciona para One-Zone IA ou Glacier
- O relatório é atualizado diariamente
- 24 a 48 horas para começar a ver a análise de dados
- Bom primeiro passo para montar o ciclo de vida
Regras (ou melhorá-las)!
Recuperação instantânea do Amazon S3 Glacier (Amazon S3 Glacier Instant Retrieval) e duração mínima de armazenamento
- Recuperação em milissegundos, excelente para dados acessados uma vez por trimestre
- Duração mínima de armazenamento de 90 dias
Amazon S3 Glacier Flexible Retrieval
- Expedido (1 a 5 minutos), Padrão (3 a 5 horas), Em massa (5 a 12 horas) – gratuito
- Duração mínima de armazenamento de 90 dias
Amazon S3 Glacier Deep Archive
- Padrão (12 horas), a granel (48 horas)
- Duração mínima de armazenamento de 180 dias
Amazon S3 – Regras do ciclo de vida
- Ações de Transição
- Ações de Expiração
Amazon S3 – Regras de Ciclo de Vida (Cenário1)
Seu aplicativo no EC2 cria miniaturas de imagens após as fotos do perfil são carregadas no Amazon S3. Essas
miniaturas podem ser facilmente recriadas, e só precisam ser mantidas por 60 dias. As imagens de origem devem poder ser
imediatamente recuperados por esses 60 dias e, posteriormente, o usuário pode esperar até 6 horas. Como você projetaria?
- As imagens de origem S3 podem estar no Standard, com um ciclo de vida configuração para fazer a transição para o Glacier após 60 dias
- As miniaturas S3 podem estar em One-Zone IA, com um ciclo de vida configuração para exclusão após 60 dias
Amazon S3 – Regras de Ciclo de Vida (Cenário2)
* Uma regra em sua empresa afirma que você deve ser capaz de recuperar seus objetos S3 excluídos imediatamente por 30 dias, embora isso possa acontecer raramente. Após este horário, e por até
a 365 dias, os objetos excluídos devem ser recuperados em 48 horas.
- Habilite o S3 Versioning para ter versões de objetos, para que “objetos excluídos” estão de fato ocultos por um “marcador de exclusão” e podem ser recuperados
- Transição das “versões não atuais” do objeto para o Padrão IA
- Transição depois das “versões não atuais” para Glacier Deep Archive
Baseline de performance do S3
Até 3.500 solicitações de leitura por segundo e até 5.500 solicitações de gravação por segundo por prefixo no bucket