Skip to content

Latest commit

 

History

History
18 lines (17 loc) · 825 Bytes

s3-vs-hadoop-as-lake.md

File metadata and controls

18 lines (17 loc) · 825 Bytes

데이터 레이크로서 S3 vs. Hadoop

  • s3
    • 고내구성과 고가용성이 필요할 때
    • 오랫동안 사용할 콜드 데이터를 저장해야할 때
    • hdfs에 비해 1/5의 저장 비용으로 저렴한 스토리지가 필요할 때
    • 데이터 사이즈가 크고 증가할 때
    • 물리적으로 컴퓨팅하는 곳과 스토리지를 분리시키고 싶을 때
    • 같은 fs를 다른 여러 곳의 서비스에 공유해야할 때
    • iam으로 중앙에서 보안을 관리하는 것을 선호하는 경우
  • hadoop
    • I/O 성능이 중요할 때
    • 데이터 접근 빈도가 높을 때
    • 임시 저장용 데이터가 많을 때
    • 높은 유동성이 필요할 때
    • 고정비용
    • 같은 네트워크 안에서 일관된 성능이 필요할 떄
    • 물리적 설치장소가 있을 때