반응형
안녕하세요 Dibrary입니다.
이번에는 Data Lake로 많이들 사용하는 AWS의 S3 를 사용해보겠습니다.
돈을 내야 할 수 있는데, S3도 프리티어를 사용해서 간단한 개인 프로젝트 정도는 진행할 수 있습니다.
프리티어로 할 수 있는 기능은 아래와 같습니다.
- 1년간 매 달마다 5GB의 스토리지 사용 가능
- 20000건의 get요청, 2000건의 put, delete 요청 가능
즉, 너무 큰 데이터를 다뤄버리면 원치 않게도 영수증을 받아보게 될 수 있습니다.
(실제로 전... 경험이 있어요 ㅠ.ㅜ 물론 다행이도 전화 통화에 이메일까지 죄다 써서 '공부'한 것임을 어필해서 0원으로 만들어주는 크레딧을 받았답니다.)
먼저 aws에 로그인 한 후에 s3를 검색해서 찾아갑니다.
그러면 아래와 같은 화면이 나올텐데, '버킷 만들기' 를 눌러주세요.
버킷만들기를 누르면 아래와 같은 화면이 나옵니다.
그리고 저는 퍼블릭 액세스 차단 설정을 풀어주었습니다. 제 PC에서 S3를 접속해서 사용할 것이기 때문이죠.
그리고 나머지 설정은 손대지 않았습니다.
그리고 버킷 생성을 완료하면
이렇게 S3의 버킷 하나가 생성된 것을 확인할 수 있습니다.
참고로 버킷이란, '객체에 대한 컨테이너'를 지칭하는 용어입니다.
버킷에서 이름을 누르면 아래와 같은 화면으로 이동됩니다.
만일 들어오는 데이터의 관리를 용이하게 하고자 할 때, 폴더를 만들어서 관리할 수 있습니다.
AWS 대시보드상에서 테스트로 해당 폴더에 제가 가진 아무 파일을 업로드 해 보았습니다.
이상으로 AWS의 S3 버킷 생성하기를 끝냅니다.
728x90
반응형
'프로그래밍 > Data process' 카테고리의 다른 글
Kafka 기본 개념 및 아키텍처 (0) | 2022.09.22 |
---|---|
파이썬으로 AWS S3에 있는 파일 GET, PUT하기 (0) | 2022.09.16 |
Python을 이용해서 HDFS의 파일 읽어오기 (0) | 2022.08.17 |
Flume으로 Hadoop에 데이터 보내기 (0) | 2022.07.29 |
CentOS 에서 Airflow 설치할 때 주의점 (2) | 2022.07.22 |