코딩개발로 물장구치는 개발자

안녕하세요 Dibrary입니다. 저번에 만든 AWS S3에 파이썬을 사용해서 파일을 넣고, 꺼내보겠습니다. 이번에 할 파일은 CSV파일로 간단히 해 볼건데, 주의할 점은 각 행마다 column갯수가 같아야 합니다. 즉, 각 행마다 콤마 갯수가 같아야 하는 것이죠. 다르면 어떻게 되냐구요? 이런 tokenizing data 에러를 마주할 수 있습니다. 파이썬으로 AWS를 연동하고 싶으면 boto3 모듈을 설치해야 합니다. 찾아보니 boto3는 AWS를 사용하게 해 주는 SDK라고 합니다. 그리고 aws_access_key_id와 aws_secret_access_key를 가지고 있어야 하는데, 이는 보안이 굉장히 중요하므로 별도로 저는 만들어서 사용했습니다. 위 코드에서 제것의 값은 가렸습니다. 해당 함수를..

안녕하세요 Dibrary입니다. 이번에는 Data Lake로 많이들 사용하는 AWS의 S3 를 사용해보겠습니다. 돈을 내야 할 수 있는데, S3도 프리티어를 사용해서 간단한 개인 프로젝트 정도는 진행할 수 있습니다. 프리티어로 할 수 있는 기능은 아래와 같습니다. 1년간 매 달마다 5GB의 스토리지 사용 가능 20000건의 get요청, 2000건의 put, delete 요청 가능 즉, 너무 큰 데이터를 다뤄버리면 원치 않게도 영수증을 받아보게 될 수 있습니다. (실제로 전... 경험이 있어요 ㅠ.ㅜ 물론 다행이도 전화 통화에 이메일까지 죄다 써서 '공부'한 것임을 어필해서 0원으로 만들어주는 크레딧을 받았답니다.) 먼저 aws에 로그인 한 후에 s3를 검색해서 찾아갑니다. 그러면 아래와 같은 화면이 나올..