코딩개발로 물장구치는 개발자

한국에 사는 모든 사람이라면 마주하기 싫어도 반드시 마주할 수 밖에 없는 '영어시험' 영어 시험은 크게, 듣기와 독해, 문법으로 나눌 수 있다. 그 중에 가장 많은 시험에서 수험자들을 괴롭히는 파트는 다름아닌 '독해' 토익을 비롯한 내신, 수능등 모든 영어시험에서 독해는 빠지지 않고, 그 비중역시 굉장히 높은 비율을 차지하는 경우가 많다. 나 역시 이 독해로부터 '자유'로워지기를 원했고, 굉장히 다양한 책들을 탐독하며 이 방법, 저 방법 나에게 맞는 방법을 찾아나가려 노력했다. 독해 공부를 해 본 사람들이라면 알 것이다. 우선 가장 중요한 것은 '단어'였는데 지문의 모든 단어를 사전으로부터 찾아서 기록하고 확인해도 '답'을 찾는 것과 '독해'랑은 무언가 괴리감이 느껴진다는 것을... ... 그 괴리감이라..

데이터 카탈로그가 뭔지 1도 모른 상태에서 보게 된 책이다. 우선 이 책을 본다는 것은 '데이터 관련 업종'에 관심이 있거나, 종사하고 있을 가능성이 높다고 생각된다. 특히 데이터를 다루던 방식이 바뀌어야 할 필요가 있다고 해서 찾아보던 와중에 이런 '개념'을 알게되었고, 해당 내용의 깊이를 더하고자 책을 읽게 되었다. '데이터 카탈로그'는 '데이터 레이크'와 뗄래야 뗄 수 없는 개념이다. 이 책에서도 초반에 데이터 카탈로그라는 개념이 나오게 된 배경을 소개하는데, 여기에 데이터 레이크가 나온다. 초반에는 ETL로 데이터를 적재해놓고 사용해 나가는것이 많이 보편화 되었으나, 이제는 그보다도 더 많은 데이터, 비정형 데이터가 쏟아지고 있어서 이 방식보다 좀 더 '경제적'이고 '효율적'인 방법이 나오게 되었..

데이터 직무의 자격요건 혹은 기술스택을 보면 어지간해서는 꼭 빅쿼리가 있었다. 처음에는 AWS Athena처럼 클라우드에서 쿼리문 날려서 결과를 받아보는 것이지 않나 하는 생각이었지만, 그래도 기술스택에 '명시'가 되어 있기에 간단하게 봐 두자는 생각으로 이 책을 집었다. 우선 책이 매우 얇다. 250페이지 정도. 그렇기 때문에 약간 클라우드를 안써본 사람이라면 조금 버벅댈 부분이 몇 군데 있다. 처음에 빅쿼리 콘솔 화면을 보여준 후에 곧바로 데이터를 넣고, 꺼내고, 쿼리 작성 등을 해 나간다. 빅쿼리에서 사용하는 SQL문은 여느 DB의 SQL문하고 크게 다르지 않다. 물론, 빅쿼리에서만 쓸 수 있는 ARRAY나 STRUCT 등의 다른 점은 있다. 책을 따라 데이터를 로딩시키려고 하다 보면 안 될 것이다..

IT회사들마다 JIRA, Confluence 등을 할 줄 알면 좋다는 얘기가 많아서 보게 된 책이다. 우선 한번 가볍게 훑어본 느낌으로 JIRA는 '계획'을 만들고, 공유하기 좋은 툴인것 같다. 다만, 내가 있었던 회사는 해당 업무를 Excel로 수행했다는 것 뿐이다. 그래서 이참에 어차피 같은 역할이라면 새로운 기술을 써보는게 더 나는 재미있어서 책으로 공부를 해보았다. 내용은 매우 간단하다. 그냥 JIRA를 사용해서 계획을 짤 수 있고, 관리하는 방법을 배우는 것이다. 아마 직접 보면 너무 쉬울 수 있는게... 모든 화면이 다 수록되어있다. 어떤 버튼을 누르세요, 뭐라고 기입하세요 등등... 어떤 설명도 필요 없다. 말 그대로 유치원 때의 '따라하기'? 같은 책 느낌이었다. 그래서 너무 좋았다. 모르..

자바스크립트는 JAVA 웹 프로젝트를 하면서 가볍게 알고만 넘어갔었다. 물론, 필요할 수 있다는 인지정도는 한 채로... 실제 프로그램을 만들면서 자바스크립트로 비동기, 데이터 가공 같은 것을 해야 했는데 이게 여간 쉽지 않아서 급하게 도움을 받고자 이 책, 저 책을 찾았는데 그나마 나에게 맞는 책이 이 책이었다. 제목에 '모던'이 들어간다고 뭔가 특별한가? 싶지만, 여느 자바스크립트랑 크게 다른점은 못 느꼈다. 다만, 이 책은 두께가 있는 만큼 정말 많은 내용이 들어있고 여기에 있는 것만 다 능숙하게 할 줄 알아도 자바스크립트로 발목잡히는 일은 없지 않나 싶다. 처음 5장까지는 정말 여느 언어들과 다름 없이 실행방법, 변수, 객체, 연산자 등에 대한 설명이 나온다. 이는 다른 언어를 공부하고 할 줄 아..

파이썬을 공부하면서 알음알음 Flask와 Django를 옅게 공부해두긴 했었다. 그 중에 화면이 필요없는 개발이 있어서 Flask를 써서 간단하게 구현을 했었는데, JAVA와의 접합부?가 굉장히 마음에 들지 않았었다. 물론, 개발자가 아닌 사람이 보기에는 굉장히 '심플'하게 보여서 괜찮다고 하지만 개발하는 입장에서 아주 께림칙 했었다. 그래서 해당 접합부에 RESTful을 사용할 까 했었지만, Flask에서 RESTful을 어떻게 사용할 지 몰라 우선 구현은 마무리 지었었다. Flask의 RESTful 구현도 모르는데 Django라면 더더욱 몰랐었다. 하지만 작정하고 RESTful을 배워야 했기에 이것 저것 찾다가 이 책의 내용이 눈에 들어왔다. 이 책은 제목 그대로 Django와 Django에서 RES..

이 책은 이미 Spark 관련 책을 하나 가지고 있었기에 여느 스파크 책과 뭐가 다를까~ 싶어서 도서관에서 빌려서 본 책이다. Spark는 Scala로 배워야 가장 최근 경향을 빠르게 따라갈 수 있고, 더 많은 기능이 지원된다고 알고 있는데, 그럼에도 파이썬이라는 언어의 '간결하고 명료함'을 포기할 수 없다면, PySpark를 사용하는 것도 하나의 방법이다. 다만, Spark는 JVM을 기반으로 실행되기 때문에 Python을 사용하면 JVM에서 Python으로 통신하는 부분이 하나 더 추가되는 꼴이라서 Scala보다 당연히? 느릴 수 밖에 없다. 책의 초반에는 이런 개념적인 내용과 스파크의 아키텍쳐 및 실행 흐름을 설명하고있다. 여느 스파크 책과 마찬가지로 간단한 연산 및 메서드를 배우고 그 다음에 어느..

교육기관에서 받았지만, 정작 Hadoop 설치 까지만 나가고 이 책은 1쪽도 펴보지 못한 책... 하지만 이미 받았고, 나는 빅데이터 기술에 관심이 많기 때문에 혼자서 독파해보기로 결정했었다. 쉬웠냐면 전혀 그렇지 않았다... 처음부터 Vagrant를 써서 학습용 가상환경을 설치해야 한다. 이제 막 코딩을 시작한 사람에게 가상환경은 녹록치 않다. 그럼에도 Vagrant에 대해 공부하고 꾸역꾸역 설치에만 약 3일을 썼다. 설치 하고 나서는 일사천리인 듯 싶지만, 또 그것도 아니었다. 리눅스를 잘 다루지 못했으니까... 리눅스도 공부를 할 겸 검색해보니 마침 윈도우에서 단독클러스터 버전으로 돌릴수가 있는게 아닌가? 덕분에 이 책의 진도는 확확 나갔다. 서론이 길었는데, 이 책은 Spark를 사용해서 데이터를..

읽게 된 계기 데이터 분석 이나 데이터 엔지니어에게 SQL은 필수라고 한다. 그러나, 나는 SQL은 기본적인 CRUD만 할 줄 알았고 그것만 잘 하면 된다고 착각하고 있었다. 한 번은 코딩테스트에 SQL 문제가 나왔었는데 이게 그냥 CRUD만 가지고 안되는 수준이었어서 관심을 갖고 SQL을 다채롭게 활용해볼 수 있는 방법을 배우는 책을 찾았다. 그게 이 책이다. 이 책의 특징 PostgreSQL, Hive, SparkSQL, Redshift, BigQuery 5개의 DB에 대한 쿼리문을 제공한다. 즉, 같은 결과를 내기 위해 쿼리문이 조금씩 다를 순 있지만, 그 쿼리문을 모두 확인할 수 있다. 그리고, 데이터를 실제에는 어떻게 분석하고 바라보는지에 대한 설명과, 그 설명의 근거 자료를 찾기 위한 SQL문..

읽게 된 계기 데이터 처리 분야에 관심이 있어서 읽게 된 책이다. 이 책이 나온지가 좀 되었는데, 그때의 기술 처리와 지금과 얼마나 달라졌을지 그리고 각 기술분야별로 주된 도구의 변화가 있는지를 볼 수 있겠다 싶어서 이 책을 읽었다. (다행이도 동네 도서관에 있었다.) 이 책의 특징 빅데이터를 다루기 위해 필요한 도구들이 소개 되며, 도구에 대한 설명, 사용방법 등이 나와있다. 하나의 도구에 대해 모든 것을 설명하는 방식이 아닌 전체적인 '업무' 즉, 데이터 처리하는 과정에 있어서 어떤 방법이 필요했고, 그 방법에 적합한 도구가 이것이다~ 는 설명방식을 띄고 있다. 그래서 흐름 대로 따라가면 데이터를 이렇게 다루고, 가공하고 한다는 개념이 잡힌다. 간단 내용 정리 먼저 빅데이터라는 개념이 왜 나오게 되었..