코딩개발로 물장구치는 개발자

안녕하세요 Dibrary입니다. 이번에는 Data처리에 핵심 기술인 Apache Kafka에 대해 정리해보겠습니다. 분산 스트리밍 플랫폼. 데이터를 유실없이 안전하게 전달하는 것이 주 목적인 ‘메시지 시스템’에서 데이터를 처리할 수 있습니다. 분산 스트리밍 플랫폼. 데이터를 유실없이 안전하게 전달하는 것이 주 목적인 ‘메시지 시스템’에서 데이터를 처리할 수 있습니다. 기본 아이디어는 Pub / Sub 모델 입니다. 메시지를 관리하는 Queue가 중앙에 있고, 독립적으로 발행, 소비가 이뤄집니다. 카프카의 특징 1. Pub / Sub 모델 2. 확장성 3. 메시지 순차처리 4. 분산처리 Producer는 데이터를 push , Consumer는 데이터를 pull 합니다. Foo와 Bar는 각각 3개의 Par..

안녕하세요 Dibrary입니다. 이번에는 rabbitMQ를 사용해서 데이터를 넣고, 꺼내와 보겠습니다. 넣는 위치와 꺼내는 위치를 다르게 할 수 있다는 점에서 다양한 구성을 해서 데이터의 흐름을 만들 수 있는 좋은 기술이죠. 서버 실행 후에(설치 하면 자동으로 실행 중이겠죠?) 웹 브라우저에서 localhost:15672를 입력하면 아래와 같은 로그인 창이 나옵니다. 처음이라면 username도 guest, password도 guest입니다. 로그인에 성공하면 아래와 같은 기본 화면이 나옵니다. 그러면 간단하게 하나의 virtual host, queue를 만들어서 파이썬으로 데이터를 넣고 꺼내보겠습니다. 위 화면에서 admin 탭으로 가주세요. 오른쪽에 Virtual Hosts를 눌르시면 아래와 같은 화..

NoSQL중에 제일 먼저 접한 것이 MongoDB와 Redis다. NoSQL에 대해 이미 어느정도 알고 있었기 때문에 키-값 데이터베이스를 알아둬야겠다 싶어서 공부했다. Redis는 여타 데이터베이스와 다르게 설치가 굉장히 무겁지 않다. 아무래도 메모리 기반이라서 그런지 속도를 빠르게 가져갈 수 있는 것이 장점이다. Redis의 CRUD라고 할 수 있는 기본 내용은 이 책으로 공부할 수 있다. 다만, 단점으로는 리스트 타입부분에서 CRUD의 예제로 나온 내용들이 너무 알아보기 어려운 것을 실어놓았다. 꺽쇠가 넘쳐나는 데이터를 예로 보여주는데, 이 부분은 다른 책을 참고했을 정도다. 뒤에 가면 키-값 형태의 데이터 모델링을 위한 몇가지 모델들, 설계방법, Redis의 아키텍처도 간단히 확인할 수 있다. 뭐..

안녕하세요 Dibrary입니다. 이번엔 Redis를 설치해보겠습니다. Redis는 리눅스를 토대로 동작하는 것인데, 윈도우에도 설치 할 수 있습니다. 주로 데이터를 producer-consumer 형태로 다룰 때는 리눅스에 설치해서 사용하면 더 편하지만, 우선 Redis를 다루는 연습을 하기에는 윈도우에 설치해서 연습하는 것도 나쁘지 않습니다. 먼저 윈도우에 설치할 수 있는 Redis를 받으려면 아래 깃허브로 이동 하셔야 합니다. GitHub - microsoftarchive/redis: Redis is an in-memory database that persists on disk. The data model is key-value, but many dif Redis is an in-memory data..

안녕하세요 Dibrary입니다. 개인적으로 실시간 데이터 처리를 구현하는데 너무 어려워서 이것 저것을 찾던 와중 MQTT로 통신하는 프로토콜을 찾게되었습니다. 생각보다 간단하고, 굉장히 편하게 실시간으로 그릴 수 있어서 이왕 사용해본 김에 여기에 정리해보고자 합니다. 간단히 MQTT는 '큐'라는 형태에 한쪽은 보내기만 하고, 한쪽은 받기만 하면 끝입니다. 쉽죠? 아무렴 실시간으로 웹서버간에 연동해서 하는 것 보다 어렵겠나요. 암튼, 설치부터 차근차근히 해 보죠. 먼저 아래 사이트로 가주세요 Messaging that just works — RabbitMQ Developer Experience Deploy with BOSH, Chef, Docker and Puppet. Develop cross-langua..