코딩개발로 물장구치는 개발자

안녕하세요 Dibrary입니다. 이번에는 Data처리에 핵심 기술인 Apache Kafka에 대해 정리해보겠습니다. 분산 스트리밍 플랫폼. 데이터를 유실없이 안전하게 전달하는 것이 주 목적인 ‘메시지 시스템’에서 데이터를 처리할 수 있습니다. 분산 스트리밍 플랫폼. 데이터를 유실없이 안전하게 전달하는 것이 주 목적인 ‘메시지 시스템’에서 데이터를 처리할 수 있습니다. 기본 아이디어는 Pub / Sub 모델 입니다. 메시지를 관리하는 Queue가 중앙에 있고, 독립적으로 발행, 소비가 이뤄집니다. 카프카의 특징 1. Pub / Sub 모델 2. 확장성 3. 메시지 순차처리 4. 분산처리 Producer는 데이터를 push , Consumer는 데이터를 pull 합니다. Foo와 Bar는 각각 3개의 Par..

안녕하세요 Dibrary입니다. 이번엔 Redis를 설치해보겠습니다. Redis는 리눅스를 토대로 동작하는 것인데, 윈도우에도 설치 할 수 있습니다. 주로 데이터를 producer-consumer 형태로 다룰 때는 리눅스에 설치해서 사용하면 더 편하지만, 우선 Redis를 다루는 연습을 하기에는 윈도우에 설치해서 연습하는 것도 나쁘지 않습니다. 먼저 윈도우에 설치할 수 있는 Redis를 받으려면 아래 깃허브로 이동 하셔야 합니다. GitHub - microsoftarchive/redis: Redis is an in-memory database that persists on disk. The data model is key-value, but many dif Redis is an in-memory data..