[Flume] 데이터 로그 수집기 플룸, 설치하기

안녕하세요 Dibrary입니다.

이번에는 Apache Flume을 설치해보겠습니다.

Flume은 로그 같은 데이터를 수집할 때 사용하기 좋은 툴 입니다.

아주 간단하게 주요 컴포넌트를 소개하자면 Source / Channel / Sink 로 구성됩니다.

분류	기능
Source	데이터를 로드한다.
Channel	데이터를 임시 저장한다. Source와 Sink를 연결한다.
Sink	최종 목적지로 전달하기 위한 기능

이외에도 Interceptor 같이 데이터를 가공할 수 있는 기능도 있다.

 

당연히 VirtualBOX 가상환경에 설치 할 것이구요, 먼저 다운을 받습니다.
아래 사이트에서 받을 수 있습니다.

Welcome to Apache Flume — Apache Flume

 

위 사이트를 들어가시면 아래와 같은 화면이 나옵니다.

위 이미지에서도 보이듯이 Source, Channel, Sink가 주요 구성요소인 것을 확인할 수 있습니다.

 

왼쪽에 Download로 이동 해 주세요.

 

그러면 아래와 같은 화면이 나옵니다. bin.tar.gz 파일을 받습니다. (뭐 꼭 이렇게 안하는 방법도 있지만, 통상 제가 자주 하는 방법입니다.)

 

눌러서 들어간 후에 아래 빨간 표시를 누르면 압축파일을 받을 수 있습니다.

 

그리고 윈도우에서 가상환경으로 파일을 넣어줄 때 유용한 툴이 하나 있습니다. WinSCP라는 프로그램입니다.
아래 사이트에서 다운 받을 수 있습니다.

WinSCP :: Official Site :: Download

 

WinSCP를 사용하면 처음에 이런 화면이 나옵니다.

여기서 호스트이름에 가상환경 IP, 사용자이름 및 비밀번호는 계정정보를 입력하시면 됩니다. (우선 여기서는 root로 해보겠습니다.)

 

제 가상환경에서 ip addr을 입력하면 192.168.56.110 이라는 IP주소가 나옵니다.

 

그래서 아래와 같이 입력을 완료 했습니다.

 

그러면 아래와 같은 팝업이 나올겁니다.

여기서 '예'를 눌러줍니다.

 

이제 정상적으로 아래와 같은 화면이 나오면 됩니다.

 

이제 어떻게 가상환경으로 넣냐구요? 아주 간단합니다. '드래그 앤 드롭'으로 가능합니다.

그냥 다운받은 파일을 오른쪽 공간 안에 드래그 해서 넣어주면 됩니다.

네 아까 다운받은 flume 압축파일이 설치 된 것을 볼 수 있습니다.

 

이렇게 직접 파일을 받아서 넣는 방법도 있고, 다른 방법도 있습니다.

먼저 이 명령어를 입력해서 wget을 설치 해주세요.

 

그 다음에 아까 들어간 사이트에서

이 경로를 wget 다음에 같이 입력 해 주시는 겁니다.

그러면 위와 같이 다운로드가 진행됩니다.

단순히 문장 하나 입력해서 설치까지 하는 것이니 WinSCP 설치하고, 옮기고 이런 불편함이 줄어들죠? 나에게 맞는 방법을 선택해서 사용하시면 됩니다.

 

 

Flume 설치하려다가 말이 여기까지 주왁 샜네요. ㅎㅎ

 

 

우선 이렇게 압축파일까지 다운로드 완료하셨으면 이제 압축을 풀면 됩니다.

저는 usr/local이라는 경로에 압축파일을 옮겼습니다. 

이제 압축을 해제하는 명령어를 입력하면 됩니다.

 

위와 같이 입력 하고 난 후에 다시 ls를 입력해서 확인 해 보면 압축이 풀린 것을 확인할 수 있습니다.

 

근데 폴더명이 굉장히 길고 복잡하죠. 우리는 간단하게 사용하기위해 심볼릭 링크를 걸어두겠습니다.

 

이제부터 flume이라는 명령어로 해당 경로를 들어올 수 있습니다.

 

여기까지 등록 완료 하셨으면 설치는 끝입니다.

 

이제 어떻게 Flume을 사용할 것인가, 어떤 클러스터에 연결 해 놓을 것인가, 어떤 가공을 중간에 하게 할 것인가 등등에 따라서 설정 파일들을 손 봐야 합니다.