코딩개발로 물장구치는 개발자

안녕하세요 Dibrary입니다. 데이터 처리에 있어서 굉장히 핫한 Airflow를 VirtualBOX(Centos)에 설치해보겠습니다. 굳이 글을 작성하는 이유는, Airflow를 설치하는데 있어서 그냥 pip install apache-airflow 만 하면 된다고 하는 포스팅이나 책이 많았는데, 막상 안되더라구요. 다행이도 해결방법을 찾아냈습니다. 물론, 한 번에 설치가 된다면 굉장히 다행이구요. 제가 실행한 Linux 환경은 CentOS 7이고, 파이썬은 원래 2.7이 깔려있었으나, 3.6으로 설치했습니다. 먼저 각종 책에서 나오는 pip install apache-airflow를 입력하고, pip list로 확인했을 때, 이렇게, apache-airflow 가 있어야 합니다. apache-airf..

안녕하세요 Dibrary입니다. Mysql 만큼이나 많이 쓰는 DB로 Postgresql이 있습니다. Windows 환경에서 설치를 해보겠습니다. 먼저 아래 사이트로 가시면 다운로드를 할 수 있습니다. PostgreSQL: Downloads Downloads PostgreSQL Downloads PostgreSQL is available for download as ready-to-use packages or installers for various platforms, as well as a source code archive if you want to build it yourself. Packages and Installers Select your operating system family www.po..

안녕하세요 Dibrary입니다. 분산처리 환경인 Apache Spark를 사용하려면 당연히 설치를 해야겠죠? 문제는, 처음부터 클러스터 환경을 구성하려면 굉장히 힘들다는 것입니다. 따라서, 먼저 Spark를 연습할 생각이시라면 컴퓨터에 단일 클러스터로 구성하는 것을 추천합니다. 저는 Windows에 설치해서 연습을 해 볼 생각입니다. 아래 사이트를 방문해 주세요. Downloads | Apache Spark Download Apache Spark™ Choose a Spark release: Choose a package type: Download Spark: Verify this release using the and project release KEYS. Note that Spark 3 is pre-b..

안녕하세요 Dibrary입니다. 현재 풀스택 기술을 가진 사람들의 수요가 늘어나고 있는데, 그 중심에 Node.js가 있습니다. Node.js 는 JavaScript를 서버로 구동할 수 있게 만든 기술로, Javascript를 할 줄 안다면 화면구성부터 서버 처리까지 다 할 수 있게 되는 것이죠. 그래서 풀스택이라고 합니다. 저는 Spring으로 웹을 만들어보고, Django로도 웹을 만들어 보았는데, JAVA 하면서 Javascript를 약간이나마 배워둬서 Node.js에 대한 내용도 약간 공부를 해 뒀습니다. 공부용도든 실제 개발이든 단순히 js파일을 실행해 볼 용도로는 Node.js를 사용하시면 편리합니다. 설치를 하려면 Node.js 를 다운 받아야겠죠? 아래 사이트로 가줍니다. Node.js N..

안녕하세요 Dibrary입니다. 이번엔 Redis를 설치해보겠습니다. Redis는 리눅스를 토대로 동작하는 것인데, 윈도우에도 설치 할 수 있습니다. 주로 데이터를 producer-consumer 형태로 다룰 때는 리눅스에 설치해서 사용하면 더 편하지만, 우선 Redis를 다루는 연습을 하기에는 윈도우에 설치해서 연습하는 것도 나쁘지 않습니다. 먼저 윈도우에 설치할 수 있는 Redis를 받으려면 아래 깃허브로 이동 하셔야 합니다. GitHub - microsoftarchive/redis: Redis is an in-memory database that persists on disk. The data model is key-value, but many dif Redis is an in-memory data..

안녕하세요 Dibrary입니다. 지난 시간에 이어, 이번에는 설치 완료 한 VirtualBOX에 OS를 구성해보겠습니다. 2022.03.04 - [프로그래밍/Data process] - VirtualBOX 설치하기 VirtualBOX 설치하기 안녕하세요 Dibrary입니다. 이번에는 VirtualBOX를 설치 해보겠습니다. VirtualBOX는 빅데이터 관련 툴 들을 사용할 때 유용합니다. 또한, 간단한 테스트를 하기에 적합하죠. 먼저 아래 사이트를 방문해 dibrary.tistory.com 먼저 설치할 OS를 다운로드 받아야 합니다. Download Home Download Architectures Packages Others x86_64 RPMs Cloud | Containers | Vagrant A..

안녕하세요 Dibrary입니다. 이번에는 VirtualBOX를 설치 해보겠습니다. VirtualBOX는 빅데이터 관련 툴 들을 사용할 때 유용합니다. 또한, 간단한 테스트를 하기에 적합하죠. 먼저 아래 사이트를 방문해 주세요. Oracle VM VirtualBox Welcome to VirtualBox.org! News Flash Important January 13th, 2022We're hiring! Looking for a new challenge? We're hiring a System Administrator/Quality Engineer (Germany). Important May 17th, 2021We're hiring! Looking for a new challenge? We're hiri..

안녕하세요 Dibrary입니다. 개인적으로 실시간 데이터 처리를 구현하는데 너무 어려워서 이것 저것을 찾던 와중 MQTT로 통신하는 프로토콜을 찾게되었습니다. 생각보다 간단하고, 굉장히 편하게 실시간으로 그릴 수 있어서 이왕 사용해본 김에 여기에 정리해보고자 합니다. 간단히 MQTT는 '큐'라는 형태에 한쪽은 보내기만 하고, 한쪽은 받기만 하면 끝입니다. 쉽죠? 아무렴 실시간으로 웹서버간에 연동해서 하는 것 보다 어렵겠나요. 암튼, 설치부터 차근차근히 해 보죠. 먼저 아래 사이트로 가주세요 Messaging that just works — RabbitMQ Developer Experience Deploy with BOSH, Chef, Docker and Puppet. Develop cross-langua..

안녕하세요 Dibrary입니다. 이번에는 언리얼엔진 설치 방법을 소개하고자 합니다. 언리얼엔진은 굉장히 선명한 고사양 게임 그래픽을 만드는데도 쓰이고, 자신만의 컴퓨터 내부 3D공간을 구성하는데도 쓰기 안성맞춤입니다. 최근 유행중인 '메타버스' 트렌드와도 가까운 거리에 있죠. 먼저, 아래 사이트로 들어갑니다. 언리얼 엔진 | 가장 강력한 리얼타임 3D 제작 플랫폼 언리얼 엔진은 세계에서 가장 개방되고 진보된 리얼타임 3D 제작 플랫폼으로서 포토리얼한 비주얼과 몰입감 있는 경험을 제공합니다. www.unrealengine.com 언리언엔진을 다운로드 하려면 계정이 필요합니다. 회원가입 후 로그인을 완료하면 오른쪽에 '다운로드'탭이 있습니다. 눌러서 들어가면 위와 같은 화면이 나옵니다. 여기서 '퍼블리싱 라..

안녕하세요. Dibrary입니다. 바로 앞 글에서 Flask로 아주 간단하게 hello world를 출력 해 보았었습니다. 2021.07.21 - [프로그래밍/Flask] - [Flask] 파이썬으로 웹 실행해보기 - Flask 처음! [Flask] 파이썬으로 웹 실행해보기 - Flask 처음! 안녕하세요, Dibrary입니다. 파이썬으로 온갖것을 다 할 수 있는데, 그 중에 웹도 할 수 있습니다. 물론 국내에서 웹은 대다수 JAVA를 이용해서 하지만요. 신생 기업 같은 경우들은 파이썬을 이용한 dibrary.tistory.com 사실 이 기능만으로도, 화면이 나오지 않는 웹서버 구현은 충분히 할 수 있습니다. 예를 들면, 화면 구현, DB연동까지를 JAVA에서 하고, 나머지 더 복잡한 처리를 Flask..