2016/04 썸네일형 리스트형 storm Hello World Storm 을 소개하는 글을 보면 보통 실시간 데이터 처리용 이라고들 하더라.아무튼 어찌되었든 쓰긴할것처럼 보여서 일단 Hello World 찍어보고 .기본사용법만 익혀본다. 완전 java 로 만들어져있는것처럼 다른 opensource 마냥 무언가 application 을 설치하는 형태라고 보긴 모호한것같다. 사용 버전 : 0.9.6 사용노드 수 : 6대 ( 1 : nimbus , 5 : supervisor )주키퍼 버전 : 3.4.6 (원래쓰던거임으로 ~ 일단 이건 패스) 수정한 설정파일 내역주키퍼설정, 디렉토리 , 호트 , 슬롯포트 정도만 넣었다.conf 디렉토리의 storm.yaml 파일만 수정하고 모든 노드에 동일하게 적용. ########### These MUST be filled in for .. 더보기 KafKa Cluster ~ HelloWorld RabbitMQ vs KafKa를 테스트한 자료가 외국블로그에 소개가 되는글을 우연히 본후 이 두가지를 동시에 사용하면서 메세지 전송을 위한 작업을 진행해보고자 한다. 그래서 우선 요거부터 기본설치를 한다. 카프카 프로젝트 : http://kafka.apache.org설치 버전 : 0.9.0.1 * 구성형태 사실 이건 설치고자시고 할것도 없더라.그냥 바로 사용해되 된다. ㅎㅎ... 우선 나같은 경우는 zookeeper 가 있는 상태이고 사용중이기때문에 (hbase에서) 그냥 바로 이용한다. 카프카에서는 Topic 이라고 하는가본데 이 Topic 을 등록하고 그 Topic 을 통해서 메세지를 주고받는것인가보더라. 내가 구성한 형태는 아래와 같다. * 카프카를 주키퍼가 있는 서버에 같이 설치를 했으니 그림은.. 더보기 RabbitMQ Hello World RabbitMQ HelloWorld 를 찍어보기로 한다.원래 이건 인터넷 서핑중에 우연히 발견한 오픈소스? 이다. 원래 얼랭을 뒤져보다가. 발견한건데. 메세지 서버로 쓸만하다. 메세지 큐서버 라고 해야하나??? 아무튼 내가 X라고 보내면 서버에서 메세지를 가지고 있다가 받는쪽에서 X라고 받는 이런형태더라. 아래와 같은 형태로 HelloWorld를 찍기로 했다. 사용한 RabbitMQ 버전 : 3.6.1Java Client 버전 : 3.6.1 ( 이건 당연히 이클립스에 서버콘솔쪽에 classpath추가함 )JDK : 1.8 192.168.0.5 : 내가 작업하는 컴퓨터 ( 이클립스에서 Console java 하나 만들어서 실행 )192.168.0.111 : RabbitMQ 서버가 설치된 서버Console .. 더보기 erlang yum 설치 + RabbitMQ RPM 설치. Rabiit MQ 설치를 해보기로 하면서 이왕 할꺼 erlang 을 해보기로 함. RabbitMQ : https://www.rabbitmq.com/얼랭 사이트 : https://www.erlang-solutions.com/ Rabbit MQ 다운로드에 java client 말고 erlang 이 있길래 설치하는것임;;;;; 설치방법에 yum으로 설치하는것이 있길래 설치 시도.repository가 없는것같아서 centos 7 repo 로 뒤져보고 rpm 받아서 repo추가한후 설치한 과정을 기록한다.[root@os1 hadoop]# wget http://dl.fedoraproject.org/pub/epel/7/x86_64/e/epel-release-7-5.noarch.rpm--2016-04-09 07:51:.. 더보기 spark + cassandra 연동 개놈에 카산드라 -- 연동 짜증난다 ㅋHbase 연동을 먼저좀 해보려고 하다가 실패를 하고 짜증나서 카산드라 연동좀 시도해보고 성공후에 기록남김. spark 버전 : 1.6.1 ( 하둡 2.7.2를 사용해서 하둡용으로 컴파일된 버전사용 )cassandra 버전 : 3.4 cassandra spark java connector 버전 : 1.5버전 사용.node 수 : 6 cassandra 설치는 쉬우므로 내가 기록할 정보만 기록한다.나는 6대로 계속 테스트중이므로~~~ 참고로 모든 노드의 스펙은 아래와 같다. ( vmware 스펙 ㅋ ) 카산드라 설정파일 작업부분.위의 VM들을 가지고 모든 노드에 각각 아이피를 할당하여 설정한 설정정보만 남긴다. 카산드라의 분산및 리플리케이션을 위한 구성을 위해서 건드려야.. 더보기 spark + Hbase 연동에러 해결건. 이클립스에서 개발테스트중에 발생한 오류 ( 실행하면 SparkConf쪽에서 바로 오류가 난다.)사실 저 매쏘드를 찾아보려고 jar을 다뒤져보고 역컴파일하다가 짜증나서 폭팔함;; Exception in thread "main" java.lang.NoSuchMethodError: scala.Predef$.$conforms()Lscala/Predef$$less$colon$less;at org.apache.spark.util.Utils$.getSystemProperties(Utils.scala:1546)at org.apache.spark.SparkConf.(SparkConf.scala:59)at spark1.test1.main(test1.java:20) 해결책 : 버전을 잘 마춰준다 ㅋㅋ참고 : spark-1... 더보기 이전 1 다음
