본문 바로가기

My Categories

sqopp import format 별로 저장 sqoop 으로 hadoop 으로 넣을경우 4가지 파일 포멧 리스트 * Oracle 에 있는데이터를 Hadoop 으로 옮겨넣을때 그동안은 실시간으로 넣어야해서 flume을 썼는데 배치성으로 도는 작업등은 flume까진 필요없었다. 지금 들어와있는 프로젝트에서는 sqoop 을 사용 해서 데이터를 hadoop으로 넣는 작업을 진행했다. sqoop 은 크게 어려움은 없었으며 쉘상에서 명령어의 사용을 통해서 데이터를 전송해서 사실 개인적으로 사용하기 많이 편했다. 단지 플럼처럼 커스터마이징이 될지는 아직 모르는 상태. 원본은 ORACLE 상에 일반 HEAP TABLE 이다. 테스트용 테이블을 만들고나서 임시로 1,000 건의 데이터를 넣었다. CREATE TABLE HDFS_4 ( ID VARCHAR(100),.. 더보기
Nexus 2.13 배포 기본 환경 구성 집에 맥, 맥북 , 그리고 윈도우 PC, 서피스 4 PRO, 일반 윈도우 노트북이 있다.자랑은 아니고;;;;;전산쟁이 자랑할건 아니다. 단지~ 자바로 이것저것 만들때 여기서 했다 저기서했다 할때 이것들을 소스 형상관리를 통해서도 관리를 할수있겠지만 일단 아예 배포까지 공통에서 관리하고자 넥서스를 설치하기로 한다. 내가 운영하는 Vm중 한곳에 nexus를 설치하고 여기서 관리하기로 한다. 그에대한 기록을 하며 혹시라도 까먹을 자바쪽의 Dog같은 환경설정에 스트레스를 안받기 위함!!! 넥서스 다운로드 경로 : http://www.sonatype.org/nexus/downloads/다운받을때 보면 2016년 7월 오늘자로 보면 OSS 3.xx가 있었다.하아~~ 내가 이걸설치를 하고나서 띄우니까 아우~ 이름과 .. 더보기
화장실 변기 - 시멘트 작업중 (공사업체 개놈들 ) 공사업체정말 쓰레기들이다.백시멘트 얼마한다고 제대로 좀 해주지.아흐 ;;; 아무튼. 변기와 타일사이에 시멘트가 금가고 깨져서 다시 바르기로 하고지난번 세면대 작업하고 나서 한참남은~~~ 시멘트를 가지고 발라보기로 함. 변기를 들어내는것은 어렵지 않았다 무거워서 힘들뿐. 단지 힘들뿐.... 아무튼 들어내고나서 기록용으로 베이스 작업한걸 사진으로 남겨놓는다. 변기를 들어내고나서 위처럼 시멘트를 저 응가들이 내려가는 부분을 제외한부분을 발라줬다. 그런데 충격은. 어느정도 안에 딱채워서 맞게 시멘트를 채워서 베이스로 잡아주던가 ~ 안에 아래 깨진타일을 넣어놨다. 업체!!!!! 띠바~ 아으 정말 저걸 왜 넣어놨는가???? 약 3~4시간 선풍기 바람으로 살짝 말려서 그 뒤에아래처럼. 변기를 올려놓고 말리는중. 주위.. 더보기
mybatis3 sample 스프링에서 xml 처리하지않고 직접 xml 을 호출하면서 처리하는 예제.인터넷이 되지않는 프로젝트에서 사용하려고 기록한다. java 부분.String resource = "mybatis-config.xml"; InputStream inputStream = null; try { inputStream = Resources.getResourceAsStream(resource); } catch (IOException e) { // TODO Auto-generated catch block e.printStackTrace(); } SqlSessionFactory sqlSessionFactory = new SqlSessionFactoryBuilder().build(inputStream); SqlSession sess.. 더보기
storm Hello World Storm 을 소개하는 글을 보면 보통 실시간 데이터 처리용 이라고들 하더라.아무튼 어찌되었든 쓰긴할것처럼 보여서 일단 Hello World 찍어보고 .기본사용법만 익혀본다. 완전 java 로 만들어져있는것처럼 다른 opensource 마냥 무언가 application 을 설치하는 형태라고 보긴 모호한것같다. 사용 버전 : 0.9.6 사용노드 수 : 6대 ( 1 : nimbus , 5 : supervisor )주키퍼 버전 : 3.4.6 (원래쓰던거임으로 ~ 일단 이건 패스) 수정한 설정파일 내역주키퍼설정, 디렉토리 , 호트 , 슬롯포트 정도만 넣었다.conf 디렉토리의 storm.yaml 파일만 수정하고 모든 노드에 동일하게 적용. ########### These MUST be filled in for .. 더보기
KafKa Cluster ~ HelloWorld RabbitMQ vs KafKa를 테스트한 자료가 외국블로그에 소개가 되는글을 우연히 본후 이 두가지를 동시에 사용하면서 메세지 전송을 위한 작업을 진행해보고자 한다. 그래서 우선 요거부터 기본설치를 한다. 카프카 프로젝트 : http://kafka.apache.org설치 버전 : 0.9.0.1 * 구성형태 사실 이건 설치고자시고 할것도 없더라.그냥 바로 사용해되 된다. ㅎㅎ... 우선 나같은 경우는 zookeeper 가 있는 상태이고 사용중이기때문에 (hbase에서) 그냥 바로 이용한다. 카프카에서는 Topic 이라고 하는가본데 이 Topic 을 등록하고 그 Topic 을 통해서 메세지를 주고받는것인가보더라. 내가 구성한 형태는 아래와 같다. * 카프카를 주키퍼가 있는 서버에 같이 설치를 했으니 그림은.. 더보기
RabbitMQ Hello World RabbitMQ HelloWorld 를 찍어보기로 한다.원래 이건 인터넷 서핑중에 우연히 발견한 오픈소스? 이다. 원래 얼랭을 뒤져보다가. 발견한건데. 메세지 서버로 쓸만하다. 메세지 큐서버 라고 해야하나??? 아무튼 내가 X라고 보내면 서버에서 메세지를 가지고 있다가 받는쪽에서 X라고 받는 이런형태더라. 아래와 같은 형태로 HelloWorld를 찍기로 했다. 사용한 RabbitMQ 버전 : 3.6.1Java Client 버전 : 3.6.1 ( 이건 당연히 이클립스에 서버콘솔쪽에 classpath추가함 )JDK : 1.8 192.168.0.5 : 내가 작업하는 컴퓨터 ( 이클립스에서 Console java 하나 만들어서 실행 )192.168.0.111 : RabbitMQ 서버가 설치된 서버Console .. 더보기
erlang yum 설치 + RabbitMQ RPM 설치. Rabiit MQ 설치를 해보기로 하면서 이왕 할꺼 erlang 을 해보기로 함. RabbitMQ : https://www.rabbitmq.com/얼랭 사이트 : https://www.erlang-solutions.com/ Rabbit MQ 다운로드에 java client 말고 erlang 이 있길래 설치하는것임;;;;; 설치방법에 yum으로 설치하는것이 있길래 설치 시도.repository가 없는것같아서 centos 7 repo 로 뒤져보고 rpm 받아서 repo추가한후 설치한 과정을 기록한다.[root@os1 hadoop]# wget http://dl.fedoraproject.org/pub/epel/7/x86_64/e/epel-release-7-5.noarch.rpm--2016-04-09 07:51:.. 더보기
spark + cassandra 연동 개놈에 카산드라 -- 연동 짜증난다 ㅋHbase 연동을 먼저좀 해보려고 하다가 실패를 하고 짜증나서 카산드라 연동좀 시도해보고 성공후에 기록남김. spark 버전 : 1.6.1 ( 하둡 2.7.2를 사용해서 하둡용으로 컴파일된 버전사용 )cassandra 버전 : 3.4 cassandra spark java connector 버전 : 1.5버전 사용.node 수 : 6 cassandra 설치는 쉬우므로 내가 기록할 정보만 기록한다.나는 6대로 계속 테스트중이므로~~~ 참고로 모든 노드의 스펙은 아래와 같다. ( vmware 스펙 ㅋ ) 카산드라 설정파일 작업부분.위의 VM들을 가지고 모든 노드에 각각 아이피를 할당하여 설정한 설정정보만 남긴다. 카산드라의 분산및 리플리케이션을 위한 구성을 위해서 건드려야.. 더보기
spark + Hbase 연동에러 해결건. 이클립스에서 개발테스트중에 발생한 오류 ( 실행하면 SparkConf쪽에서 바로 오류가 난다.)사실 저 매쏘드를 찾아보려고 jar을 다뒤져보고 역컴파일하다가 짜증나서 폭팔함;; Exception in thread "main" java.lang.NoSuchMethodError: scala.Predef$.$conforms()Lscala/Predef$$less$colon$less;at org.apache.spark.util.Utils$.getSystemProperties(Utils.scala:1546)at org.apache.spark.SparkConf.(SparkConf.scala:59)at spark1.test1.main(test1.java:20) 해결책 : 버전을 잘 마춰준다 ㅋㅋ참고 : spark-1... 더보기