sqopp import format 별로 저장 sqoop 으로 hadoop 으로 넣을경우 4가지 파일 포멧 리스트 * Oracle 에 있는데이터를 Hadoop 으로 옮겨넣을때 그동안은 실시간으로 넣어야해서 flume을 썼는데 배치성으로 도는 작업등은 flume까진 필요없었다. 지금 들어와있는 프로젝트에서는 sqoop 을 사용 해서 데이터를 hadoop으로 넣는 작업을 진행했다. sqoop 은 크게 어려움은 없었으며 쉘상에서 명령어의 사용을 통해서 데이터를 전송해서 사실 개인적으로 사용하기 많이 편했다. 단지 플럼처럼 커스터마이징이 될지는 아직 모르는 상태. 원본은 ORACLE 상에 일반 HEAP TABLE 이다. 테스트용 테이블을 만들고나서 임시로 1,000 건의 데이터를 넣었다. CREATE TABLE HDFS_4 ( ID VARCHAR(100),.. 더보기 Nexus 2.13 배포 기본 환경 구성 집에 맥, 맥북 , 그리고 윈도우 PC, 서피스 4 PRO, 일반 윈도우 노트북이 있다.자랑은 아니고;;;;;전산쟁이 자랑할건 아니다. 단지~ 자바로 이것저것 만들때 여기서 했다 저기서했다 할때 이것들을 소스 형상관리를 통해서도 관리를 할수있겠지만 일단 아예 배포까지 공통에서 관리하고자 넥서스를 설치하기로 한다. 내가 운영하는 Vm중 한곳에 nexus를 설치하고 여기서 관리하기로 한다. 그에대한 기록을 하며 혹시라도 까먹을 자바쪽의 Dog같은 환경설정에 스트레스를 안받기 위함!!! 넥서스 다운로드 경로 : http://www.sonatype.org/nexus/downloads/다운받을때 보면 2016년 7월 오늘자로 보면 OSS 3.xx가 있었다.하아~~ 내가 이걸설치를 하고나서 띄우니까 아우~ 이름과 .. 더보기 화장실 변기 - 시멘트 작업중 (공사업체 개놈들 ) 공사업체정말 쓰레기들이다.백시멘트 얼마한다고 제대로 좀 해주지.아흐 ;;; 아무튼. 변기와 타일사이에 시멘트가 금가고 깨져서 다시 바르기로 하고지난번 세면대 작업하고 나서 한참남은~~~ 시멘트를 가지고 발라보기로 함. 변기를 들어내는것은 어렵지 않았다 무거워서 힘들뿐. 단지 힘들뿐.... 아무튼 들어내고나서 기록용으로 베이스 작업한걸 사진으로 남겨놓는다. 변기를 들어내고나서 위처럼 시멘트를 저 응가들이 내려가는 부분을 제외한부분을 발라줬다. 그런데 충격은. 어느정도 안에 딱채워서 맞게 시멘트를 채워서 베이스로 잡아주던가 ~ 안에 아래 깨진타일을 넣어놨다. 업체!!!!! 띠바~ 아으 정말 저걸 왜 넣어놨는가???? 약 3~4시간 선풍기 바람으로 살짝 말려서 그 뒤에아래처럼. 변기를 올려놓고 말리는중. 주위.. 더보기 mybatis3 sample 스프링에서 xml 처리하지않고 직접 xml 을 호출하면서 처리하는 예제.인터넷이 되지않는 프로젝트에서 사용하려고 기록한다. java 부분.String resource = "mybatis-config.xml"; InputStream inputStream = null; try { inputStream = Resources.getResourceAsStream(resource); } catch (IOException e) { // TODO Auto-generated catch block e.printStackTrace(); } SqlSessionFactory sqlSessionFactory = new SqlSessionFactoryBuilder().build(inputStream); SqlSession sess.. 더보기 storm Hello World Storm 을 소개하는 글을 보면 보통 실시간 데이터 처리용 이라고들 하더라.아무튼 어찌되었든 쓰긴할것처럼 보여서 일단 Hello World 찍어보고 .기본사용법만 익혀본다. 완전 java 로 만들어져있는것처럼 다른 opensource 마냥 무언가 application 을 설치하는 형태라고 보긴 모호한것같다. 사용 버전 : 0.9.6 사용노드 수 : 6대 ( 1 : nimbus , 5 : supervisor )주키퍼 버전 : 3.4.6 (원래쓰던거임으로 ~ 일단 이건 패스) 수정한 설정파일 내역주키퍼설정, 디렉토리 , 호트 , 슬롯포트 정도만 넣었다.conf 디렉토리의 storm.yaml 파일만 수정하고 모든 노드에 동일하게 적용. ########### These MUST be filled in for .. 더보기 이전 1 2 3 4 5 6 ··· 23 다음
