본문 바로가기
Hive java connection 설정 어찌되었든 DB만은 할수없는 일이다. 좋은(비싸기만 한것말고 적재적소의 데이터베이스) DB에 잘 설계된 데이터구조를 올려놓고 나면 잘만들어진 프로그램이 좋은 인터페이스 역할을 해야 좋은데이터가 만들어지는것이지. DB혼자 잘나바야 데이터 넣기도 어렵고 개발혼자 잘나바야 데이터 꺼내서 활용하기도 어렵다. 개발과 DB는 어찌되었든 같이 조화가 되어야지 불화(?) 가 되어서는 안되는것 같다. 아무튼. 데이터 insert , select 를 위해서 hive를 이용해서 데이터 조작을 위한 테스트를 진행하려고 한다. 준비사항 : 1. hive-0.8.1-bin.tar.gz 안의 라이브러리들. 2. 개발툴 ( 나는 eclipse ) 3. WAS 아무거나 ( 나는 tomcat - was라고 치자..... ) 1. 설정 .. 더보기
Hive로 결정. Hbase 로 이것저것 보다가 pig , hive를 발견했다. 사실 pig 와 hive는 hadoop을 보면서 봤던 단어이기도 하다. 그중에 hive! 여기저기 찾아보니 페이스북에서 개발했고 그게 오픈소스프로젝트에서 업그레이드?를 한다고 하던데 (맞는지 안맞는지는 난 모름) 기본적인 세팅을 하고 hive를 실행해보니 약간 DB와 비슷하다. 내가 늘하던 SQL과 비슷해서 (단 INSERT는 무슨 load도 아니고;;;; 뭐냐;;) 그래서 hive로 이것저것 하기로 하고 세팅을 하기로 했다. 아파치 hive 문서를 찾아보면 https://cwiki.apache.org/confluence/display/Hive/GettingStarted#GettingStarted-InstallationandConfigurat.. 더보기
Hbase 설치. Hadoop 설치후 파일몇개 올려보고 할게 없다. Map Reduce테스트나 자바콘솔로 테스트하고 말곤 그닥 당장은 할게 없었다. 실제 Hadoop을 기반으로한 DB를 만들어서 뭔가를 해봐야한다는 생각에 이것저것 찾아본 결과. HBASE~ 찾았다. Google 에서 쓴다고들하는데 그건 내가 알바아니고. 일단 사용해보고 이것저것 테스트좀 해보기위해서 설치부터 해봐야것다. 나의 성능좋은(?) 서버에 이전에 설치한 Hadoop 과 함께 HBASE를 올려보도록한다. 내가 보기엔 아래와 같은 상태같다. 아니면 댓글누군가 달겠지;;; Hadoop의 HDFS에 HBase를 올린다라고 생각하면 되고. 단. Hbase간의 분산시스템은 zookeeper가 해준다라고 생각하면 될것같다. 위에서 보면 알겠지만 서버로 구축한다.. 더보기
hadoop 설치 HADOOP 설치. 1대의 서버급 PC에 HADOOP 을 우선 여기저기 널려있는 문서를 찾아서 설치부터 하기로 했다. RDB와의 유연한 연동 테스트를 위해서 스트레스 테스트를 위해서 설치부터 진행한다. 1. vmware OS 준비 CPU : 2 RAM : 2GB HDD : 20GB 로 세팅하여 3대를 준비한다. 2. 기본 설치준비 사항. (2012.06.18일 기준 최신버전을 다 받았다) OS 는 리눅스 (Cent OS 5.7로 선택) apache-hadoop : 1.03 jdk : 1.7.0_05 ( 64bit ) 3. 설치전 ( 이렇게 생겨먹은 형태로 설치하려고 한다. ) 오라클 RAC를 설치할때와 마찬가지로 SSH 로 각 3대를 인증없이 로그인되도록 만들고나서 1:N 구조 형태로 연결을 한다. IP.. 더보기
ORACLE Event Trace Code List Code Description 10000 Control file debug event, name ‘control_file’ 10001 Control file crash event1 10002 Control file crash event2 10003 Control file crash event3 10004 Control file crash event4 10005 Trace latch operations for debugging 10006 Testing - block recovery forced 10007 Log switch debug crash after new log select, thread %s 10008 Log switch debug crash after new log header write, th.. 더보기

티스토리툴바