본문 바로가기

My Categories

Hive java connection 설정 어찌되었든 DB만은 할수없는 일이다. 좋은(비싸기만 한것말고 적재적소의 데이터베이스) DB에 잘 설계된 데이터구조를 올려놓고 나면 잘만들어진 프로그램이 좋은 인터페이스 역할을 해야 좋은데이터가 만들어지는것이지. DB혼자 잘나바야 데이터 넣기도 어렵고 개발혼자 잘나바야 데이터 꺼내서 활용하기도 어렵다. 개발과 DB는 어찌되었든 같이 조화가 되어야지 불화(?) 가 되어서는 안되는것 같다. 아무튼. 데이터 insert , select 를 위해서 hive를 이용해서 데이터 조작을 위한 테스트를 진행하려고 한다. 준비사항 : 1. hive-0.8.1-bin.tar.gz 안의 라이브러리들. 2. 개발툴 ( 나는 eclipse ) 3. WAS 아무거나 ( 나는 tomcat - was라고 치자..... ) 1. 설정 .. 더보기
Hive로 결정. Hbase 로 이것저것 보다가 pig , hive를 발견했다. 사실 pig 와 hive는 hadoop을 보면서 봤던 단어이기도 하다. 그중에 hive! 여기저기 찾아보니 페이스북에서 개발했고 그게 오픈소스프로젝트에서 업그레이드?를 한다고 하던데 (맞는지 안맞는지는 난 모름) 기본적인 세팅을 하고 hive를 실행해보니 약간 DB와 비슷하다. 내가 늘하던 SQL과 비슷해서 (단 INSERT는 무슨 load도 아니고;;;; 뭐냐;;) 그래서 hive로 이것저것 하기로 하고 세팅을 하기로 했다. 아파치 hive 문서를 찾아보면 https://cwiki.apache.org/confluence/display/Hive/GettingStarted#GettingStarted-InstallationandConfigurat.. 더보기
Hbase 설치. Hadoop 설치후 파일몇개 올려보고 할게 없다. Map Reduce테스트나 자바콘솔로 테스트하고 말곤 그닥 당장은 할게 없었다. 실제 Hadoop을 기반으로한 DB를 만들어서 뭔가를 해봐야한다는 생각에 이것저것 찾아본 결과. HBASE~ 찾았다. Google 에서 쓴다고들하는데 그건 내가 알바아니고. 일단 사용해보고 이것저것 테스트좀 해보기위해서 설치부터 해봐야것다. 나의 성능좋은(?) 서버에 이전에 설치한 Hadoop 과 함께 HBASE를 올려보도록한다. 내가 보기엔 아래와 같은 상태같다. 아니면 댓글누군가 달겠지;;; Hadoop의 HDFS에 HBase를 올린다라고 생각하면 되고. 단. Hbase간의 분산시스템은 zookeeper가 해준다라고 생각하면 될것같다. 위에서 보면 알겠지만 서버로 구축한다.. 더보기
hadoop 설치 HADOOP 설치. 1대의 서버급 PC에 HADOOP 을 우선 여기저기 널려있는 문서를 찾아서 설치부터 하기로 했다. RDB와의 유연한 연동 테스트를 위해서 스트레스 테스트를 위해서 설치부터 진행한다. 1. vmware OS 준비 CPU : 2 RAM : 2GB HDD : 20GB 로 세팅하여 3대를 준비한다. 2. 기본 설치준비 사항. (2012.06.18일 기준 최신버전을 다 받았다) OS 는 리눅스 (Cent OS 5.7로 선택) apache-hadoop : 1.03 jdk : 1.7.0_05 ( 64bit ) 3. 설치전 ( 이렇게 생겨먹은 형태로 설치하려고 한다. ) 오라클 RAC를 설치할때와 마찬가지로 SSH 로 각 3대를 인증없이 로그인되도록 만들고나서 1:N 구조 형태로 연결을 한다. IP.. 더보기
ORACLE Event Trace Code List Code Description 10000 Control file debug event, name ‘control_file’ 10001 Control file crash event1 10002 Control file crash event2 10003 Control file crash event3 10004 Control file crash event4 10005 Trace latch operations for debugging 10006 Testing - block recovery forced 10007 Log switch debug crash after new log select, thread %s 10008 Log switch debug crash after new log header write, th.. 더보기
오라클 SHRINK 대상 추출. 이 내용은 http://ukja.tistory.com/89 링크 ( 욱짜님의 블로그를 검색하여 발견한자료임을 밝힙니다. ) 관련 내용은 해당 링크 클릭 dbms_space.auto_space_advisor_job_proc 실행 내가 필요한건 패키지명 : dbms_space.asa_recommendations(); select *from table(dbms_asa_reommendations()); 더보기
ORA-12838 cannot read/modify an object after modifying it in parallel * 대량 배치작업에서 해당 오류 발생 프로시저가 더이상 진행를 하지 못하고 스톱되었다. * 여기저기 찾아보니 append insert 한 데이터는 바로 읽지를 못한다고 하는데..... * 실험 -- 테이블 하나를 만들고.. create table ttt1 (idx number); -- 페러럴로 데이터를 쳐넣어봅시다. insert /*+ append parallel(2) */ into ttt1 select level from dual connect by level 더보기
새로 구입한 서버 DB를 위해서 서버한대를 마추다. 메인보드 : TYAN S7002G2NR-LE REV.2 TyanKorea CPU : 인텔 제온 E5620 (웨스터미어) (정품) ( 인텔(소켓1366) / 64(32)비트 / 쿼드 코어 / 2.4GHz / 256KB x4 / 윈도우 7 가상화 / 터보부스트 / 하이퍼스레딩 ) Delta World best NO.1 GPS 1000AB Active PFC 80Plus 메모리 : 삼성전자 DDR3 4G PC3-10600 ECC/REG LP * 서버 2008 R2 Enterprise 를 설치. * CPU 코어와 메모리를 보니 흐믓하다. ㅡ_ㅡㅋ Vmware 에 RAC 11g R2 3 노드 MSSQL 2008 R2 11g R2 싱글노드 이것저것 테스트중 더보기
압축 백업 에러 - 작업 MSSQL 2008 STD 에서 압축 백업을 하려고 함. - 오류 메세지 다음 오류로 인해 쿼리 "BACKUP DATABASE [DB] TO DISK = '디스크경로'"을(를) 실행하지 못했습니다: "Standard Edition에서는 BACKUP DATABASE WITH COMPRESSION이(가) 지원되지 않습니다. BACKUP DATABASE이(가) 비정상적으로 종료됩니다. - 해결책 또는 대안 MicroSoft Sql Server 는 2008 Enterprise 버전 부터 지원 되며 R2는 Standard 이상 부터 지원.[정명훈과장님 도움 (__)] 더보기
Test1. CLOB -> VARCHAR로 변경 테스트 환경 OS : Oracle Enterprise Linux 5.5 (x64) ( Vmware ) DB : ORACLE 11g R2 Ent. Storage Type : Ext3 ( FileSystem ) 기존 CLOB 데이터가 있는 대량의 데이터가 있다. 이 데이터를 어디서든 활용을 하기위해서 데이터를 좀더 빠른 상태로 구축하기위한 DW 작업을 해야하는 상황이 왔다. CLOB 을 개선해야하는 상황이다. 사실 난 개발하면서 CLOB을 별로 좋지 않게 생각을 했다. 개발에서도 단순하게 컬럼데이터를 가져오는 형태로 개발을 할수가 없다. 아무리 못해도 1줄이 더 가면 갔지 줄지는 않는다. 여하튼 내 상황에서는 clob 데이터의 data length 를 확인해보니. 최대 6000 최소 2~300 ? 정도? 평.. 더보기

티스토리툴바