본문 바로가기

Hadoop Hbase 이용한 데이터 적재및 결과 DB전송 RDBMS 가 좋다~ 편하니까 ㅎㅎ....하지만 대형데이터를 다루기엔 역시 개발자입장에선 NoSQL이 편하기도 하다.SQL의 튜닝적인 요소에 머리를 쥐어짜고 고민하고 스트레스받는것보단 NoSQL에서 데이터를 쭉쭉뽑으면 쉽긴하다. RDBMS든 BigData든 중요한건 데이터를 메모리로 들고가서 처리하고 결과를 보여준다.그에대한 내부 아키텍쳐가 아무리 복잡해도 후다닥 가져와서 후다닥처리하고자함은 역시나 다를바없다고 본다. 회사에서도 오라클로는 저장하기 부담스러운 데이터를 적재하고 분석하고자 고민끝에. 아래처럼 Hadoop을 선택했다.그중에서도 가장 DB스러운 hbase를 채택하여 운영해보고 쓸만하면 복잡스럽지 않은 데이터는 hbase를 앞에 두고 운영하려고 겸사 겸사 프로젝트 시작한다. 그림은 최종 고객이 .. 더보기
oracle 에서 메일보내기 모니터링을 위해서 주기적으로 메일이 발송되도록 하는작업을 함.(인터넷을 뒤져봐서 되는것과 함께 [한글]처리하는것 포함해서 처리한것)CREATE OR REPLACE PROCEDURE 프로시저명 (pSender VARCHAR2, pRecipient VARCHAR2, pSubject VARCHAR2, pMessage CLOB) IS c UTL_SMTP.CONNECTION; MSG CLOB; l_boundary VARCHAR2(50) := '----=*#abc1234321cba#*='; E_SQLCODE VARCHAR2(30); E_SQLMSG VARCHAR2(1000);BEGINc := UTL_SMTP.OPEN_CONNECTION('localhost'); UTL_SMTP.HELO(c, 'localhost');.. 더보기
이관찌꺼기 DROP 이관 프로젝트가 종료후에 DB가 잘 돌아간다. 성능이 좋아져서 이슈가 없는 상황이 되어 조용한데. 어느순간부터 ALERT LOG가 매일같이 반복해서 찍히는것이 있었다. DBMS_STATS: GATHER_STATS_JOB: GATHER_TABLE_STATS('"SYS"','"ET$1C5100030001"','""', ...) DBMS_STATS: ORA-20011: Approximate NDV failed: ORA-29913: error in executing ODCIEXTTABLEOPEN callout KUP-11024: This external table can only be accessed from within a Data Pump job. DBMS_STATS: Too many errors... Re.. 더보기
설치된 oracle 패치 정보 리스트 오라클의 설치된 패치정보를 보는 명령어 내가 현재 있는 고객사의 DB가 설치된곳은 미국이다. 미국의 서버호스팅업체중 이름을 들으면 "아 거기~" 하는 업체가 있는데 하도 지랄스럽게 관리하여 현재 운영되는 DB와 신규로 이관한 DB의 패치정보도 직접봐야하는 상황이라서 해당 정보보는 방법을 찾아보고 메모한다. $ opatch lsinventory -all Oracle Interim Patch Installer version 11.2.0.3.4 Copyright (c) 2012, Oracle Corporation. All rights reserved. Oracle Home : /oracle/app/oracle/product/11.2.0/dbhome_1 Central Inventory : /oracle/app/.. 더보기
Veritas 스토리지 iostat정보 iostat 과 veritas 디스크 볼류정보및 구성정보보는 명령어로 아무리 iostat과 매칭하려고 해도 되지 않아서 이것저것 찾아본결과 베리타스명령어에서 제공하는 것이 있었다.... 젠장....# vmstat -helpusage: vmstat [-V] [-n] [delay [count]] -V prints version. -n causes the headers not to be reprinted regularly. -a print inactive/active page stats. -d prints disk statistics -D prints disk table -p prints disk partition statistics -s prints vm table -m prints slabinfo -t a.. 더보기