본문 바로가기

설치

spark + cassandra 연동 개놈에 카산드라 -- 연동 짜증난다 ㅋHbase 연동을 먼저좀 해보려고 하다가 실패를 하고 짜증나서 카산드라 연동좀 시도해보고 성공후에 기록남김. spark 버전 : 1.6.1 ( 하둡 2.7.2를 사용해서 하둡용으로 컴파일된 버전사용 )cassandra 버전 : 3.4 cassandra spark java connector 버전 : 1.5버전 사용.node 수 : 6 cassandra 설치는 쉬우므로 내가 기록할 정보만 기록한다.나는 6대로 계속 테스트중이므로~~~ 참고로 모든 노드의 스펙은 아래와 같다. ( vmware 스펙 ㅋ ) 카산드라 설정파일 작업부분.위의 VM들을 가지고 모든 노드에 각각 아이피를 할당하여 설정한 설정정보만 남긴다. 카산드라의 분산및 리플리케이션을 위한 구성을 위해서 건드려야.. 더보기
Hbase 설치. Hadoop 설치후 파일몇개 올려보고 할게 없다. Map Reduce테스트나 자바콘솔로 테스트하고 말곤 그닥 당장은 할게 없었다. 실제 Hadoop을 기반으로한 DB를 만들어서 뭔가를 해봐야한다는 생각에 이것저것 찾아본 결과. HBASE~ 찾았다. Google 에서 쓴다고들하는데 그건 내가 알바아니고. 일단 사용해보고 이것저것 테스트좀 해보기위해서 설치부터 해봐야것다. 나의 성능좋은(?) 서버에 이전에 설치한 Hadoop 과 함께 HBASE를 올려보도록한다. 내가 보기엔 아래와 같은 상태같다. 아니면 댓글누군가 달겠지;;; Hadoop의 HDFS에 HBase를 올린다라고 생각하면 되고. 단. Hbase간의 분산시스템은 zookeeper가 해준다라고 생각하면 될것같다. 위에서 보면 알겠지만 서버로 구축한다.. 더보기
hadoop 설치 HADOOP 설치. 1대의 서버급 PC에 HADOOP 을 우선 여기저기 널려있는 문서를 찾아서 설치부터 하기로 했다. RDB와의 유연한 연동 테스트를 위해서 스트레스 테스트를 위해서 설치부터 진행한다. 1. vmware OS 준비 CPU : 2 RAM : 2GB HDD : 20GB 로 세팅하여 3대를 준비한다. 2. 기본 설치준비 사항. (2012.06.18일 기준 최신버전을 다 받았다) OS 는 리눅스 (Cent OS 5.7로 선택) apache-hadoop : 1.03 jdk : 1.7.0_05 ( 64bit ) 3. 설치전 ( 이렇게 생겨먹은 형태로 설치하려고 한다. ) 오라클 RAC를 설치할때와 마찬가지로 SSH 로 각 3대를 인증없이 로그인되도록 만들고나서 1:N 구조 형태로 연결을 한다. IP.. 더보기
Grid Control 10g Agent Grid Control 를 이용하여 전혀 다른 외부서버를 관리할수있다. Agent만 설치하면 Grid Control에 연결되어 중앙에서 편하게 관리가 가능하다. Enterprise Manager를 봤을때 충분하게 생길수있는 기능인것 같다. Grid Control을 설치한 서버 oracle1.oracle.com 을 이용하여 새로운 전혀다른 호스트 oracle2.oracle.com 에 agent를 설치하고 oracle1.oracle.com 에 접속하여 새로운 호스트가 등록된다. Agent 가 설치될 환경. VMware 7.1 + Oracle Enterprise Linux 4 update 8 32 Bit ( 오라클 10g 설치한상태이며 prod 라는 이름의 DB를 생성한상태이다. ) 물론 /etc/hosts .. 더보기
Grid Control 10g 설치. 설치사양 : VMWARE 7.1 + Oracle Enterprise Linux 4 update 8 32Bit (2cpu, 1GB RAM, 20GB HDD) 그리드 컨트롤을 설치하는데 제약사항이 좀있더라. 1-1. 기존에 있는 DB를 가지고 grid Control을 설치할경우 emca 명령어로 em을 drop 시켜야한다. (그냥 생성했더니. sysman 이 생성되서 그러나보다. - 아니면 어찌하여튼간에 em 관련 뭔가가 설치가 되었다는 소리였으니.) 1-2. 리스너 관련 에러. 위의 두가지 해결책 : emca -deconfig dbcontrol db -repos drop; 2. SGA 사이즈는 최소 270메가 이상정도 되어야한다. ( 편하게 300M ) (DBCA로 DB를 설치할때 적게 줬더니 이런에러도 .. 더보기
RAC를 위한 Vmware 스토리지 추가하기 10GB만 추가해 보자. 첫번째 노드에서 하드디스크를 추가. 기존 4개디스크에서 더 추가를해서 5,6번이 생겼다. 그리고 scsi1:5.deviceType = "disk" 를 추가하고 각 4개노드의 vmx 파일에다가 다 추가를 한다. scsi1:5.present = "TRUE" scsi1:5.fileName = "M:\vm_asmdisk\disk5\asmdisk5.vmdk" scsi1:5.mode = "independent-persistent" scsi1:5.deviceType = "disk" scsi1:6.present = "TRUE" scsi1:6.fileName = "M:\vm_asmdisk\disk6\asmdisk6.vmdk" scsi1:6.mode = "independent-persistent".. 더보기
이미 설치한 2노드에 2개노드 더 추가하기 - 5 이제 4노드를 설치하려고 한다. 3노드의 OS설치본을 복사해서 설정을 4노드에 맞게 바꾸고나서. 설치~~~ CRS , DB instance 관련 파일 설치 후 이제 netca 와 dbca 실행하는데 에러가 발생했다. (일단 파일 생성은 되었으나 instance 시작이 안되었다는 소리일테니 재부팅해서 다시 확인하기로 결정) rac4-> crs_stat -t Name Type Target State Host ------------------------------------------------------------ ora.devdb.db application ONLINE ONLINE rac1 ora....b1.inst application ONLINE ONLINE rac1 ora....b2.inst appl.. 더보기
이미 설치한 2노느에 2개노드 더 추가하기 - 4 2개노드에서 4번노드를 실패하고 재부팅을 해본결과 1번노드가 죽었다....... 4번노드는 뭐 당연히 실패했으니 죽은상태고. 그래서 다시 2노드 상태에서 노드 1개만 더 추가해보기로 했다. 헌데 설치과정에서 이런메세지를 봤다. node3 에서 crs 설치 성공후 위와 같은 메세지가 나와서 일단 걱정되어 NO를 선택했더니 위와같은 상태로 실패. 그래서 일단 다시 시도해서 YES를 눌러서 진행을 해서 성공. 엇!!!!!!!!!!!!!!! 그랬더니. rac3-> crs_stat -t Name Type Target State Host ------------------------------------------------------------ ora.devdb.db application ONLINE ONLINE .. 더보기
이미 설치한 2노느에 2개노드 더 추가하기 - 3 netca 1. cluster configration 선택 후 다음 2. 전체노드 선택 후 다음 3. Listener configuration 선택 후 다음 4. Reconfigure 선택 후 다음 5. TCP만 선택후 다음. ( TCPS 설정 안했으니.... ) 6. Use the standard port number of 1521 선택 후 다음 7. No ( 클러스터용리스너만 변경시킬거라 다른건 필요없음. ) 선택 후 다음. Oracle Net Services Configuration: Configuring Listener:LISTENER rac1... rac2... rac3... rac4... Listener configuration complete. 8. Listener configuration .. 더보기
이미 설치한 2노드에 2개노드 더 추가하기 - 2 $ORACLE_HOME/oui/bin/addNode.sh 각노드 둘다 실행. [root@rac3 ~]# /u01/app/oracle/product/10.2.0/db_1/root.sh Running Oracle10 root.sh script... The following environment variables are set as: ORACLE_OWNER= oracle ORACLE_HOME= /u01/app/oracle/product/10.2.0/db_1 Enter the full pathname of the local bin directory: [/usr/local/bin]: Copying dbhome to /usr/local/bin ... Copying oraenv to /usr/local/bin ..... 더보기