달력

09

« 2017/09 »

  •  
  •  
  •  
  •  
  •  
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18
  • 19
  • 20
  • 21
  • 22
  • 23
  • 24
  • 25
  • 26
  • 27
  • 28
  • 29
  • 30

sqoop , compress , parquet , textplain 을 사용하기 위한 테스트를 진행하기로 했다.


현재 프로젝트중인 고객사에서 사용하기로 한 

snappy와 parquet에 대한 테스트를 위해서 해당 내용을 작성한다.

사용할경우 안할경우를 비교하기위해서 

총 4가지의 케이스를 테스트한다.


MAIN Server 환경 : 

- CPU : 2CPU (2Socket 24Core)

- RAM : 256GB

- HDD : PCX용 SSD + SATA HDD 조합 (hadoop, oracle data가 SATA HDD에 존재)

테스트상 Disk I/O가 영향이 많이가기때문에 이 내용도 기록함 

- HDD는 전부 5400RPM - 버퍼 64MB , WD사의 데이터 저장용 HDD임.

- SSD는 PCI-E 에 장착하는 장비이며 INTEL SSD 700시리즈

- OS+APP+ENGINE은 SSD에 , DATA는 HDD에 있다

* ambari 를 이용한 하둡설치를 진행했으며 DATA NODE 는 총 4개 replica는 3

* namenode 2개 HA구성.

* Vmware 10 

* Vmware 구성 Network 는 기본 100m 라인.

* Oracle은 Enterprise single node 12.1버전 (linux) - 이것역시 Vmware 



oracle 테이블은 아래와 같다.

데이터 사이즈는 약 80GB정도 되는 테이블이며 150개의 컬럼에 1바이트안남기고 150바이트씩 전부 넣어서 데이터를 만들었다. 건수는 5,385,050건 이다. 

최대한 비슷한 환경을 위해서 shared pool , db block buffer flush를 하면서 테스트를 진행했다.




case 1. 비압축 + text plain 


명령어 실행

sqoop import --target-dir=/dev/data1_nc_txt --table HDFS_2 -direct --connect jdbc:oracle:thin:@192.168.0.117:1521:ORCL --username flashone --password 1234 --split-by ACOL1


실행 결과

[hdfs@amb2 ~]$ sqoop import --target-dir=/dev/data1_nc_txt --table HDFS_2 -direct --connect jdbc:oracle:thin:@192.168.0.117:1521:ORCL --username flashone --password 1234 --split-by ACOL1

16/08/10 14:01:17 INFO sqoop.Sqoop: Running Sqoop version: 1.4.6.2.4.2.0-258

16/08/10 14:01:17 WARN tool.BaseSqoopTool: Setting your password on the command-line is insecure. Consider using -P instead.

16/08/10 14:01:17 INFO manager.SqlManager: Using default fetchSize of 1000

SLF4J: Class path contains multiple SLF4J bindings.

SLF4J: Found binding in [jar:file:/usr/hdp/2.4.2.0-258/hadoop/lib/slf4j-log4j12-1.7.10.jar!/org/slf4j/impl/StaticLoggerBinder.class]

SLF4J: Found binding in [jar:file:/usr/hdp/2.4.2.0-258/zookeeper/lib/slf4j-log4j12-1.6.1.jar!/org/slf4j/impl/StaticLoggerBinder.class]

SLF4J: Found binding in [jar:file:/usr/hdp/2.4.2.0-258/accumulo/lib/slf4j-log4j12.jar!/org/slf4j/impl/StaticLoggerBinder.class]

SLF4J: See http://www.slf4j.org/codes.html#multiple_bindings for an explanation.

SLF4J: Actual binding is of type [org.slf4j.impl.Log4jLoggerFactory]

16/08/10 14:01:18 INFO oracle.OraOopManagerFactory: 

**************************************************

*** Using Data Connector for Oracle and Hadoop ***

**************************************************

16/08/10 14:01:18 INFO oracle.OraOopManagerFactory: Oracle Database version: Oracle Database 12c Enterprise Edition Release 12.1.0.2.0 - 64bit Production

16/08/10 14:01:18 INFO oracle.OraOopManagerFactory: This Oracle database is not a RAC.

16/08/10 14:01:18 INFO tool.CodeGenTool: Beginning code generation

16/08/10 14:01:18 INFO manager.SqlManager: Executing SQL statement: SELECT "ACOL1","ACOL2","ACOL3","ACOL4","ACOL5","ACOL6","ACOL7","ACOL8","ACOL9","ACOL10","ACOL11","ACOL12","ACOL13","ACOL14","ACOL15","ACOL16","ACOL17","ACOL18","ACOL19","ACOL20","ACOL21","ACOL22","ACOL23","ACOL24","ACOL25","ACOL26","ACOL27","ACOL28","ACOL29","ACOL30","ACOL31","ACOL32","ACOL33","ACOL34","ACOL35","ACOL36","ACOL37","ACOL38","ACOL39","ACOL40","ACOL41","ACOL42","ACOL43","ACOL44","ACOL45","ACOL46","ACOL47","ACOL48","ACOL49","ACOL50","ACOL51","ACOL52","ACOL53","ACOL54","ACOL55","ACOL56","ACOL57","ACOL58","ACOL59","ACOL60","ACOL61","ACOL62","ACOL63","ACOL64","ACOL65","ACOL66","ACOL67","ACOL68","ACOL69","ACOL70","ACOL71","ACOL72","ACOL73","ACOL74","ACOL75","BCOL1","BCOL2","BCOL3","BCOL4","BCOL5","BCOL6","BCOL7","BCOL8","BCOL9","BCOL10","BCOL11","BCOL12","BCOL13","BCOL14","BCOL15","BCOL16","BCOL17","BCOL18","BCOL19","BCOL20","BCOL21","BCOL22","BCOL23","BCOL24","BCOL25","BCOL26","BCOL27","BCOL28","BCOL29","BCOL30","BCOL31","BCOL32","BCOL33","BCOL34","BCOL35","BCOL36","BCOL37","BCOL38","BCOL39","BCOL40","BCOL41","BCOL42","BCOL43","BCOL44","BCOL45","BCOL46","BCOL47","BCOL48","BCOL49","BCOL50","BCOL51","BCOL52","BCOL53","BCOL54","BCOL55","BCOL56","BCOL57","BCOL58","BCOL59","BCOL60","BCOL61","BCOL62","BCOL63","BCOL64","BCOL65","BCOL66","BCOL67","BCOL68","BCOL69","BCOL70","BCOL71","BCOL72","BCOL73","BCOL74","BCOL75" FROM HDFS_2 WHERE 0=1

16/08/10 14:01:18 INFO manager.SqlManager: Executing SQL statement: SELECT "ACOL1","ACOL2","ACOL3","ACOL4","ACOL5","ACOL6","ACOL7","ACOL8","ACOL9","ACOL10","ACOL11","ACOL12","ACOL13","ACOL14","ACOL15","ACOL16","ACOL17","ACOL18","ACOL19","ACOL20","ACOL21","ACOL22","ACOL23","ACOL24","ACOL25","ACOL26","ACOL27","ACOL28","ACOL29","ACOL30","ACOL31","ACOL32","ACOL33","ACOL34","ACOL35","ACOL36","ACOL37","ACOL38","ACOL39","ACOL40","ACOL41","ACOL42","ACOL43","ACOL44","ACOL45","ACOL46","ACOL47","ACOL48","ACOL49","ACOL50","ACOL51","ACOL52","ACOL53","ACOL54","ACOL55","ACOL56","ACOL57","ACOL58","ACOL59","ACOL60","ACOL61","ACOL62","ACOL63","ACOL64","ACOL65","ACOL66","ACOL67","ACOL68","ACOL69","ACOL70","ACOL71","ACOL72","ACOL73","ACOL74","ACOL75","BCOL1","BCOL2","BCOL3","BCOL4","BCOL5","BCOL6","BCOL7","BCOL8","BCOL9","BCOL10","BCOL11","BCOL12","BCOL13","BCOL14","BCOL15","BCOL16","BCOL17","BCOL18","BCOL19","BCOL20","BCOL21","BCOL22","BCOL23","BCOL24","BCOL25","BCOL26","BCOL27","BCOL28","BCOL29","BCOL30","BCOL31","BCOL32","BCOL33","BCOL34","BCOL35","BCOL36","BCOL37","BCOL38","BCOL39","BCOL40","BCOL41","BCOL42","BCOL43","BCOL44","BCOL45","BCOL46","BCOL47","BCOL48","BCOL49","BCOL50","BCOL51","BCOL52","BCOL53","BCOL54","BCOL55","BCOL56","BCOL57","BCOL58","BCOL59","BCOL60","BCOL61","BCOL62","BCOL63","BCOL64","BCOL65","BCOL66","BCOL67","BCOL68","BCOL69","BCOL70","BCOL71","BCOL72","BCOL73","BCOL74","BCOL75" FROM "HDFS_2" WHERE 1=0

16/08/10 14:01:18 INFO orm.CompilationManager: HADOOP_MAPRED_HOME is /usr/hdp/2.4.2.0-258/hadoop-mapreduce

Note: /tmp/sqoop-hdfs/compile/9152233b807a9011bb4c6752ec771805/HDFS_2.java uses or overrides a deprecated API.

Note: Recompile with -Xlint:deprecation for details.

16/08/10 14:01:21 INFO orm.CompilationManager: Writing jar file: /tmp/sqoop-hdfs/compile/9152233b807a9011bb4c6752ec771805/HDFS_2.jar

16/08/10 14:01:21 INFO mapreduce.ImportJobBase: Beginning import of HDFS_2

16/08/10 14:01:22 INFO manager.SqlManager: Executing SQL statement: SELECT "ACOL1","ACOL2","ACOL3","ACOL4","ACOL5","ACOL6","ACOL7","ACOL8","ACOL9","ACOL10","ACOL11","ACOL12","ACOL13","ACOL14","ACOL15","ACOL16","ACOL17","ACOL18","ACOL19","ACOL20","ACOL21","ACOL22","ACOL23","ACOL24","ACOL25","ACOL26","ACOL27","ACOL28","ACOL29","ACOL30","ACOL31","ACOL32","ACOL33","ACOL34","ACOL35","ACOL36","ACOL37","ACOL38","ACOL39","ACOL40","ACOL41","ACOL42","ACOL43","ACOL44","ACOL45","ACOL46","ACOL47","ACOL48","ACOL49","ACOL50","ACOL51","ACOL52","ACOL53","ACOL54","ACOL55","ACOL56","ACOL57","ACOL58","ACOL59","ACOL60","ACOL61","ACOL62","ACOL63","ACOL64","ACOL65","ACOL66","ACOL67","ACOL68","ACOL69","ACOL70","ACOL71","ACOL72","ACOL73","ACOL74","ACOL75","BCOL1","BCOL2","BCOL3","BCOL4","BCOL5","BCOL6","BCOL7","BCOL8","BCOL9","BCOL10","BCOL11","BCOL12","BCOL13","BCOL14","BCOL15","BCOL16","BCOL17","BCOL18","BCOL19","BCOL20","BCOL21","BCOL22","BCOL23","BCOL24","BCOL25","BCOL26","BCOL27","BCOL28","BCOL29","BCOL30","BCOL31","BCOL32","BCOL33","BCOL34","BCOL35","BCOL36","BCOL37","BCOL38","BCOL39","BCOL40","BCOL41","BCOL42","BCOL43","BCOL44","BCOL45","BCOL46","BCOL47","BCOL48","BCOL49","BCOL50","BCOL51","BCOL52","BCOL53","BCOL54","BCOL55","BCOL56","BCOL57","BCOL58","BCOL59","BCOL60","BCOL61","BCOL62","BCOL63","BCOL64","BCOL65","BCOL66","BCOL67","BCOL68","BCOL69","BCOL70","BCOL71","BCOL72","BCOL73","BCOL74","BCOL75" FROM "HDFS_2" WHERE 1=0

16/08/10 14:01:23 INFO impl.TimelineClientImpl: Timeline service address: http://amb3.local:8188/ws/v1/timeline/

16/08/10 14:01:23 INFO client.RMProxy: Connecting to ResourceManager at amb3.local/192.168.0.143:8050

16/08/10 14:01:25 WARN oracle.OraOopUtilities: System property java.security.egd is not set to file:///dev/urandom - Oracle connections may time out.

16/08/10 14:01:25 INFO db.DBInputFormat: Using read commited transaction isolation

16/08/10 14:01:25 INFO oracle.OraOopOracleQueries: Session Time Zone set to GMT

16/08/10 14:01:25 INFO oracle.OracleConnectionFactory: Initializing Oracle session with SQL :

begin 

  dbms_application_info.set_module(module_name => 'Data Connector for Oracle and Hadoop', action_name => 'import 20160810140118KST'); 

end;

16/08/10 14:01:25 INFO oracle.OracleConnectionFactory: Initializing Oracle session with SQL : alter session disable parallel query

16/08/10 14:01:25 INFO oracle.OracleConnectionFactory: Initializing Oracle session with SQL : alter session set "_serial_direct_read"=true

16/08/10 14:01:25 INFO oracle.OracleConnectionFactory: Initializing Oracle session with SQL : alter session set tracefile_identifier=oraoop

16/08/10 14:01:26 INFO oracle.OraOopDataDrivenDBInputFormat: The table being imported by sqoop has 11335664 blocks that have been divided into 739 chunks which will be processed in 4 splits. The chunks will be allocated to the splits using the method : ROUNDROBIN

16/08/10 14:01:26 INFO mapreduce.JobSubmitter: number of splits:4

16/08/10 14:01:26 INFO mapreduce.JobSubmitter: Submitting tokens for job: job_1470728284233_0015

16/08/10 14:01:27 INFO impl.YarnClientImpl: Submitted application application_1470728284233_0015

16/08/10 14:01:27 INFO mapreduce.Job: The url to track the job: http://amb3.local:8088/proxy/application_1470728284233_0015/

16/08/10 14:01:27 INFO mapreduce.Job: Running job: job_1470728284233_0015

16/08/10 14:01:34 INFO mapreduce.Job: Job job_1470728284233_0015 running in uber mode : false

16/08/10 14:01:34 INFO mapreduce.Job:  map 0% reduce 0%

16/08/10 14:01:55 INFO mapreduce.Job:  map 1% reduce 0%

16/08/10 14:02:10 INFO mapreduce.Job:  map 2% reduce 0%

16/08/10 14:02:29 INFO mapreduce.Job:  map 3% reduce 0%

16/08/10 14:02:46 INFO mapreduce.Job:  map 4% reduce 0%

16/08/10 14:03:01 INFO mapreduce.Job:  map 5% reduce 0%

16/08/10 14:03:19 INFO mapreduce.Job:  map 6% reduce 0%

16/08/10 14:03:39 INFO mapreduce.Job:  map 7% reduce 0%

16/08/10 14:03:57 INFO mapreduce.Job:  map 8% reduce 0%

16/08/10 14:04:17 INFO mapreduce.Job:  map 9% reduce 0%

16/08/10 14:04:39 INFO mapreduce.Job:  map 10% reduce 0%

16/08/10 14:04:56 INFO mapreduce.Job:  map 11% reduce 0%

16/08/10 14:05:15 INFO mapreduce.Job:  map 12% reduce 0%

16/08/10 14:05:32 INFO mapreduce.Job:  map 13% reduce 0%

16/08/10 14:05:53 INFO mapreduce.Job:  map 14% reduce 0%

16/08/10 14:06:10 INFO mapreduce.Job:  map 15% reduce 0%

16/08/10 14:06:29 INFO mapreduce.Job:  map 16% reduce 0%

16/08/10 14:06:54 INFO mapreduce.Job:  map 17% reduce 0%

16/08/10 14:07:12 INFO mapreduce.Job:  map 18% reduce 0%

16/08/10 14:07:30 INFO mapreduce.Job:  map 19% reduce 0%

16/08/10 14:07:51 INFO mapreduce.Job:  map 20% reduce 0%

16/08/10 14:08:21 INFO mapreduce.Job:  map 21% reduce 0%

16/08/10 14:08:36 INFO mapreduce.Job:  map 22% reduce 0%

16/08/10 14:09:01 INFO mapreduce.Job:  map 23% reduce 0%

16/08/10 14:09:20 INFO mapreduce.Job:  map 24% reduce 0%

16/08/10 14:09:37 INFO mapreduce.Job:  map 25% reduce 0%

16/08/10 14:09:50 INFO mapreduce.Job:  map 26% reduce 0%

16/08/10 14:10:15 INFO mapreduce.Job:  map 27% reduce 0%

16/08/10 14:10:30 INFO mapreduce.Job:  map 28% reduce 0%

16/08/10 14:10:55 INFO mapreduce.Job:  map 29% reduce 0%

16/08/10 14:11:18 INFO mapreduce.Job:  map 30% reduce 0%

16/08/10 14:11:33 INFO mapreduce.Job:  map 31% reduce 0%

16/08/10 14:11:54 INFO mapreduce.Job:  map 32% reduce 0%

16/08/10 14:12:09 INFO mapreduce.Job:  map 33% reduce 0%

16/08/10 14:12:27 INFO mapreduce.Job:  map 34% reduce 0%

16/08/10 14:12:49 INFO mapreduce.Job:  map 35% reduce 0%

16/08/10 14:13:02 INFO mapreduce.Job:  map 36% reduce 0%

16/08/10 14:13:32 INFO mapreduce.Job:  map 37% reduce 0%

16/08/10 14:13:53 INFO mapreduce.Job:  map 38% reduce 0%

16/08/10 14:14:12 INFO mapreduce.Job:  map 39% reduce 0%

16/08/10 14:14:29 INFO mapreduce.Job:  map 40% reduce 0%

16/08/10 14:14:48 INFO mapreduce.Job:  map 41% reduce 0%

16/08/10 14:14:54 INFO mapreduce.Job:  map 42% reduce 0%

16/08/10 14:15:15 INFO mapreduce.Job:  map 43% reduce 0%

16/08/10 14:15:31 INFO mapreduce.Job:  map 44% reduce 0%

16/08/10 14:15:43 INFO mapreduce.Job:  map 45% reduce 0%

16/08/10 14:16:06 INFO mapreduce.Job:  map 46% reduce 0%

16/08/10 14:16:13 INFO mapreduce.Job:  map 47% reduce 0%

16/08/10 14:16:37 INFO mapreduce.Job:  map 48% reduce 0%

16/08/10 14:16:43 INFO mapreduce.Job:  map 49% reduce 0%

16/08/10 14:17:11 INFO mapreduce.Job:  map 50% reduce 0%

16/08/10 14:17:27 INFO mapreduce.Job:  map 51% reduce 0%

16/08/10 14:17:49 INFO mapreduce.Job:  map 52% reduce 0%

16/08/10 14:17:55 INFO mapreduce.Job:  map 53% reduce 0%

16/08/10 14:18:25 INFO mapreduce.Job:  map 54% reduce 0%

16/08/10 14:18:43 INFO mapreduce.Job:  map 55% reduce 0%

16/08/10 14:18:53 INFO mapreduce.Job:  map 56% reduce 0%

16/08/10 14:19:16 INFO mapreduce.Job:  map 57% reduce 0%

16/08/10 14:19:40 INFO mapreduce.Job:  map 58% reduce 0%

16/08/10 14:19:47 INFO mapreduce.Job:  map 59% reduce 0%

16/08/10 14:20:14 INFO mapreduce.Job:  map 60% reduce 0%

16/08/10 14:20:22 INFO mapreduce.Job:  map 61% reduce 0%

16/08/10 14:20:42 INFO mapreduce.Job:  map 62% reduce 0%

16/08/10 14:20:55 INFO mapreduce.Job:  map 63% reduce 0%

16/08/10 14:21:15 INFO mapreduce.Job:  map 64% reduce 0%

16/08/10 14:21:29 INFO mapreduce.Job:  map 65% reduce 0%

16/08/10 14:21:53 INFO mapreduce.Job:  map 66% reduce 0%

16/08/10 14:22:23 INFO mapreduce.Job:  map 67% reduce 0%

16/08/10 14:22:35 INFO mapreduce.Job:  map 68% reduce 0%

16/08/10 14:23:00 INFO mapreduce.Job:  map 69% reduce 0%

16/08/10 14:23:18 INFO mapreduce.Job:  map 70% reduce 0%

16/08/10 14:23:34 INFO mapreduce.Job:  map 71% reduce 0%

16/08/10 14:23:55 INFO mapreduce.Job:  map 72% reduce 0%

16/08/10 14:24:15 INFO mapreduce.Job:  map 73% reduce 0%

16/08/10 14:24:31 INFO mapreduce.Job:  map 74% reduce 0%

16/08/10 14:24:54 INFO mapreduce.Job:  map 75% reduce 0%

16/08/10 14:25:14 INFO mapreduce.Job:  map 76% reduce 0%

16/08/10 14:25:56 INFO mapreduce.Job:  map 77% reduce 0%

16/08/10 14:26:17 INFO mapreduce.Job:  map 78% reduce 0%

16/08/10 14:26:37 INFO mapreduce.Job:  map 79% reduce 0%

16/08/10 14:27:25 INFO mapreduce.Job:  map 80% reduce 0%

16/08/10 14:27:39 INFO mapreduce.Job:  map 81% reduce 0%

16/08/10 14:28:30 INFO mapreduce.Job:  map 82% reduce 0%

16/08/10 14:28:58 INFO mapreduce.Job:  map 83% reduce 0%

16/08/10 14:29:41 INFO mapreduce.Job:  map 84% reduce 0%

16/08/10 14:29:59 INFO mapreduce.Job:  map 85% reduce 0%

16/08/10 14:31:00 INFO mapreduce.Job:  map 86% reduce 0%

16/08/10 14:31:39 INFO mapreduce.Job:  map 87% reduce 0%

16/08/10 14:32:11 INFO mapreduce.Job:  map 88% reduce 0%

16/08/10 14:32:35 INFO mapreduce.Job:  map 89% reduce 0%

16/08/10 14:33:04 INFO mapreduce.Job:  map 90% reduce 0%

16/08/10 14:33:51 INFO mapreduce.Job:  map 91% reduce 0%

16/08/10 14:34:45 INFO mapreduce.Job:  map 92% reduce 0%

16/08/10 14:35:14 INFO mapreduce.Job:  map 93% reduce 0%

16/08/10 14:35:44 INFO mapreduce.Job:  map 94% reduce 0%

16/08/10 14:36:16 INFO mapreduce.Job:  map 95% reduce 0%

16/08/10 14:37:08 INFO mapreduce.Job:  map 96% reduce 0%

16/08/10 14:37:44 INFO mapreduce.Job:  map 97% reduce 0%

16/08/10 14:38:15 INFO mapreduce.Job:  map 98% reduce 0%

16/08/10 14:38:45 INFO mapreduce.Job:  map 99% reduce 0%

16/08/10 14:39:41 INFO mapreduce.Job:  map 100% reduce 0%

16/08/10 14:40:05 INFO mapreduce.Job: Job job_1470728284233_0015 completed successfully

16/08/10 14:40:05 INFO mapreduce.Job: Counters: 30

File System Counters

FILE: Number of bytes read=0

FILE: Number of bytes written=619112

FILE: Number of read operations=0

FILE: Number of large read operations=0

FILE: Number of write operations=0

HDFS: Number of bytes read=66021

HDFS: Number of bytes written=81583507500

HDFS: Number of read operations=16

HDFS: Number of large read operations=0

HDFS: Number of write operations=8

Job Counters 

Launched map tasks=4

Other local map tasks=4

Total time spent by all maps in occupied slots (ms)=17659492

Total time spent by all reduces in occupied slots (ms)=0

Total time spent by all map tasks (ms)=8829746

Total vcore-seconds taken by all map tasks=8829746

Total megabyte-seconds taken by all map tasks=13562489856

Map-Reduce Framework

Map input records=5385050

Map output records=5385050

Input split bytes=66021

Spilled Records=0

Failed Shuffles=0

Merged Map outputs=0

GC time elapsed (ms)=52264

CPU time spent (ms)=2221300

Physical memory (bytes) snapshot=1561075712

Virtual memory (bytes) snapshot=13249417216

Total committed heap usage (bytes)=847249408

File Input Format Counters 

Bytes Read=0

File Output Format Counters 

Bytes Written=81583507500

16/08/10 14:40:05 INFO mapreduce.ImportJobBase: Transferred 75.9806 GB in 2,322.6017 seconds (33.4987 MB/sec)

16/08/10 14:40:05 INFO mapreduce.ImportJobBase: Retrieved 5385050 records.

[hdfs@amb2 ~]$ 




case 2. 압축 + text plain 

sqoop import --target-dir=/dev/data2_sn_txt --compress --compression-codec org.apache.hadoop.io.compress.SnappyCodec --table HDFS_2 -direct --connect jdbc:oracle:thin:@192.168.0.117:1521:ORCL --username flashone --password 1234 --split-by ACOL1


실행결과

[hdfs@amb2 ~]$ sqoop import --target-dir=/dev/data2_sn_txt --compress --compression-codec org.apache.hadoop.io.compress.SnappyCodec --tablHDFS_2 -direct --connect jdbc:oracle:thin:@192.168.0.117:1521:ORCL --username flashone --password 1234 --split-by ACOL1

16/08/10 14:52:34 INFO sqoop.Sqoop: Running Sqoop version: 1.4.6.2.4.2.0-258

16/08/10 14:52:34 WARN tool.BaseSqoopTool: Setting your password on the command-line is insecure. Consider using -P instead.

16/08/10 14:52:34 INFO manager.SqlManager: Using default fetchSize of 1000

SLF4J: Class path contains multiple SLF4J bindings.

SLF4J: Found binding in [jar:file:/usr/hdp/2.4.2.0-258/hadoop/lib/slf4j-log4j12-1.7.10.jar!/org/slf4j/impl/StaticLoggerBinder.class]

SLF4J: Found binding in [jar:file:/usr/hdp/2.4.2.0-258/zookeeper/lib/slf4j-log4j12-1.6.1.jar!/org/slf4j/impl/StaticLoggerBinder.class]

SLF4J: Found binding in [jar:file:/usr/hdp/2.4.2.0-258/accumulo/lib/slf4j-log4j12.jar!/org/slf4j/impl/StaticLoggerBinder.class]

SLF4J: See http://www.slf4j.org/codes.html#multiple_bindings for an explanation.

SLF4J: Actual binding is of type [org.slf4j.impl.Log4jLoggerFactory]

16/08/10 14:52:35 INFO oracle.OraOopManagerFactory: 

**************************************************

*** Using Data Connector for Oracle and Hadoop ***

**************************************************

16/08/10 14:52:36 INFO oracle.OraOopManagerFactory: Oracle Database version: Oracle Database 12c Enterprise Edition Release 12.1.0.2.0 - 64bit Production

16/08/10 14:52:36 INFO oracle.OraOopManagerFactory: This Oracle database is not a RAC.

16/08/10 14:52:36 INFO tool.CodeGenTool: Beginning code generation

16/08/10 14:52:36 INFO manager.SqlManager: Executing SQL statement: SELECT "ACOL1","ACOL2","ACOL3","ACOL4","ACOL5","ACOL6","ACOL7","ACOL8","ACOL9","ACOL10","ACOL11","ACOL12","ACOL13","ACOL14","ACOL15","ACOL16","ACOL17","ACOL18","ACOL19","ACOL20","ACOL21","ACOL22","ACOL23","ACOL24","ACOL25","ACOL26","ACOL27","ACOL28","ACOL29","ACOL30","ACOL31","ACOL32","ACOL33","ACOL34","ACOL35","ACOL36","ACOL37","ACOL38","ACOL39","ACOL40","ACOL41","ACOL42","ACOL43","ACOL44","ACOL45","ACOL46","ACOL47","ACOL48","ACOL49","ACOL50","ACOL51","ACOL52","ACOL53","ACOL54","ACOL55","ACOL56","ACOL57","ACOL58","ACOL59","ACOL60","ACOL61","ACOL62","ACOL63","ACOL64","ACOL65","ACOL66","ACOL67","ACOL68","ACOL69","ACOL70","ACOL71","ACOL72","ACOL73","ACOL74","ACOL75","BCOL1","BCOL2","BCOL3","BCOL4","BCOL5","BCOL6","BCOL7","BCOL8","BCOL9","BCOL10","BCOL11","BCOL12","BCOL13","BCOL14","BCOL15","BCOL16","BCOL17","BCOL18","BCOL19","BCOL20","BCOL21","BCOL22","BCOL23","BCOL24","BCOL25","BCOL26","BCOL27","BCOL28","BCOL29","BCOL30","BCOL31","BCOL32","BCOL33","BCOL34","BCOL35","BCOL36","BCOL37","BCOL38","BCOL39","BCOL40","BCOL41","BCOL42","BCOL43","BCOL44","BCOL45","BCOL46","BCOL47","BCOL48","BCOL49","BCOL50","BCOL51","BCOL52","BCOL53","BCOL54","BCOL55","BCOL56","BCOL57","BCOL58","BCOL59","BCOL60","BCOL61","BCOL62","BCOL63","BCOL64","BCOL65","BCOL66","BCOL67","BCOL68","BCOL69","BCOL70","BCOL71","BCOL72","BCOL73","BCOL74","BCOL75" FROM HDFS_2 WHERE 0=1

16/08/10 14:52:36 INFO manager.SqlManager: Executing SQL statement: SELECT "ACOL1","ACOL2","ACOL3","ACOL4","ACOL5","ACOL6","ACOL7","ACOL8","ACOL9","ACOL10","ACOL11","ACOL12","ACOL13","ACOL14","ACOL15","ACOL16","ACOL17","ACOL18","ACOL19","ACOL20","ACOL21","ACOL22","ACOL23","ACOL24","ACOL25","ACOL26","ACOL27","ACOL28","ACOL29","ACOL30","ACOL31","ACOL32","ACOL33","ACOL34","ACOL35","ACOL36","ACOL37","ACOL38","ACOL39","ACOL40","ACOL41","ACOL42","ACOL43","ACOL44","ACOL45","ACOL46","ACOL47","ACOL48","ACOL49","ACOL50","ACOL51","ACOL52","ACOL53","ACOL54","ACOL55","ACOL56","ACOL57","ACOL58","ACOL59","ACOL60","ACOL61","ACOL62","ACOL63","ACOL64","ACOL65","ACOL66","ACOL67","ACOL68","ACOL69","ACOL70","ACOL71","ACOL72","ACOL73","ACOL74","ACOL75","BCOL1","BCOL2","BCOL3","BCOL4","BCOL5","BCOL6","BCOL7","BCOL8","BCOL9","BCOL10","BCOL11","BCOL12","BCOL13","BCOL14","BCOL15","BCOL16","BCOL17","BCOL18","BCOL19","BCOL20","BCOL21","BCOL22","BCOL23","BCOL24","BCOL25","BCOL26","BCOL27","BCOL28","BCOL29","BCOL30","BCOL31","BCOL32","BCOL33","BCOL34","BCOL35","BCOL36","BCOL37","BCOL38","BCOL39","BCOL40","BCOL41","BCOL42","BCOL43","BCOL44","BCOL45","BCOL46","BCOL47","BCOL48","BCOL49","BCOL50","BCOL51","BCOL52","BCOL53","BCOL54","BCOL55","BCOL56","BCOL57","BCOL58","BCOL59","BCOL60","BCOL61","BCOL62","BCOL63","BCOL64","BCOL65","BCOL66","BCOL67","BCOL68","BCOL69","BCOL70","BCOL71","BCOL72","BCOL73","BCOL74","BCOL75" FROM "HDFS_2" WHERE 1=0

16/08/10 14:52:36 INFO orm.CompilationManager: HADOOP_MAPRED_HOME is /usr/hdp/2.4.2.0-258/hadoop-mapreduce

Note: /tmp/sqoop-hdfs/compile/296e19dcfe9895e28bbc77da203ad202/HDFS_2.java uses or overrides a deprecated API.

Note: Recompile with -Xlint:deprecation for details.

16/08/10 14:52:39 INFO orm.CompilationManager: Writing jar file: /tmp/sqoop-hdfs/compile/296e19dcfe9895e28bbc77da203ad202/HDFS_2.jar

16/08/10 14:52:39 INFO mapreduce.ImportJobBase: Beginning import of HDFS_2

16/08/10 14:52:40 INFO manager.SqlManager: Executing SQL statement: SELECT "ACOL1","ACOL2","ACOL3","ACOL4","ACOL5","ACOL6","ACOL7","ACOL8","ACOL9","ACOL10","ACOL11","ACOL12","ACOL13","ACOL14","ACOL15","ACOL16","ACOL17","ACOL18","ACOL19","ACOL20","ACOL21","ACOL22","ACOL23","ACOL24","ACOL25","ACOL26","ACOL27","ACOL28","ACOL29","ACOL30","ACOL31","ACOL32","ACOL33","ACOL34","ACOL35","ACOL36","ACOL37","ACOL38","ACOL39","ACOL40","ACOL41","ACOL42","ACOL43","ACOL44","ACOL45","ACOL46","ACOL47","ACOL48","ACOL49","ACOL50","ACOL51","ACOL52","ACOL53","ACOL54","ACOL55","ACOL56","ACOL57","ACOL58","ACOL59","ACOL60","ACOL61","ACOL62","ACOL63","ACOL64","ACOL65","ACOL66","ACOL67","ACOL68","ACOL69","ACOL70","ACOL71","ACOL72","ACOL73","ACOL74","ACOL75","BCOL1","BCOL2","BCOL3","BCOL4","BCOL5","BCOL6","BCOL7","BCOL8","BCOL9","BCOL10","BCOL11","BCOL12","BCOL13","BCOL14","BCOL15","BCOL16","BCOL17","BCOL18","BCOL19","BCOL20","BCOL21","BCOL22","BCOL23","BCOL24","BCOL25","BCOL26","BCOL27","BCOL28","BCOL29","BCOL30","BCOL31","BCOL32","BCOL33","BCOL34","BCOL35","BCOL36","BCOL37","BCOL38","BCOL39","BCOL40","BCOL41","BCOL42","BCOL43","BCOL44","BCOL45","BCOL46","BCOL47","BCOL48","BCOL49","BCOL50","BCOL51","BCOL52","BCOL53","BCOL54","BCOL55","BCOL56","BCOL57","BCOL58","BCOL59","BCOL60","BCOL61","BCOL62","BCOL63","BCOL64","BCOL65","BCOL66","BCOL67","BCOL68","BCOL69","BCOL70","BCOL71","BCOL72","BCOL73","BCOL74","BCOL75" FROM "HDFS_2" WHERE 1=0

16/08/10 14:52:42 INFO impl.TimelineClientImpl: Timeline service address: http://amb3.local:8188/ws/v1/timeline/

16/08/10 14:52:42 INFO client.RMProxy: Connecting to ResourceManager at amb3.local/192.168.0.143:8050

16/08/10 14:52:44 WARN oracle.OraOopUtilities: System property java.security.egd is not set to file:///dev/urandom - Oracle connections may time out.

16/08/10 14:52:44 INFO db.DBInputFormat: Using read commited transaction isolation

16/08/10 14:52:44 INFO oracle.OraOopOracleQueries: Session Time Zone set to GMT

16/08/10 14:52:44 INFO oracle.OracleConnectionFactory: Initializing Oracle session with SQL :

begin 

  dbms_application_info.set_module(module_name => 'Data Connector for Oracle and Hadoop', action_name => 'import 20160810145235KST'); 

end;

16/08/10 14:52:44 INFO oracle.OracleConnectionFactory: Initializing Oracle session with SQL : alter session disable parallel query

16/08/10 14:52:44 INFO oracle.OracleConnectionFactory: Initializing Oracle session with SQL : alter session set "_serial_direct_read"=true

16/08/10 14:52:44 INFO oracle.OracleConnectionFactory: Initializing Oracle session with SQL : alter session set tracefile_identifier=oraoop

16/08/10 14:52:45 INFO oracle.OraOopDataDrivenDBInputFormat: The table being imported by sqoop has 11335664 blocks that have been divided into 739 chunks which will be processed in 4 splits. The chunks will be allocated to the splits using the method : ROUNDROBIN

16/08/10 14:52:45 INFO mapreduce.JobSubmitter: number of splits:4

16/08/10 14:52:45 INFO mapreduce.JobSubmitter: Submitting tokens for job: job_1470728284233_0017

16/08/10 14:52:46 INFO impl.YarnClientImpl: Submitted application application_1470728284233_0017

16/08/10 14:52:46 INFO mapreduce.Job: The url to track the job: http://amb3.local:8088/proxy/application_1470728284233_0017/

16/08/10 14:52:46 INFO mapreduce.Job: Running job: job_1470728284233_0017

16/08/10 14:52:54 INFO mapreduce.Job: Job job_1470728284233_0017 running in uber mode : false

16/08/10 14:52:54 INFO mapreduce.Job:  map 0% reduce 0%

16/08/10 14:53:16 INFO mapreduce.Job:  map 1% reduce 0%

16/08/10 14:53:28 INFO mapreduce.Job:  map 2% reduce 0%

16/08/10 14:53:43 INFO mapreduce.Job:  map 3% reduce 0%

16/08/10 14:53:58 INFO mapreduce.Job:  map 4% reduce 0%

16/08/10 14:54:15 INFO mapreduce.Job:  map 5% reduce 0%

16/08/10 14:54:30 INFO mapreduce.Job:  map 6% reduce 0%

16/08/10 14:54:58 INFO mapreduce.Job:  map 7% reduce 0%

16/08/10 14:55:44 INFO mapreduce.Job:  map 8% reduce 0%

16/08/10 14:56:31 INFO mapreduce.Job:  map 9% reduce 0%

16/08/10 14:57:03 INFO mapreduce.Job:  map 10% reduce 0%

16/08/10 14:57:31 INFO mapreduce.Job:  map 11% reduce 0%

16/08/10 14:58:06 INFO mapreduce.Job:  map 12% reduce 0%

16/08/10 14:58:45 INFO mapreduce.Job:  map 13% reduce 0%

16/08/10 14:59:17 INFO mapreduce.Job:  map 14% reduce 0%

16/08/10 14:59:57 INFO mapreduce.Job:  map 15% reduce 0%

16/08/10 15:00:32 INFO mapreduce.Job:  map 16% reduce 0%

16/08/10 15:01:24 INFO mapreduce.Job:  map 17% reduce 0%

16/08/10 15:02:05 INFO mapreduce.Job:  map 18% reduce 0%

16/08/10 15:02:36 INFO mapreduce.Job:  map 19% reduce 0%

16/08/10 15:03:16 INFO mapreduce.Job:  map 20% reduce 0%

16/08/10 15:03:45 INFO mapreduce.Job:  map 21% reduce 0%

16/08/10 15:04:30 INFO mapreduce.Job:  map 22% reduce 0%

16/08/10 15:04:58 INFO mapreduce.Job:  map 23% reduce 0%

16/08/10 15:05:30 INFO mapreduce.Job:  map 24% reduce 0%

16/08/10 15:06:05 INFO mapreduce.Job:  map 25% reduce 0%

16/08/10 15:06:54 INFO mapreduce.Job:  map 26% reduce 0%

16/08/10 15:07:24 INFO mapreduce.Job:  map 27% reduce 0%

16/08/10 15:08:00 INFO mapreduce.Job:  map 28% reduce 0%

16/08/10 15:08:44 INFO mapreduce.Job:  map 29% reduce 0%

16/08/10 15:09:11 INFO mapreduce.Job:  map 30% reduce 0%

16/08/10 15:09:55 INFO mapreduce.Job:  map 31% reduce 0%

16/08/10 15:10:25 INFO mapreduce.Job:  map 32% reduce 0%

16/08/10 15:11:40 INFO mapreduce.Job:  map 33% reduce 0%

16/08/10 15:12:08 INFO mapreduce.Job:  map 34% reduce 0%

16/08/10 15:12:42 INFO mapreduce.Job:  map 35% reduce 0%

16/08/10 15:13:30 INFO mapreduce.Job:  map 36% reduce 0%

16/08/10 15:14:05 INFO mapreduce.Job:  map 37% reduce 0%

16/08/10 15:14:29 INFO mapreduce.Job:  map 38% reduce 0%

16/08/10 15:14:59 INFO mapreduce.Job:  map 39% reduce 0%

16/08/10 15:15:44 INFO mapreduce.Job:  map 40% reduce 0%

16/08/10 15:16:12 INFO mapreduce.Job:  map 41% reduce 0%

16/08/10 15:17:00 INFO mapreduce.Job:  map 42% reduce 0%

16/08/10 15:17:35 INFO mapreduce.Job:  map 43% reduce 0%

16/08/10 15:18:00 INFO mapreduce.Job:  map 44% reduce 0%

16/08/10 15:18:45 INFO mapreduce.Job:  map 45% reduce 0%

16/08/10 15:19:26 INFO mapreduce.Job:  map 46% reduce 0%

16/08/10 15:19:52 INFO mapreduce.Job:  map 47% reduce 0%

16/08/10 15:20:42 INFO mapreduce.Job:  map 48% reduce 0%

16/08/10 15:21:11 INFO mapreduce.Job:  map 49% reduce 0%

16/08/10 15:21:52 INFO mapreduce.Job:  map 50% reduce 0%

16/08/10 15:22:37 INFO mapreduce.Job:  map 51% reduce 0%

16/08/10 15:23:21 INFO mapreduce.Job:  map 52% reduce 0%

16/08/10 15:23:56 INFO mapreduce.Job:  map 53% reduce 0%

16/08/10 15:24:33 INFO mapreduce.Job:  map 54% reduce 0%

16/08/10 15:25:10 INFO mapreduce.Job:  map 55% reduce 0%

16/08/10 15:25:36 INFO mapreduce.Job:  map 56% reduce 0%

16/08/10 15:26:14 INFO mapreduce.Job:  map 57% reduce 0%

16/08/10 15:26:58 INFO mapreduce.Job:  map 58% reduce 0%

16/08/10 15:27:40 INFO mapreduce.Job:  map 59% reduce 0%

16/08/10 15:28:18 INFO mapreduce.Job:  map 60% reduce 0%

16/08/10 15:28:49 INFO mapreduce.Job:  map 61% reduce 0%

16/08/10 15:29:36 INFO mapreduce.Job:  map 62% reduce 0%

16/08/10 15:30:08 INFO mapreduce.Job:  map 63% reduce 0%

16/08/10 15:30:37 INFO mapreduce.Job:  map 64% reduce 0%

16/08/10 15:31:06 INFO mapreduce.Job:  map 65% reduce 0%

16/08/10 15:32:05 INFO mapreduce.Job:  map 66% reduce 0%

16/08/10 15:32:39 INFO mapreduce.Job:  map 67% reduce 0%

16/08/10 15:33:16 INFO mapreduce.Job:  map 68% reduce 0%

16/08/10 15:33:53 INFO mapreduce.Job:  map 69% reduce 0%

16/08/10 15:34:26 INFO mapreduce.Job:  map 70% reduce 0%

16/08/10 15:34:59 INFO mapreduce.Job:  map 71% reduce 0%

16/08/10 15:35:32 INFO mapreduce.Job:  map 72% reduce 0%

16/08/10 15:36:26 INFO mapreduce.Job:  map 73% reduce 0%

16/08/10 15:36:59 INFO mapreduce.Job:  map 74% reduce 0%

16/08/10 15:37:40 INFO mapreduce.Job:  map 75% reduce 0%

16/08/10 15:37:47 INFO mapreduce.Job:  map 76% reduce 0%

16/08/10 15:38:28 INFO mapreduce.Job:  map 77% reduce 0%

16/08/10 15:39:16 INFO mapreduce.Job:  map 78% reduce 0%

16/08/10 15:39:43 INFO mapreduce.Job:  map 79% reduce 0%

16/08/10 15:40:12 INFO mapreduce.Job:  map 80% reduce 0%

16/08/10 15:40:43 INFO mapreduce.Job:  map 81% reduce 0%

16/08/10 15:41:14 INFO mapreduce.Job:  map 82% reduce 0%

16/08/10 15:42:01 INFO mapreduce.Job:  map 83% reduce 0%

16/08/10 15:42:30 INFO mapreduce.Job:  map 84% reduce 0%

16/08/10 15:43:24 INFO mapreduce.Job:  map 85% reduce 0%

16/08/10 15:43:51 INFO mapreduce.Job:  map 86% reduce 0%

16/08/10 15:44:27 INFO mapreduce.Job:  map 87% reduce 0%

16/08/10 15:44:54 INFO mapreduce.Job:  map 88% reduce 0%

16/08/10 15:45:31 INFO mapreduce.Job:  map 89% reduce 0%

16/08/10 15:45:53 INFO mapreduce.Job:  map 90% reduce 0%

16/08/10 15:46:48 INFO mapreduce.Job:  map 91% reduce 0%

16/08/10 15:47:23 INFO mapreduce.Job:  map 92% reduce 0%

16/08/10 15:48:02 INFO mapreduce.Job:  map 93% reduce 0%

16/08/10 15:48:36 INFO mapreduce.Job:  map 94% reduce 0%

16/08/10 15:49:07 INFO mapreduce.Job:  map 95% reduce 0%

16/08/10 15:49:43 INFO mapreduce.Job:  map 96% reduce 0%

16/08/10 15:50:10 INFO mapreduce.Job:  map 97% reduce 0%

16/08/10 15:51:10 INFO mapreduce.Job:  map 98% reduce 0%

16/08/10 15:51:54 INFO mapreduce.Job:  map 99% reduce 0%

16/08/10 15:52:49 INFO mapreduce.Job:  map 100% reduce 0%

16/08/10 15:53:13 INFO mapreduce.Job: Job job_1470728284233_0017 completed successfully

16/08/10 15:53:13 INFO mapreduce.Job: Counters: 30

File System Counters

FILE: Number of bytes read=0

FILE: Number of bytes written=619092

FILE: Number of read operations=0

FILE: Number of large read operations=0

FILE: Number of write operations=0

HDFS: Number of bytes read=66021

HDFS: Number of bytes written=81593058054

HDFS: Number of read operations=16

HDFS: Number of large read operations=0

HDFS: Number of write operations=8

Job Counters 

Launched map tasks=4

Other local map tasks=4

Total time spent by all maps in occupied slots (ms)=27988674

Total time spent by all reduces in occupied slots (ms)=0

Total time spent by all map tasks (ms)=13994337

Total vcore-seconds taken by all map tasks=13994337

Total megabyte-seconds taken by all map tasks=21495301632

Map-Reduce Framework

Map input records=5385050

Map output records=5385050

Input split bytes=66021

Spilled Records=0

Failed Shuffles=0

Merged Map outputs=0

GC time elapsed (ms)=174416

CPU time spent (ms)=3340330

Physical memory (bytes) snapshot=1647304704

Virtual memory (bytes) snapshot=13287915520

Total committed heap usage (bytes)=879755264

File Input Format Counters 

Bytes Read=0

File Output Format Counters 

Bytes Written=81593058054

16/08/10 15:53:13 INFO mapreduce.ImportJobBase: Transferred 75.9895 GB in 3,632.0301 seconds (21.4242 MB/sec)

16/08/10 15:53:13 INFO mapreduce.ImportJobBase: Retrieved 5385050 records.

[hdfs@amb2 ~]$


case 3. 압축 + parquet 

sqoop import --target-dir=/dev/data4_sn_pq --compress --compression-codec org.apache.hadoop.io.compress.SnappyCodec --table HDFS_2 -direct --as-parquetfile --connect jdbc:oracle:thin:@192.168.0.117:1521:ORCL --username flashone --password 1234 --split-by ACOL1


실행 결과

실패 ( 어떤 상황이 생겼는지는 나만 알아야겠다;;; 끔찍하다;;; )

- 50만건으로 재시도하기로함.




저작자 표시
신고
Posted by ORACLE,DBA,BIG,DATA,JAVA 흑풍전설

DB 이관을 하는데 스토리지 이슈가 하도 많아서 고생을 했다.
VERITAS 장비인데 관련 명령어를 남기려고 한다.

 

1. 디스크 그룹 정보 보기

# vxdisk list
DEVICE       TYPE            DISK         GROUP        STATUS
fas32200_4   auto:cdsdisk    oradata01    oradata      online thinrclm
fas32200_5   auto:cdsdisk    orasys01     oracle       online thinrclm
fas32200_7   auto:cdsdisk    orasys01     orasys       online thinrclm
fas32200_8   auto:cdsdisk    oratemp01    oratemp      online thinrclm
sda          auto:none       -            -            online invalid
-            -         fuckveritas  oradata      removed was:fas32200_6
비슷한명령어 : vxdisk -o alldgs list

 

2. 특정디스크 그룹의 정보보기

# vxdg list oradata
Group:     oradata
dgid:      1375321897.11.hostname.com
import-id: 1024.94
flags:     cds
version:   180
alignment: 8192 (bytes)
ssb:            on
autotagging:    on
detach-policy: global
dg-fail-policy: obsolete
ioship: off
copies:    nconfig=default nlog=default
config:    seqno=0.1788 permlen=51360 free=51354 templen=4 loglen=4096
config disk fas32200_4 copy 1 len=51360 state=clean online
log disk fas32200_4 copy 1 len=4096

 

3. 특정 디스크 그룹의 남은 용량

# vxdg -g oradata free ( spare 는 남은 장비까지 정보인듯 )
DISK         DEVICE       TAG          OFFSET    LENGTH    FLAGS
oradata01    fas32200_4   fas32200_4   10737350656 1744      -

 

4. 디스크 상세 정보 볼때

# vxprint -g oradata -l
Group:    oradata
info:     dgid=1375321897.11.hostname.com noautoimport
version:  180
alignment: 8192 (bytes)
detach-policy: global
dg-fail-policy: dgdisable
ioship: off
copies:   nconfig=default nlog=default
devices:  max=32767 cur=1
minors:   >= 25000
cds=on

Disk:     fuckveritas
assoc:    removed (most recent device: fas32200_6)
mediatype: unknown
Disk:     oradata01
info:     diskid=1375321897.9.hostname.com
assoc:    device=fas32200_4 type=auto
flags:    autoconfig
device:   path=/dev/vx/dmp/fas32200_4s3
devinfo:  publen=10737352400 privlen=65536
mediatype: hdd
Subdisk:  oradata01-01
info:     disk=oradata01 offset=0 len=10737350656
assoc:    vol=vol1 plex=vol1-01 (offset=0)
flags:    enabled busy
device:   device=fas32200_4 path=/dev/vx/dmp/fas32200_4s3 diskdev=201/67
mediatype: hdd
Plex:     vol1-01
info:     len=10737350656
type:     layout=CONCAT
state:    state=ACTIVE kernel=ENABLED io=read-write
assoc:    vol=vol1 sd=oradata01-01
flags:    busy complete
mediatype: hdd
Volume:   vol1
info:     len=10737350656
type:     usetype=fsgen
state:    state=ACTIVE kernel=ENABLED cdsrecovery=0/0 (clean)
assoc:    plexes=vol1-01
          exports=(none)
policies: read=SELECT (round-robin) exceptions=GEN_DET_SPARSE
flags:    open writeback thinreclaim
logging:  type=REGION loglen=0 serial=0/0 mapalign=0 maplen=0 nummaps=64 (disabled)
apprecov: seqno=0/0
recovery: mode=default
recov_id=0
device:   minor=25000 bdev=199/25000 cdev=199/25000 path=/dev/vx/dsk/oradata/vol1
perms:    user=root group=root mode=0600
guid: {8094a294-fa61-11e2-b14f-2bad5275fc54}
tp_alloc_size: 4096
mediatype: hdd

# vxprint -g oradata -vt
V  NAME         RVG/VSET/CO  KSTATE   STATE    LENGTH   READPOL   PREFPLEX UTYPE

v  vol1         -            ENABLED  ACTIVE   10737350656 SELECT -        fsgen

신고
Posted by ORACLE,DBA,BIG,DATA,JAVA 흑풍전설

11g 그리드 컨트롤 설치할때 WebLogic Server의 경로를 물어본다.
기존 10g에서는 apache를 이용해서 서비스를 했는데
무언가 좋아지는건지 아니면 뭔지... WAS에 붙어서 서비스가 된다.

BEA가 인수되고나선 처음 설치해보는데 음... bea라는 말은 어딜봐도 없다 ㅎㅎ;;;
Oracle ...



1. Welcome


2. 또 .. Support ... 11g에서는 support의 기능을 대폭 향상시킨듯하다.
드러워서... ㅡ_ㅡ 돈주고 서비스를 받든지해야지원...


3. 설치경로 설정.


4. Custom으로해서 뭐가 설치되는지 보기나하자.


5. 설치목록.


6. 자바JDK 선택.


7. 웹로직 server 위치 설정.


8. 요약정보.


9. install


10. 설치완료.

신고

'Oracle > 11g. Oracle Application' 카테고리의 다른 글

11g Grid Control for WebLogic 10.3.2  (1) 2010.10.16
Grid Control 11g 설치  (4) 2010.10.16
Posted by ORACLE,DBA,BIG,DATA,JAVA 흑풍전설
2010.10.16 01:22

Grid Control 11g 설치 Oracle/11g. Oracle Application2010.10.16 01:22


오라클 11g 이상하게 10g보단 이름이 더 마음에 든다.
OCM 시험중에 하나인 이 Grid Control 은 EM의 글로벌버전? 이라고 봐도 좋을듯하다.
11g EM 에서는 기존 SVG플레이어로 나오는 통계그래프가 Flex의 그래프관련 컴포넌트로 바뀌면서 좀더 깔끔하게 바뀌었다.
dbca를 실행할때도 EM과 grid Control 을 선택하는 화면이 나오고 선택의 폭이 GUI적으로 좀더 깔끔해지고 복잡스럽지 않게 하기위해
많이 노력한 흔적이 보인다.

11g DB는 최소 1.5GB의 메모리가 필요하다.
하지만 11g Grid Control 은 3기가 이상은 되어야한다.
또한 10g Grid Control을 업그레이드 하지 않고 그냥 설치할때에는 WebLogic  경로도 물어본다.
물론 WebLogic 도 오라클사것이긴하지만..... ㅡ_ㅡ;;;;

BEA의 WebLogic 을 대부분 다른 제품과 이상없이 연동되도록 많이 수정한듯하다.

지랄맞은 이 그리드 컨트롤 .... 하드 10GB면 되겠지하고 설치중인데..... 설치후에 패치및 각종설정화면에서 이미 8기가를 사용했고
지금 마음을 조리면서 용량을 확인하고 있다가 잠들기 직전이다 ㅡ_ㅡ;;;;
100MB씩 줄어드는 모습을 보면서 지랄맞은.... 다시 깔까.... 고민중이다...

물론 WebLogic 과 Grid Control 같은곳에 설치해서 그렇지만....
하지만 설치할때 보면 WebLogic 의 MiddleWare 경로에 설치가 된다. 그래서 현업에서 사용한다면 같은곳에 설치를 할것같다.


1. run installer 시작.



2. Check for updates ( 난 가진게 없다... support 계정이 없기때문에 패스 )


3. Select Install Type ( 두번째는 이미 있는 것에 추가하는 ... 사실 아직은 모른다 ㅡ_ㅡ;;; )
아무튼 처음 설치하니 첫번째.


4. Check Prerequisites


1. 메모리 ..... 3072이상.... 난 에러보기싫다 ㅡ_ㅡ;; 변경해서 다시 리부팅해서 적용.(Java 로고가 보인다 여긴 아이콘 수정안했군 ㅋㅋ)


2. 패키지 설치.


5. Specify Install Location - WebLogic 설치 경로 필요.
(이것때문에 웹로직 다운받아서 설치를 했다. 참고 : WebLogic에 이상하게 64Bit 버전이 없다. 왜그럴까나.
아무튼 32비트 버전을 설치해서 연동 했는데 이상은 없었다. ) 



6. Create WebLogic Server Domain



7. Connect to Oracle Database - 기존에 설치된 DB를 연동.


7-1. dbca로 db를 생성하면 EM생성을 하지 않아도 몇개의 스키마와 오브젝트가 생기는듯하다.
그래서 아래메세지가 나온다. emca 로  drop


7-2. 커서캐쉬및 process , log_buffer 재설정.
alter system set session_cached_cursors = 200 scope=spfile;
alter system set log_buffer = 10485760 scope =spfile;
alter system set processes = 500 scope=spfile;


7-3. Undo tablespace 재설정.
SQL> alter database datafile '/u02/oradata/PROD/datafile/o1_mf_undotbs1_6clks2qh_.dbf' resize 250m;
Database altered.

or

SQL> create undo tablespace UNDOTBS2 datafile size 300M autoextend on next 10m maxsize 1000m;
Tablespace created.

SQL> alter system set undo_tablespace = undotbs2;
System altered.

 




8. Configure Oracle Management Repository


9. Customize Port - 각 서비스별 포트설정.


10. Review



11. 설치 GoGo


12. 역시나 Root 계정으로 실행할것은 있다.


13. 이제 설치완료후 각서비스 설정.


14. 완료.


설치하면 아래처럼 process 가 보인다. (많다......)
oracle    9743     1  0 16:20 pts/1    00:00:04 /u03/mware/jrockit_160_14_R27.6.5-32/jre/bin/java -classpath /u03/mware/jrockit_160_14_R27.6.5-32/jre/lib/rt.jar:/u03/mware/jrockit_160_14_R27.6.5-32/jre/
oracle   10128  9743  0 16:21 ?        00:00:00 /bin/sh /u03/gc_inst/user_projects/domains/GCDomain/bin/startEMServer.sh
oracle   10130 10128  0 16:21 ?        00:00:00 /bin/sh /u03/gc_inst/user_projects/domains/GCDomain/bin/startWebLogic.sh
oracle   10170 10130  8 16:21 ?        00:01:05 /u03/mware/jrockit_160_14_R27.6.5-32/bin/java -jrockit -Xms256m -Xmx512m -Dweblogic.Name=EMGC_ADMINSERVER -Djava.security.policy=/u03/mware/wlserver_10.3/
oracle   12619     1  0 16:28 ?        00:00:00 /u03/mware/Oracle_WT/opmn/bin/opmn -d
oracle   12620 12619  0 16:28 ?        00:00:00 /u03/mware/Oracle_WT/opmn/bin/opmn -d
oracle   12642 12620  0 16:28 ?        00:00:00 /u03/mware/Oracle_WT/ohs/bin/httpd.worker -DSSL
oracle   12646 12642  0 16:28 ?        00:00:00 /u03/mware/Oracle_WT/ohs/bin/odl_rotatelogs -l /u03/gc_inst/WebTierIH1/diagnostics/logs/OHS/ohs1/ohs1-%Y%m%d%H%M%S.log 10M 70M
oracle   12647 12642  0 16:28 ?        00:00:00 /u03/mware/Oracle_WT/ohs/bin/odl_rotatelogs /u03/gc_inst/WebTierIH1/diagnostics/logs/OHS/ohs1/access_log 43200
oracle   12648 12642  0 16:28 ?        00:00:00 /u03/mware/Oracle_WT/ohs/bin/rotatelogs /u03/gc_inst/WebTierIH1/diagnostics/logs/OHS/ohs1/em_upload_https_access_log 43200
oracle   12649 12642  0 16:28 ?        00:00:00 /u03/mware/Oracle_WT/ohs/bin/odl_rotatelogs -l -h:/u03/gc_inst/WebTierIH1/config/OHS/ohs1/component_events.xml_ohs1 /u03/gc_inst/WebTierIH1/auditlogs/OHS/
oracle   12653 12642  0 16:28 ?        00:00:02 /u03/mware/Oracle_WT/ohs/bin/httpd.worker -DSSL
oracle   12655 12642  0 16:28 ?        00:00:00 /u03/mware/Oracle_WT/ohs/bin/httpd.worker -DSSL
oracle   12789  9743  0 16:29 ?        00:00:00 /bin/sh /u03/gc_inst/user_projects/domains/GCDomain/bin/startEMServer.sh
oracle   12791 12789  0 16:29 ?        00:00:00 /bin/sh /u03/gc_inst/user_projects/domains/GCDomain/bin/startWebLogic.sh
oracle   12831 12791 55 16:29 ?        00:03:22 /u03/mware/jrockit_160_14_R27.6.5-32/bin/java -jrockit -Xms256m -Xmx512m -Dweblogic.Name=EMGC_OMS1 -Djava.security.policy=/u03/mware/

oracle   14451     1  0 16:33 pts/1    00:00:00 /u03/mware/agent11g/perl/bin/perl /u03/mware/agent11g/bin/emwd.pl agent /u03/mware/agent11g/sysman/log/emagent.nohup
oracle   14473 14451 14 16:33 pts/1    00:00:17 /u03/mware/agent11g/bin/emagent

:::: 설치하고나서 LOGIN 하고 들어가보면. ::::




target database ( prod.oracle.com ) 접속화면.




OMS startup
[oracle@ora11g1 ~]$ /u03/mware/oms11g/bin/emctl start oms
Oracle Enterprise Manager 11g Release 1 Grid Control 
Copyright (c) 1996, 2010 Oracle Corporation.  All rights reserved.
Starting WebTier...
WebTier Successfully Started
Starting Oracle Management Server...
Oracle Management Server Successfully Started
Oracle Management Server is Up
[oracle@ora11g1 ~]$

PC방이다. 집에 일이있어서 PC방에서 뻘짓중이다.ㅡ_ㅡ;;;; 옆에서 담배피는 아자씨~ 시끄랍게 떠드는 여자애들 ㅡ_ㅡ;;;아오~~~ 피곤해

신고

'Oracle > 11g. Oracle Application' 카테고리의 다른 글

11g Grid Control for WebLogic 10.3.2  (1) 2010.10.16
Grid Control 11g 설치  (4) 2010.10.16
Posted by ORACLE,DBA,BIG,DATA,JAVA 흑풍전설
2010.09.28 14:28

SYSOPER Oracle/오라클 양성반 15기2010.09.28 14:28

철저하게 본인 생각에 의해서 쓰여진 부분입니다.


있다는것을 알지만 한번도 들어가본적없을것같은 SYSOPER 테스트.

 

 

oracle database 가 최적의 성능을 발휘하기위해서
선택한 것이 OS에 최적화된성능일것이라 생각된다.
그래서 해당 OS에 맞는 설치파일이 개별로 존재를 하고
각 OS별로 튜닝(하드웨어적인 시스템적인)이 다르다.

완전히 독립적이지 못하다 보니 OS와 떨어져서 예기할수도 없다.

아무튼 중요한건 Oracle DataBase 는 OS와 생각보다 많은 연관이 있다.

 

현업(실제 업무)에서는
DBA가 있고 SE가 있다.
DBA 말그대로 DATABASE Administrator 다.
DATABASE 의 관리자
DATABASE 안의 데이터까지도 전부 컨트롤을 해야하는 사람.

그리고

SE - System Engineer
시스템의 OS또는 하드웨어적인 부분을 컨트롤 하는사람이다.

처음에 말했지만

Oracle은 OS와 많은 연관이 있는 application 이기때문에
계정을 나눴다고 생각이 든다.

SE 에게 하드웨어적인 전체 운영적인 부분의 권한을 주면서도
그렇다고 데이터는 컨트롤 하지 못하게 하는 권한을 생각하다보니
SYSOPER 가 나온것같다.


SE가 database 에 마음대로 접속해서 아무데이터나 막본다면
또는 몰래 가져간다면 그것또한 문제아니겠는가?

 

SYSOPER 의 권한리스트를 보면 아마 정확하게 이해가 가지 않을까 싶다.

1. instance startup, mount, open
2. database open,
3. shutdown
4. dismount database close ,
5. alter database backup archivelog , and recover

딱 보기에도 띄우고 죽이고 이런류의 권한뿐이다.


테스트 한번 해보자.

-- 계정 seman 을 하나 생성한다. 이놈은 이제부터 시스템 엔지니어다.
SQL> create user seman identified by seman;

User created.

SQL>

-- 생성한 계정에 sysoper 권한을 준다.
SQL> grant sysoper to seman;

Grant succeeded.

SQL>


-- 이제 seman 으로 접속해보자 ( sysdba만 치다가 sysoper 치니까 적응이 안된다. )
ocp@orcl> sqlplus seman/seman as sysoper

SQL*Plus: Release 10.2.0.1.0 - Production on Mon Sep 27 15:36:31 2010

Copyright (c) 1982, 2005, Oracle.  All rights reserved.


Connected to:
Oracle Database 10g Enterprise Edition Release 10.2.0.1.0 - Production
With the Partitioning, OLAP and Data Mining options

SQL>

 

############### 이제 SYSOPER 로 이것저것 테스트 해보자. #################

 

CASE 1. select *from tab;

SQL> select *from tab;
TNAME                          TABTYPE  CLUSTERID
------------------------------ ------- ----------
MGMT$TARGET                    SYNONYM
MGMT$TARGET_COMPONENTS         SYNONYM
MGMT$TARGET_COMPOSITE          SYNONYM
MGMT$TARGET_PROPERTIES         SYNONYM
MGMT$TARGET_TYPE               SYNONYM
XDB_CONFIGURATION              SYNONYM
XMLROOT                        SYNONYM
XDB_NAMESPACES                 SYNONYM
XDB_DOM_HELPER                 SYNONYM
XDB_UTILITIES                  SYNONYM
XDB_TOOLS                      SYNONYM

TNAME                          TABTYPE  CLUSTERID
------------------------------ ------- ----------
TEST_SYN1                      SYNONYM
.
.
.

19988 rows selected

SQL>

일단 뭔가 select는 된다.
헌데 좀 특이하다. 보통 이것저것 막나오는데 보기에 시노님만 보인다.
그럼 ... view는??? .... table은 ???

이렇게 날려보자.

SQL> select *From tab where TABTYPE = 'TABLE';

no rows selected

SQL> select *from tab where TABTYPE = 'VIEW';

no rows selected

SQL>

헛. 역시나 다 없단다.

 

CASE 2. 현재 인스턴스의 상태를 확인. ( select instance_name, status from v$instance )

SQL> select instance_name, status from v$instance;
select instance_name, status from v$instance
                                  *
ERROR at line 1:
ORA-00942: table or view does not exist


SQL>

없다고 나온다. (당연할것이다. CASE 1 에서 view 를 못찾았으니.)
뭔가가 객체가 없다고 나오면 권한이 없다는 뜻아니겠는가~

 

CASE 3. 그럼 사용자를 조회해보자. (DBA_USERS)

 

SQL> select *From ALL_USERS;

SQL> select *from DBA_USERS;
select *from DBA_USERS
             *
ERROR at line 1:
ORA-00942: table or view does not exist


SQL>

역시나 없다고 나온다.

 

CASE 4. 그럼 시스템이나 내려보자.


SQL> shutdown immediate
Database closed.
Database dismounted.
ORACLE instance shut down.
SQL>

 

오~ 이건된다.

 

CASE 5. 시스템을 올려보자.

 

SQL> startup
ORACLE instance started.
Database mounted.
Database opened.
SQL>

음..... 역시나 성공..

 

CASE 6. 마지막 계정생성


SQL> create user goodman identified by oracle;
create user goodman identified by oracle
                                  *
ERROR at line 1:
ORA-01031: insufficient privileges


SQL>

 

예상했지만 역시나.......

 

CASE 4,5 를 제외한 조회또는 계정생성등의 작업은 전부 작업이 불가능했다.

 

위의 사항을 봤을때 SYSOPER와 SYSDBA가

역할이 분명해진다. 또한 누가 상위인지 보여진다.


최상위 권한인 SYSDBA는 SYSOPER 를 포함하고있다.
SYSOPER 는 부분집합이라고 할수있겠다.

그것도 OS와 연관이 있는 ( 실제 운영체제에 프로세스가 띄워지는 역할. 혹시나 예기하지만 alter system set .. 으로 메모리를 조절하는것은 분명 OS와도 연관은 있겠으나 이것또한 SYSDBA 권한. ) 일 말고는 할수있는것이 없는 권한이라고 생각해볼수있다.


DATABASE와 OS 간의 경계의 선을 그어주는 권한이라고 생각해볼수 있겠다.

 

뭔가 이상있으면 ㅡ_ㅡ;; 댓글주세요.

 

원래는 차이점을 설명하고 싶었으나

SYSDBA가 다된다라는 사실은 우리가 모두 알고있기에 SYSOPER가 뭐가되는지만 설명함.


신고

'Oracle > 오라클 양성반 15기' 카테고리의 다른 글

SYSOPER  (0) 2010.09.28
dbca. script, template 이것저것  (0) 2010.09.12
pl/sql exception  (0) 2010.09.12
merge into  (0) 2010.09.12
composite data type , cursor  (0) 2010.09.12
for update  (0) 2010.09.12
Posted by ORACLE,DBA,BIG,DATA,JAVA 흑풍전설
2010.09.25 12:56

Grid Control 10g Agent Oracle/10g. Oracle Application2010.09.25 12:56

Grid Control 를 이용하여 전혀 다른 외부서버를 관리할수있다.
Agent만 설치하면 Grid Control에 연결되어 중앙에서 편하게 관리가 가능하다.

Enterprise Manager를 봤을때 충분하게 생길수있는 기능인것 같다.

Grid Control을 설치한 서버 oracle1.oracle.com 을 이용하여
새로운 전혀다른 호스트 oracle2.oracle.com 에 agent를 설치하고 oracle1.oracle.com 에
접속하여 새로운 호스트가 등록된다.

Agent 가 설치될 환경.
VMware 7.1 + Oracle Enterprise Linux 4 update 8 32 Bit
( 오라클 10g 설치한상태이며 prod 라는 이름의 DB를 생성한상태이다. )
물론 /etc/hosts 에는 grid control의 정보가 들어있다.

1. agent를 설치할테니. 4번째것 선택.



2. 설치경로 선택.


3. 역시나 스펙확인 - agent만 설치하기에 sysstat 은 필요가 없나보다. ㅎㅎ;;


4. Grid Control 서버위치 입력.


5. 패스워드 입력.


6. 설치요약


7. 인스톨 고고~


8. 역시나 root 가 무언갈 해줘야한다.

[root@oracle2 ~]# /u01/app/oracle/OracleHomes/agent10g/root.sh
Running Oracle10 root.sh script...

The following environment variables are set as:
    ORACLE_OWNER= oracle
    ORACLE_HOME=  /u01/app/oracle/OracleHomes/agent10g

Enter the full pathname of the local bin directory: [/usr/local/bin]:
The file "dbhome" already exists in /usr/local/bin.  Overwrite it? (y/n)
[n]:
The file "oraenv" already exists in /usr/local/bin.  Overwrite it? (y/n)
[n]:
The file "coraenv" already exists in /usr/local/bin.  Overwrite it? (y/n)
[n]:

Entries will be added to the /etc/oratab file as needed by
Database Configuration Assistant when a database is created
Finished running generic part of root.sh script.
Now product-specific root actions will be performed.
Finished product-specific root actions.

[root@oracle2 ~]#

9. 설치후 configure 설정 - agent라서 각종 여러가지가 나왔던것이 1개로 줄어버렸다.



10. 설치완료~


11. oracle1.oracle.com의 grid control 에 접속해보면~
oracle2.oracle.com 이 자동으로 등록이 되어있다.


12. 음... prod.oracle.com 도 등록이 되어있다.
자동으로 다 찾는구나.....



신고

'Oracle > 10g. Oracle Application' 카테고리의 다른 글

Grid Control 10g Agent  (0) 2010.09.25
Grid Control 10g 설치.  (0) 2010.09.22
Posted by ORACLE,DBA,BIG,DATA,JAVA 흑풍전설
2010.09.22 22:59

Grid Control 10g 설치. Oracle/10g. Oracle Application2010.09.22 22:59

설치사양 : VMWARE 7.1 + Oracle Enterprise Linux 4 update 8 32Bit
(2cpu, 1GB RAM, 20GB HDD)



그리드 컨트롤을 설치하는데 제약사항이 좀있더라.

1-1. 기존에 있는 DB를 가지고 grid Control을 설치할경우 emca 명령어로 em을 drop 시켜야한다.
(그냥 생성했더니. sysman 이 생성되서 그러나보다. - 아니면 어찌하여튼간에 em 관련 뭔가가 설치가 되었다는 소리였으니.)

1-2. 리스너 관련 에러.



위의 두가지 해결책 :
emca -deconfig dbcontrol db -repos drop;



2. SGA 사이즈는 최소 270메가 이상정도 되어야한다. ( 편하게 300M )
(DBCA로 DB를 설치할때 적게 줬더니 이런에러도 나버렸다.)


해결책 :
alter system set sga_max_size = 300m scope=spfile;
alter system set sga_target = 300m scope=spfile;

3. shared_server 구성에 필요한 dispatchers parameter 를 확인한다.
최적의 성능을 위해서 비워라.


해결책 : alter system set dispatchers ='' scope=both;


4. RPM sysstat 을 설치할것.
rpm -Uvh sysstat~~~~~~

5. DBMS_SHARED_POOL package 가 필요하다.

해결책 : $ORACLE_HOME/rdbms/admin/dbmspool.sql 을 실행.

6. 세션 caching 수 늘려야하는 문제


해결책 : alter system set session_cached_cursors = 200 scope=spfile;
위의 사항은 내가 겪은 내용이다 분명 이것말고도 설치도중에 또 생길지 모른다.


위의 에러를 방지하기위한 기본설정을 마치고 설치 해본다.



1. DBCA로 만들어놓은 EMREP 를 사용해본다.


2. 설치경로 설정.


3. 각종 설정 여부 체크 ( 위의 sysstat 체크는 여기서 한다. )


4. database host name 


5. 각종 외부 커넥션 관련 설정 ( 이메일도 없고.... 메타링크 정보도 필요없고.... )


6. 패스워드 설정 - 오라클 대표 패스워드인 oracle이 안된다.~ oracle1 ~은 되네....


7. 설치요약.


8. 설치되고있는중~~~


9. 설치가 되면 역시나 root가 해줘야할일이 생긴다.

[root@oracle1 RPMS]# /u01/app/oracle/product/10.2.0/gc/oms10g/allroot.sh

Starting to execute allroot.sh .........

Starting to execute /u01/app/oracle/product/10.2.0/gc/oms10g/root.sh ......
Running Oracle10 root.sh script...
\nThe following environment variables are set as:
    ORACLE_OWNER= oracle
    ORACLE_HOME=  /u01/app/oracle/product/10.2.0/gc/oms10g

Enter the full pathname of the local bin directory: [/usr/local/bin]:
The file "dbhome" already exists in /usr/local/bin.  Overwrite it? (y/n)
[n]: n
The file "oraenv" already exists in /usr/local/bin.  Overwrite it? (y/n)
[n]: n
The file "coraenv" already exists in /usr/local/bin.  Overwrite it? (y/n)
[n]: n

Adding entry to /etc/oratab file...
Entries will be added to the /etc/oratab file as needed by
Database Configuration Assistant when a database is created
Finished running generic part of root.sh script.
Now product-specific root actions will be performed.
Finished execution of  /u01/app/oracle/product/10.2.0/gc/oms10g/root.sh ......


Starting to execute /u01/app/oracle/product/10.2.0/gc/agent10g/root.sh ......
Running Oracle10 root.sh script...

The following environment variables are set as:
    ORACLE_OWNER= oracle
    ORACLE_HOME=  /u01/app/oracle/product/10.2.0/gc/agent10g

Enter the full pathname of the local bin directory: [/usr/local/bin]:
The file "dbhome" already exists in /usr/local/bin.  Overwrite it? (y/n)
[n]: n
The file "oraenv" already exists in /usr/local/bin.  Overwrite it? (y/n)
[n]: n
The file "coraenv" already exists in /usr/local/bin.  Overwrite it? (y/n)
[n]: n

Entries will be added to the /etc/oratab file as needed by
Database Configuration Assistant when a database is created
Finished running generic part of root.sh script.
Now product-specific root actions will be performed.
Finished product-specific root actions.
Finished execution of  /u01/app/oracle/product/10.2.0/gc/agent10g/root.sh ......[root@oracle1 RPMS]#


10. 설치후 각종 설정 화면. ( 정말 오래걸린다...... 지겹다...... ) 



OMS Configuration에서 에러가 났다.
Configuration assistant "OMS Configuration" failed 

로그를 보니 아래와 같은 에러.

[24-09-2010 19:07:37] Creating repos user ...
DECLARE
*
ERROR at line 1:
ORA-01119: error in creating database file
'/u01/app/oracle/product/10.2.0/gc/oms10g/oradata/mgmt.dbf'
ORA-27040: file create error, unable to create file
Linux Error: 2: No such file or directory
ORA-06512: at line 44

생각없이 처음 설정에서 oradata를 그냥 넘어갔더니....
osm10g 밑으로 oradata 디렉토리가 없다.
그래서 직접 oradata todtjd
[oracle@oracle1 oms10g]$ mkdir oradata
그리고나서 retry

..... 또 기다린다..... 아..... 오래걸리네....



이제 설치를 마치고...


지랄맞은 브라우저 제한.... 그냥 윈도우에서 되게 해야것네;;;

설치끝~

db 올리고~~
/u01/app/oracle/product/gc/oms10g/opmn/bin/opmnctl startall
/u01/app/oracle/product/gc/agent10g/bin/emctl start agent

짠~~~

신고

'Oracle > 10g. Oracle Application' 카테고리의 다른 글

Grid Control 10g Agent  (0) 2010.09.25
Grid Control 10g 설치.  (0) 2010.09.22
Posted by ORACLE,DBA,BIG,DATA,JAVA 흑풍전설



오라클 VMWARE에서 동영상 지원이가능은 하나. 기본 최초설정에서는 동영상지원이 되지 않는다.
그러므로 동영상 설치전 기본설정은 스크린샷으로 대체.
 
설치하게될 호스트 정보   
   ip  domain alias 
 public 192.168.0.133  rac1.expert15.com  rac1
 private  10.10.10.31  rac1-priv.expert15.com  rac1-priv
 virtual  192.168.1.133  rac1-vip.expert15.com  rac1-vip
 public  192.168.0.134  rac2.expert15.com  rac2 
 private  10.10.10.32   rac2-priv.expert15.com  rac2-priv
 virtual  192.168.1.134  rac2-vip.expert15.com  rac2-vip




A. RAC설치에 맞는 디렉토리 설정.

동영상에서는 N:에서 설치를 할것이며 최상위는 RAC로 설정.
RAC (N:\RAC)
  ->RAC1 (N:\RAC\RAC1)
      ->DISK (N:\RAC\RAC1\DISK)
  ->RAC2 (N:\RAC\RAC2)
      ->DISK (N:\RAC\RAC2\DISK)
  ->DISKS (N:\RAC\DISKS)
     ->CRS (N:\RAC\DISKS\CRS)
     ->DATA1 (N:\RAC\DISKS\DATA1)
     ->DATA2 (N:\RAC\DISKS\DATA2)
     ->FLASHBACK (N:\RAC\DISKS\FLASHBACK)

B. 하드디스크 용량확보.
운영체제용량 (20GB) x 2 , 공유디스크 용량 (1GB + 3GB + 3GB + 3GB)
vmware에서 host os(윈도우)와 guest os(리눅스) 간의 설치파일을 공유하기 위한
공간확보 (대략 10GB)
 

C. VMWARE에서 리눅스 운영체제 설정.
동영상 강의에서는 VMWARE 7.1

ㄱ. VMWARE OS 새로 설정 [ 링크 ]
ㄴ. 설정한 OS에 랜카드 추가하기 [ 링크 ]

D. 이제 설정한 리눅스에 오라클 엔터프라이즈 리눅스DVD.iso 를 넣고 설치시작.



E. 설치한 리눅스에 vmware-tools 와 오라클 엔진설치를 위해서 기본 환경설정하기.

ㄱ. vmware-tools설치. 아래처럼 선택하면 vmware-tools cd가 마운트 된다.


ㄴ. 이제 설치 영상.
  
ㄷ. tools 설치후 기본 환경설정진행.
( oracle 계정만들기, Oracle 10g 설치를 위한 설정, host 설정, ocfs2 라이브러리 설치, OS간의 시간동기화 작업 ) [링크]

 

 
F. vmware리눅스 종료후 공유 폴더와 RAC에서 사용할 공유디스크를 설정하기. [링크]
 
G. 리눅스를 복사하기

 
1. 윈도우상에서 해당 리눅스 복사. [링크]

2. 이상없이 리눅스를 복사하고나서 이상이 없는지 부팅해본다. 부팅하고나서
네트워크 랜카드장치의 중복이 생겼으니 기존 디바이스를 제거하고 새 디바이스를 설정한다.

부팅하면 아래처럼 이런 메세지가 나온다. 그냥 copied it 하고 패스~

 
아래 영상처럼 없는 디바이스 삭제 그리고 새로운 디바이스 설정을 해주면된다.

 
이제 root 로 로그인후 아이피를 다시 멀쩡하게 잡아준다.
/etc/hosts 에 설정한 내용을 보고 rac2 의 설정을 새로 잡아준다.

 
H. 양쪽 rac1과 rac2 리눅스를 구동하고 공유디스크 format, ocfs설정 ,SSH 설정.

1. format 은 둘중에 한곳(rac1 또는 rac2) 에서 한다. [링크]
2. ocfs설정은 양쪽노드에서 해준다.


 
I. 설정을 완료하고 ocfs mount 작업및 ORACLE ClusterWare 설치하기.

1. 오라클 ClusterWare 설치할곳 잡아주기. [양쪽 리눅스에서 하기]
[root@rac1 ~]# mdkir /ocfs
[root@rac1 ~]# chown -R oracle:oinstall /ocfs

2. 오라클 엔진 설치할곳 잡아주기. [양쪽 리눅스에서 하기]
[root@rac1 ~]# mdkir /u01
[root@rac1 ~]# chown -R oracle:oinstall /u01

3. ocfs 마운트 작업. [양쪽 리눅스에서 하기]

[root@rac1 ~]# vi /etc/fstab

아래 내용 추가.
/dev/sdb1   /ocfs   ocfs2   _netdev,datavolume,nointr 0 0

마운트가 잘되었는지 확인및 ocfs2 자동 로딩 확인을 위한 리부팅.
4. ClusterWare 설치하기. [rac1에서 설치하기]

아래동영상은 RAC1 과 RAC2에서 녹화한 영상.
RAC1에서 설치과정이 진행되다가 중간에 ROOT 계정에서 실행해야할 부분이 나오면
두번째 동영상을 재생한다 .

그러면 RAC1과 RAC2에서 하고 있는 모습을 볼수있다.

RAC1 - 리눅스 설치화면
( root로 스크립트를 실행하는 화면이 나오면 RAC2의 영상을 같이 재생하면 양쪽에서 하고있는 모습을 볼수있다.)


RAC2 - 리눅스 설치화면



 
J. ASM 라이브러리 설치및 DISK를 ASM에 등록후 오라클 엔진 설치.

 
 
 
1. ASM 라이브러리를 다운받기 위하여 오라클 사이트로 이동 [ 링크 ]
해당 사이트에서 라이브러리를 받고나서 설치한다. [각 리눅스에 둘다 설치 할것]

관련 파일 :

2. DISK ASM LIBRARY 에 등록하기.
3. 오라클 엔진 설치.


 
K. DBCA 작업 RAC작업 종료.

RAC1 또는 RAC2 에서 DBCA를 실행.
(본인은 영화보다가 RAC2에서 실행;;;;;;;;)
다른작업을 하고있어서 인지 아니면 노드간에 약간의 전송지연이 발생해서인지 설치가 끝나고나서
에러가 발생했다.
사실 이에러는 설치할때마다 나올때도 있고  , 안나올때도 있었다.

우선 별걱정없이. 양쪽 노드 둘다 재부팅을 해준다.



 

설치가 끝나면 이제.
오라클 ASM 과 DB가 둘다 자동으로 올라온다.
양쪽노드를 확인하면 보게 될것이다.
본인은 SID=rac로 주었다.


그러면 각 노드에 rac1 , rac2라는 이름으로 메모리에 올라가게 된다.

RAC1에서
[oracle@rac1 ~]$ export ORACLE_SID=rac1
[oracle@rac1 ~]$ sqlplus
SQL*Plus: Release 10.2.0.1.0 - Production on Wed Sep 22 14:30:33 2010
Copyright (c) 1982, 2005, Oracle.  All rights reserved.
Enter user-name: /as sysdba
Connected to:
Oracle Database 10g Enterprise Edition Release 10.2.0.1.0 - Production
With the Partitioning, Real Application Clusters, OLAP and Data Mining options
SQL> select instance_name , status from v$instance;
INSTANCE_NAME    STATUS
---------------- ------------
rac1             OPEN
SQL>

RAC2에서
[oracle@rac2 ~]$ export ORACLE_SID=rac2
[oracle@rac2 ~]$ sqlplus
SQL*Plus: Release 10.2.0.1.0 - Production on Wed Sep 22 14:31:47 2010
Copyright (c) 1982, 2005, Oracle.  All rights reserved.
Enter user-name: /as sysdba
Connected to:
Oracle Database 10g Enterprise Edition Release 10.2.0.1.0 - Production
With the Partitioning, Real Application Clusters, OLAP and Data Mining options
SQL> select instance_name, status from v$instance;
INSTANCE_NAME    STATUS
---------------- ------------
rac2             OPEN
SQL>
 
 
신고
Posted by ORACLE,DBA,BIG,DATA,JAVA 흑풍전설

10g 오라클을 설치해보고 나서 아카이브모드를 활성화 하고나서

오라클 instance 를 띄우면

 

Arc0 , 1 , 2 가 뜬다.

 

총 3개의 프로세스가 뜨는데

대략 10분정도있다가 2번이 죽는다.

 

왜그럴까????? 초보자라 그런가.. 난 여기저기 물어봐도 답은 못찾았다.

현업DBA도 그렇고 강사분도 그렇고.....

 

우선 vmware로 single instance 로 해서

ASM을 사용하여 ( 물론 파일시스템에서도 마찬가지 상황이 발생 )

 

오라클( 10g R2) 을 설치후 .

 

해당 arc2 의 프로세스를 dump를 떠보기로 했다. 뭐 답은 정확하게 안나오겠으나 뭐하고 있는지는 볼수있을테니 말이다.

 

아래는 덤프뜬화면

 

/u01/app/oracle/admin/ORCL/bdump/orcl_arc2_6940.trc
Oracle Database 10g Enterprise Edition Release 10.2.0.1.0 - 64bit Production
With the Partitioning, OLAP and Data Mining options
ORACLE_HOME = /u01/app/oracle/product/10.2.0
System name:    Linux
Node name:      ora1.oracle.com
Release:        2.6.18-194.11.1.el5
Version:        #1 SMP Tue Aug 10 19:05:06 EDT 2010
Machine:        x86_64
Instance name: ORCL
Redo thread mounted by this instance: 1
Oracle process number: 21
Unix process pid: 6940, image: oracle@ora1.oracle.com (ARC2)

*** 2010-08-22 20:11:16.882
*** SERVICE NAME:(SYS$BACKGROUND) 2010-08-22 20:11:16.882
*** SESSION ID:(151.1) 2010-08-22 20:11:16.882
Received ORADEBUG command 'event 10046 trace name context forever , level 8' from process Unix process pid: 6934, image:
WAIT #0: nam='rdbms ipc message' ela= 16905133 timeout=29928 p2=0 p3=0 obj#=-1 tim=1252417457893546
Received ORADEBUG command 'tracefile_name' from process Unix process pid: 6934, image:
WAIT #0: nam='rdbms ipc message' ela= 7194698 timeout=28197 p2=0 p3=0 obj#=-1 tim=1252417465088309
*** 2010-08-22 20:15:17.509
WAIT #0: nam='rdbms ipc message' ela= 29273322 timeout=2997 p2=0 p3=0 obj#=-1 tim=1252417733301500
WAIT #0: nam='control file sequential read' ela= 9501 file#=0 block#=1 blocks=1 obj#=-1 tim=1252417733311350
WAIT #0: nam='control file sequential read' ela= 83 file#=1 block#=1 blocks=1 obj#=-1 tim=1252417733311450
WAIT #0: nam='control file sequential read' ela= 60 file#=0 block#=16 blocks=1 obj#=-1 tim=1252417733311527
WAIT #0: nam='control file sequential read' ela= 278 file#=0 block#=18 blocks=1 obj#=-1 tim=1252417733311819
WAIT #0: nam='control file sequential read' ela= 78 file#=0 block#=1 blocks=1 obj#=-1 tim=1252417733311999
WAIT #0: nam='control file sequential read' ela= 57 file#=1 block#=1 blocks=1 obj#=-1 tim=1252417733312075
WAIT #0: nam='control file sequential read' ela= 57 file#=0 block#=16 blocks=1 obj#=-1 tim=1252417733312143
WAIT #0: nam='control file sequential read' ela= 233 file#=0 block#=18 blocks=1 obj#=-1 tim=1252417733312390
*** 2010-08-22 20:15:58.911 2520 kcrf.c
tkcrf_clear_srl: Started clearing Standby Redo Logs
WAIT #0: nam='control file sequential read' ela= 81 file#=0 block#=1 blocks=1 obj#=-1 tim=1252417733312586
WAIT #0: nam='control file sequential read' ela= 50 file#=1 block#=1 blocks=1 obj#=-1 tim=1252417733312651
WAIT #0: nam='control file sequential read' ela= 56 file#=0 block#=16 blocks=1 obj#=-1 tim=1252417733312720
WAIT #0: nam='control file sequential read' ela= 201 file#=0 block#=18 blocks=1 obj#=-1 tim=1252417733312934
WAIT #0: nam='control file sequential read' ela= 74 file#=0 block#=21 blocks=1 obj#=-1 tim=1252417733313056
WAIT #0: nam='control file sequential read' ela= 91 file#=0 block#=1 blocks=1 obj#=-1 tim=1252417733313189
WAIT #0: nam='control file sequential read' ela= 49 file#=1 block#=1 blocks=1 obj#=-1 tim=1252417733313251
WAIT #0: nam='control file sequential read' ela= 70 file#=0 block#=16 blocks=1 obj#=-1 tim=1252417733313334
WAIT #0: nam='control file sequential read' ela= 196 file#=0 block#=18 blocks=1 obj#=-1 tim=1252417733313544
WAIT #0: nam='control file sequential read' ela= 4963 file#=0 block#=304 blocks=1 obj#=-1 tim=1252417733318528
WAIT #0: nam='control file parallel write' ela= 1117 files=2 block#=303 requests=2 obj#=-1 tim=1252417733319707
WAIT #0: nam='control file parallel write' ela= 1310 files=2 block#=17 requests=2 obj#=-1 tim=1252417733321040
WAIT #0: nam='control file parallel write' ela= 1687 files=2 block#=15 requests=2 obj#=-1 tim=1252417733322747
WAIT #0: nam='control file parallel write' ela= 1034 files=2 block#=1 requests=2 obj#=-1 tim=1252417733323813
*** 2010-08-22 20:15:58.923 2828 kcrf.c
tkcrf_clear_srl: Completed clearing Standby Redo Logs
*** 2010-08-22 20:17:03.742
WAIT #0: nam='rdbms ipc message' ela= 63299452 timeout=30000 p2=0 p3=0 obj#=-1 tim=1252417796623412
WAIT #0: nam='Log archive I/O' ela= 23 count=4294967295 intr=0 timeout=2147483647 obj#=-1 tim=1252417796623759

주로 발생하는 event 는 뭐 뻔하다.

일반 로그파일이 하는 일만곤 별로 없는듯하다.

 

저 맨마지막에 Log archive I/O가 발생하고나서 해당 프로세스는 대기상태로 돌아가는게 아니라

그냥 그상태로 죽는다. 프로세스상에서 확인해보면 완전죽어있다.

 

딱 기본 컨트롤파일관련 내용만 쓰고 죽는 것 같은데 도대체 왜~~~~~

어째서~~~ 그럴까.

신고
Posted by ORACLE,DBA,BIG,DATA,JAVA 흑풍전설

10GB만 추가해 보자.

첫번째 노드에서 하드디스크를 추가.

 

기존 4개디스크에서 더 추가를해서 5,6번이 생겼다.

그리고 scsi1:5.deviceType = "disk" 를 추가하고

각 4개노드의 vmx 파일에다가 다 추가를 한다.

 

scsi1:5.present = "TRUE"
scsi1:5.fileName = "M:\vm_asmdisk\disk5\asmdisk5.vmdk"
scsi1:5.mode = "independent-persistent"
scsi1:5.deviceType = "disk"


scsi1:6.present = "TRUE"
scsi1:6.fileName = "M:\vm_asmdisk\disk6\asmdisk6.vmdk"
scsi1:6.mode = "independent-persistent"
scsi1:6.deviceType = "disk"

 

부팅하하고

[root@rac1 ~]# fdisk -l

 

첫번째 추가된하드.

Disk /dev/sdg: 5368 MB, 5368709120 bytes
255 heads, 63 sectors/track, 652 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes

Disk /dev/sdg doesn't contain a valid partition table

 

두번째 추가된하드.

Disk /dev/sdh: 5368 MB, 5368709120 bytes
255 heads, 63 sectors/track, 652 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes

Disk /dev/sdh doesn't contain a valid partition table

 

FDISK 로 Format 작업.

[root@rac1 ~]# fdisk /dev/sdg
Device contains neither a valid DOS partition table, nor Sun, SGI or OSF disklabel
Building a new DOS disklabel. Changes will remain in memory only,
until you decide to write them. After that, of course, the previous
content won't be recoverable.

Warning: invalid flag 0x0000 of partition table 4 will be corrected by w(rite)

Command (m for help): n
Command action
   e   extended
   p   primary partition (1-4)
p
Partition number (1-4): 1
First cylinder (1-652, default 1):
Using default value 1
Last cylinder or +size or +sizeM or +sizeK (1-652, default 652):
Using default value 652

Command (m for help): w
The partition table has been altered!

Calling ioctl() to re-read partition table.
Syncing disks.
[root@rac1 ~]#

 

[root@rac1 ~]# fdisk /dev/sdh
Device contains neither a valid DOS partition table, nor Sun, SGI or OSF disklabel
Building a new DOS disklabel. Changes will remain in memory only,
until you decide to write them. After that, of course, the previous
content won't be recoverable.

Warning: invalid flag 0x0000 of partition table 4 will be corrected by w(rite)

Command (m for help): n
Command action
   e   extended
   p   primary partition (1-4)
p
Partition number (1-4): 1
First cylinder (1-652, default 1):
Using default value 1
Last cylinder or +size or +sizeM or +sizeK (1-652, default 652):
Using default value 652

Command (m for help): w
The partition table has been altered!

Calling ioctl() to re-read partition table.
Syncing disks.

[root@rac1 ~]#

 

[root@rac1 ~]# /etc/init.d/oracleasm createdisk VOL5 /dev/sdg1
Marking disk "VOL5" as an ASM disk:                        [  OK  ]
[root@rac1 ~]# /etc/init.d/oracleasm createdisk VOL6 /dev/sdh1   
Marking disk "VOL6" as an ASM disk:                        [  OK  ]
[root@rac1 ~]# /etc/init.d/oracleasm listdisks                
VOL1
VOL2
VOL3
VOL4
VOL5
VOL6
[root@rac1 ~]# 


신고
Posted by ORACLE,DBA,BIG,DATA,JAVA 흑풍전설