고장난 Dr. Dre Mixr 수리를 위한 사진 더보기 [Flume]kafka를 Sink로 이용 & OS 변수 받아 오기 * 목적 : 여러대의 hadoop data node 에서 발생하는 정보를 한눈으로 보고싶다!* 내용 : hadoop 대수가 늘어나면서 직접 해당 노드에 들어가서 상태를 보는것이 사실상 안된다고 보는게 맞는것 같다. 그래서 한곳으로 몰빵하는 작업을 시작 하기로 했음. 준비물 * 장비 : 그냥 서버들 ( 내 상황은 운영중인 약 50대의 datanode 서버들 전부 ) * 소프트웨어 : flume 1.8 1. 서버에서 agent 형태로 실행해야하기때문에 shell 에서 설정한 변수를 가져올필요가 있었다아래 ${~ } 이게 되네~ ㅋㅋ 하지만 알아둘것은 shell 내에서 변수를 선언하는게 아니라 export 까지 해야 인식한다.그래서 conf 안에 있는 flume-env.sh 에다가 추가함. * 1.6일때는 k.. 더보기 [SPARK,KAFKA] spark stream 구성 * 목적 : 여러대의 hadoop data node 에서 발생하는 정보를 한눈으로 보고싶다!* 내용 : hadoop 대수가 늘어나면서 직접 해당 노드에 들어가서 상태를 보는것이 사실상 안된다고 보는게 맞는것 같다. 그래서 한곳으로 몰빵하는 작업을 시작 하기로 했음.* 설치 내용은 이제 빼도 될만큼 잘구성되어있어서 설치는 쉬우니 패스;;;; 준비물 * 장비 : 서버 6대 * 소프트웨어 : 1. spark 2.2.1 2. kafka 0.10.x3. zookeepr 3.4.114. flume 1.8 1. 구성 개발목적으로 제공되는 서버가 6대가 있어서 해당 서버를 가지고 구성을 하기때문에 여기저기에 중복설치를 하기로함. 내가 사용중인 구성은 아래와같다. ( spak stream 처리에 대한 내용이니 그거관련 .. 더보기 [ELK]각 메인 설정 정보 1. elasticsearch 설정 - elasticsearch.yml path.data: /data01/esdata, data02/esdata RHEL 6.5 (커널문제로 지원 안대서 아래설정 추가 )위에 설정한 disk 수만큼 아래 숫자 지정했음.bootstrap.system_call_filter: falsenode.max_local_storage_node: 10network.bind_host: * * * * network.publish_host: * * * * 2. logstash 설정 - logstash.yml x pack 설치하면서 추가된 설정xpack.monitoring.elastichsearch.username: logstash_system xpack.monitoring.elastichsea.. 더보기 [SPARK] scala 에서 데이처 처리한 것들 소스 ( MySQL , ES , Hive , Hbase(phoenix) ) 1. MySQL 테이블 조회해서 dataframe 으로 만들고 Hive 에넣기 var driver = "com.mysql.jdbc.Driver"var url = "jdbc:mysql://hostname"var username = "user"var password = "pass" val conn = new Properties()conn.put("user", username)conn.put("password",password) val sqlContext = new SQLContext(sc)val df = sqlContext.read.jdbc(url, "TABLE_NAME", conn) df.write,mode("overwrite").saveAsTable("hive.table") 2. ELASTICSEARCH.. 더보기 이전 1 2 3 4 ··· 23 다음
