2018/01 썸네일형 리스트형 [ELK]각 메인 설정 정보 1. elasticsearch 설정 - elasticsearch.yml path.data: /data01/esdata, data02/esdata RHEL 6.5 (커널문제로 지원 안대서 아래설정 추가 )위에 설정한 disk 수만큼 아래 숫자 지정했음.bootstrap.system_call_filter: falsenode.max_local_storage_node: 10network.bind_host: * * * * network.publish_host: * * * * 2. logstash 설정 - logstash.yml x pack 설치하면서 추가된 설정xpack.monitoring.elastichsearch.username: logstash_system xpack.monitoring.elastichsea.. 더보기 [SPARK] scala 에서 데이처 처리한 것들 소스 ( MySQL , ES , Hive , Hbase(phoenix) ) 1. MySQL 테이블 조회해서 dataframe 으로 만들고 Hive 에넣기 var driver = "com.mysql.jdbc.Driver"var url = "jdbc:mysql://hostname"var username = "user"var password = "pass" val conn = new Properties()conn.put("user", username)conn.put("password",password) val sqlContext = new SQLContext(sc)val df = sqlContext.read.jdbc(url, "TABLE_NAME", conn) df.write,mode("overwrite").saveAsTable("hive.table") 2. ELASTICSEARCH.. 더보기 이전 1 다음