OpenSource(Bigdata&distribution&Network)/Flume 썸네일형 리스트형 [Flume]kafka를 Sink로 이용 & OS 변수 받아 오기 * 목적 : 여러대의 hadoop data node 에서 발생하는 정보를 한눈으로 보고싶다!* 내용 : hadoop 대수가 늘어나면서 직접 해당 노드에 들어가서 상태를 보는것이 사실상 안된다고 보는게 맞는것 같다. 그래서 한곳으로 몰빵하는 작업을 시작 하기로 했음. 준비물 * 장비 : 그냥 서버들 ( 내 상황은 운영중인 약 50대의 datanode 서버들 전부 ) * 소프트웨어 : flume 1.8 1. 서버에서 agent 형태로 실행해야하기때문에 shell 에서 설정한 변수를 가져올필요가 있었다아래 ${~ } 이게 되네~ ㅋㅋ 하지만 알아둘것은 shell 내에서 변수를 선언하는게 아니라 export 까지 해야 인식한다.그래서 conf 안에 있는 flume-env.sh 에다가 추가함. * 1.6일때는 k.. 더보기 log파일 flume으로 hdfs에 저장하기 시스템 규모가 커지면서 서버도 많아지고. ......또한 각각서버는 응가하듯 각자의 머신에 로그를 쌓는다.그러다가 장애가 발생하면 어느서버인지 확신하지못하면서 전로그를 뒤져보게 된다. 서버가 많으면 이걸 일일히 볼수가 없어서 한곳에 몰아 넣는작업을 했다. 이미 빅데이터 프로젝트를 진행하고 있는지라. Hadoop 이 있어서 아래처럼 구성했다. 아래는 회사에 적용한 로그 취합 구조이다. 우리는 서버가 2대가 있는데 이 두대에서 나오는 로그를 쌓고 HDFS에다가 넣어버렸다. flume conf 설정 flume 1.6 을 사용했고 인터넷뒤져보면서 2~3개 짬뽕한거니까. 보다가 똑같아! 라고 한다면 그게 맞다 -_-;;; WAS쪽에 설정된 flume.conf agent02.sources = execGenSrcag.. 더보기 이전 1 다음
