OpenSource(Bigdata&distribution&Network)/Spark 썸네일형 리스트형 [SPARK,KAFKA] spark stream 구성 * 목적 : 여러대의 hadoop data node 에서 발생하는 정보를 한눈으로 보고싶다!* 내용 : hadoop 대수가 늘어나면서 직접 해당 노드에 들어가서 상태를 보는것이 사실상 안된다고 보는게 맞는것 같다. 그래서 한곳으로 몰빵하는 작업을 시작 하기로 했음.* 설치 내용은 이제 빼도 될만큼 잘구성되어있어서 설치는 쉬우니 패스;;;; 준비물 * 장비 : 서버 6대 * 소프트웨어 : 1. spark 2.2.1 2. kafka 0.10.x3. zookeepr 3.4.114. flume 1.8 1. 구성 개발목적으로 제공되는 서버가 6대가 있어서 해당 서버를 가지고 구성을 하기때문에 여기저기에 중복설치를 하기로함. 내가 사용중인 구성은 아래와같다. ( spak stream 처리에 대한 내용이니 그거관련 .. 더보기 [SPARK] scala 에서 데이처 처리한 것들 소스 ( MySQL , ES , Hive , Hbase(phoenix) ) 1. MySQL 테이블 조회해서 dataframe 으로 만들고 Hive 에넣기 var driver = "com.mysql.jdbc.Driver"var url = "jdbc:mysql://hostname"var username = "user"var password = "pass" val conn = new Properties()conn.put("user", username)conn.put("password",password) val sqlContext = new SQLContext(sc)val df = sqlContext.read.jdbc(url, "TABLE_NAME", conn) df.write,mode("overwrite").saveAsTable("hive.table") 2. ELASTICSEARCH.. 더보기 Spark2.1 Hive Auth Custom Test Spark2.1 Hive Auth Custom Test - 2017년 현재. 모 빅데이터 프로젝트 운영을 하고있는중.- 요구사항 : Spark 를 사용하는데 Hive권한 인증을 사용하려한다. Spark 버전 : 2.1문제점 : Spark의 강력한 기능에는 현재 호튼웍스 빅데이터 플랫폼에서 사용하고있는 Spark인증은 찾아봐도 없었다. Hive Metastore를 쓰기때문에 Custom을 해서 재컴파일하려고 했고.테스트는 잘되고 . 그 위치만 올려서 나중에 안까먹으려한다. - Spark Source는 Scala로 되어있다 .- 일단 Scala를 좀 스스로 Hello World는 찍고나서 아래부분에 기능을 추가함.SparkSource 위치 sql/hive/src/main/scala/org/apache/spa.. 더보기 spark + cassandra 연동 개놈에 카산드라 -- 연동 짜증난다 ㅋHbase 연동을 먼저좀 해보려고 하다가 실패를 하고 짜증나서 카산드라 연동좀 시도해보고 성공후에 기록남김. spark 버전 : 1.6.1 ( 하둡 2.7.2를 사용해서 하둡용으로 컴파일된 버전사용 )cassandra 버전 : 3.4 cassandra spark java connector 버전 : 1.5버전 사용.node 수 : 6 cassandra 설치는 쉬우므로 내가 기록할 정보만 기록한다.나는 6대로 계속 테스트중이므로~~~ 참고로 모든 노드의 스펙은 아래와 같다. ( vmware 스펙 ㅋ ) 카산드라 설정파일 작업부분.위의 VM들을 가지고 모든 노드에 각각 아이피를 할당하여 설정한 설정정보만 남긴다. 카산드라의 분산및 리플리케이션을 위한 구성을 위해서 건드려야.. 더보기 spark + Hbase 연동에러 해결건. 이클립스에서 개발테스트중에 발생한 오류 ( 실행하면 SparkConf쪽에서 바로 오류가 난다.)사실 저 매쏘드를 찾아보려고 jar을 다뒤져보고 역컴파일하다가 짜증나서 폭팔함;; Exception in thread "main" java.lang.NoSuchMethodError: scala.Predef$.$conforms()Lscala/Predef$$less$colon$less;at org.apache.spark.util.Utils$.getSystemProperties(Utils.scala:1546)at org.apache.spark.SparkConf.(SparkConf.scala:59)at spark1.test1.main(test1.java:20) 해결책 : 버전을 잘 마춰준다 ㅋㅋ참고 : spark-1... 더보기 이전 1 다음
