spark 썸네일형 리스트형 Spark2.1 Hive Auth Custom Test Spark2.1 Hive Auth Custom Test - 2017년 현재. 모 빅데이터 프로젝트 운영을 하고있는중.- 요구사항 : Spark 를 사용하는데 Hive권한 인증을 사용하려한다. Spark 버전 : 2.1문제점 : Spark의 강력한 기능에는 현재 호튼웍스 빅데이터 플랫폼에서 사용하고있는 Spark인증은 찾아봐도 없었다. Hive Metastore를 쓰기때문에 Custom을 해서 재컴파일하려고 했고.테스트는 잘되고 . 그 위치만 올려서 나중에 안까먹으려한다. - Spark Source는 Scala로 되어있다 .- 일단 Scala를 좀 스스로 Hello World는 찍고나서 아래부분에 기능을 추가함.SparkSource 위치 sql/hive/src/main/scala/org/apache/spa.. 더보기 spark + cassandra 연동 개놈에 카산드라 -- 연동 짜증난다 ㅋHbase 연동을 먼저좀 해보려고 하다가 실패를 하고 짜증나서 카산드라 연동좀 시도해보고 성공후에 기록남김. spark 버전 : 1.6.1 ( 하둡 2.7.2를 사용해서 하둡용으로 컴파일된 버전사용 )cassandra 버전 : 3.4 cassandra spark java connector 버전 : 1.5버전 사용.node 수 : 6 cassandra 설치는 쉬우므로 내가 기록할 정보만 기록한다.나는 6대로 계속 테스트중이므로~~~ 참고로 모든 노드의 스펙은 아래와 같다. ( vmware 스펙 ㅋ ) 카산드라 설정파일 작업부분.위의 VM들을 가지고 모든 노드에 각각 아이피를 할당하여 설정한 설정정보만 남긴다. 카산드라의 분산및 리플리케이션을 위한 구성을 위해서 건드려야.. 더보기 spark + Hbase 연동에러 해결건. 이클립스에서 개발테스트중에 발생한 오류 ( 실행하면 SparkConf쪽에서 바로 오류가 난다.)사실 저 매쏘드를 찾아보려고 jar을 다뒤져보고 역컴파일하다가 짜증나서 폭팔함;; Exception in thread "main" java.lang.NoSuchMethodError: scala.Predef$.$conforms()Lscala/Predef$$less$colon$less;at org.apache.spark.util.Utils$.getSystemProperties(Utils.scala:1546)at org.apache.spark.SparkConf.(SparkConf.scala:59)at spark1.test1.main(test1.java:20) 해결책 : 버전을 잘 마춰준다 ㅋㅋ참고 : spark-1... 더보기 spark + Hadoop + python ~ HelloWorld 서론.Hbase에 접근하여 SQL형태로 데이터를 추출하는작업을 하고자 처음 사용한것은 phoneix ~ ===> http://phoenix.apache.org/관심 있는 사람은 들어가보겠지만일단 난 갈아타기로 했다. 이것저것 찾아보다가 SPARK를 발견.나이가 좀있는사람은 알겠지만 국내 성인잡지중에 SPARK라고 있었다.음~ -_-ㅋ;;; 난 그걸 얼굴에 철판을 깔고 당당히 서점에서 사서 본적은 있다.물론 지금도 있는지 찾아볼필요도 없었고 궁금하지도 않다.;;;;;;; 아무튼 spark는 자바도 지원하고 겸사겸사 공부하려고하는 파이썬도 지원하고있다보니 관심있게보다가.이쪽분야에서 고공분투하는 연구팀및 개발자분들이 극찬을 한것을 보고 이게모지??? 하면서 깔기시작하다가. 개인사정으로 구성만하고 이제서야 he.. 더보기 이전 1 다음
