태그>spark(총 63개의 글)

'spark' 관련 최근글

• Kubernetes에 Apache Spark를 돌리려는데 실패한다면

  NullPointerException  by Choryu|02/03 12:58

  Apache Spark 2.4.4는 Kubernetes Client 의 버전이 낮아 1.11.10 이상의 Kubernetes 에서 Pod를 실행 하지 못해 실패한다. 19/08/30 01:29:09 INFO ExecutorPodsAllocator: Going to request 2 executors from Kubernetes.19/08/30 01:29:09 INFO ExecutorPodsAllocator..

  Apache, Kubernetes, 쿠버네티스, Spark, 스파크

• 

  "스파키" 라는 작품의 예고편입니다.

  오늘 난 뭐했나......  by 라피니|2018/04/08 05:40

  이 영화에 관해서는 정말 걱정 하고 있는 상황입니다. 개인적으로 무척 미묘하게 생각하고 있는 상황이기는 한데, 다른 것 보다도 넛잡을 만든 데에서 만든 작품이기 때문입니다. 넛잡이 정말 한계가 많아 보이는 상황이다 ..

  SparkASpaceTail, Spark, 스파키, 예고편, 트레일러

• 

  "스파키" 라는 애니메이션 입니다.

  오늘 난 뭐했나......  by 라피니|2018/03/18 05:36

  솔직히 이 작품은 정말 땜빵용으로 찾은 케이스 입니다. 아무래도 이 작품에 관해서 제가 아는 것이 거의 없었던 상황이어서 말이죠. 그나마 이 작품이 넛잡을 만든 국내 회사에서 만든 작품이라는 것 정도는 알고 있는 상황..

  SparkASpaceTail, Spark, 스파키, 포스터, 영화포스터

• [elasticsearch] spark 를 이용한 마이그레이션

  Sensation  by tobby48|2017/05/19 23:04

  하나의 spark context 에서 elasticsearch-hadoop 라이브러리 사용시 동일 클러스터 내에서만 동작대안으로 아래의 방법으로 처리 val conf = new SparkConf().setAppName("Spark Migrating ES Data")conf.set("es.nodes&qu..

  elasticsearch, spark, migration

• 

  "Spark: A Space Tail" 이라는 작품입니다.

  오늘 난 뭐했나......  by 라피니|2017/05/09 06:14

  이 영화는 솔직히 별반 기대가 되는 물건은 아닙니다. 다른 것보다도 넛 잡을 얼마 전에 봤는데, 그닥 좋다고 생각하지 않아서 말이죠. 이 영화에 관해서 아무래도 좀 걱정되는 면들이 있기도 하고 말입니다. 이 영화의 제..

  SparkASpaceTail, Spark, 스파크어스페이스테일, 스파크, 포스터

• Creating Scala Fat Jars for Spark on SBT with sbt-assembly Plugin

  Sensation  by tobby48|2017/03/08 17:28

  출처 : http://queirozf.com/entries/creating-scala-fat-jars-for-spark-on-sbt-with-sbt-assembly-plugin One way to do it (for Scala-based projects) is to use the sbt-assembly plugin.Add sbt-assembly plugin to sbtCreate a file ca..

  spark, scala, sbt, assembly

• Improving Spark Performance With Partitioning

  Sensation  by tobby48|2017/03/03 17:30

  출처 : http://dev.sortable.com/spark-repartition/ At Sortable we use Spark for many of our data processing tasks. Spark is an engine that is scalable: it allows us to run many tasks in parallel across hundreds of machines in a cluster..

  spark, partitioning, Performance

• [elasticsearch] spark와의 연동 (es 2.3 & spark 1.6.1)

  Sensation  by tobby48|2017/03/02 10:22

  출처 :들어가며본 글에서는 Elasticsearch와 Spark를 연동하는 방법에 대해서 설명한다. Elasticsearch와 Spark는 서로의 장단점을 보완해줄 수 있는 패키지가 될 것이다.Sample Data Loading적당한 Sample Data를 찾아봤는데, Elasticsearch 문서에서 Sample ..

  spark, elasticsearch

• 

  Spark architecture (Spark 2.x)

  Sensation  by tobby48|2017/02/13 12:36

  Spark는 in-memory기반의 모델로 RDD라는 읽기전용 메모리 블럭을 사용하여 기존 Hadoop Mapreduce보다 월등히 향상된 속도를 자랑하며, 장애처리 또한 기존에 복구로직(장애발생 시점 파일에 쓰고..

  spark, yarn-client, yarn-cluster, in-memory, rdd

• Spark 2.0.1 on Yarn 2.7.3 configuration

  Sensation  by tobby48|2017/02/06 21:23

  * Hadoop Yarn 에서 Spark Application을 수행하려면 기본적으로 숙지해야할 사항이 있다. (처음에 그냥 사이트 참조해서 빼껴다오면 엄청난 트러블슈팅을 발생함.) * 주의사항 : Spark를 Yarn에서 구동할 시에 Spark의 속성값을 디폴트 값을 사용하기위해 생략하기도 ..

  spark, spark-defaults.conf, yarn, configuration, resourcemanager

• Spark Pipelines: Elegant Yet Powerful

  Sensation  by tobby48|2017/01/18 12:47

  출처 : IntroductionWe've all suffered through the experience of reopening a machine learning project and trying to trace back our thought process. Often times it feels like a jungle where dozens of feature engineering steps are criss-..

  spark, ml, mllib, pipeline, word2vec

• Big Data Processing with Apache Spark - Part 5: Spark ML Data P..

  Sensation  by tobby48|2017/01/16 13:56

  출처 : Key takeaways Learn about machine learning data pipelinesHow Apache Spark ML package can help implement the ML data pipelinesSteps in data value chain process Spark ML Pipeline Components and APIText classificatio..

  spark, pipeline, lda, feature, ml

• Improving Spark Performance With Partitioning

  Sensation  by tobby48|2017/01/06 14:46

  ref. At Sortable we use Spark for many of our data processing tasks. Spark is an engine that is scalable: it allows us to run many tasks in parallel across hundreds of machines in a cluster, and can also be used to run tasks acro..

  Performance, spark, Partitioning

• [yarn] state of App [ACCEPTED] [UNDEFINED]

  Sensation  by tobby48|2017/01/05 15:24

  (hadoopMapReduce & Spark & Flink.etc) on Yarn * description-> ratio of resources in the cluster which can be used to run application masters-> ratio of concurent running application. Application Master 의 전체 ..

  ACCEPTED, UNDEFINED, yarn, spark, capacity-scheduler

• 

  dirver / executor memory configuration (sp..

  Sensation  by tobby48|2017/01/04 13:29

  1. check to runtime overhead because of the runtime overhead imposed by Scala, which is usually around 3-7%, more or less. hduser@localhost:~$ scala -J-Xmx4g Welc..

  spark, hadoop, executor-memory, unified, memory