태그>yarn(총 10개의 글)

'yarn' 관련 최근글

• 함수형 언어 맵리듀스(MapReduce)

  케찹만땅  by 케찹만땅|2020/06/29 16:20

  스마트폰, SNS, 사물인터넷 확산 등으로 엄청난 양의 데이터가 생산, 유통, 가공, 공유되는 빅데이터 시대에 진입하면서 다양한 속성들을 가진 데이터를 처리하기 위한 새로운 방법이 요구됨에 따라 등장하였으며 Map과 Reduce라는 함수를 기반으로 구현된다. 바야흐로 모..

  빅데이터, 맵리듀스, 하둡, Hadoop, MapReduce

• Tuning YARN

  Sensation  by tobby48|2017/02/22 16:45

  출처 : This topic applies to YARN clusters only, and describes how to tune and optimize YARN for your cluster.Note: Download the Cloudera YARN tuning spreadsheet to helpcalculate YARN configurations. For a short video overvie..

  yarn, tuning

• 

  Yarn architecture

  Sensation  by tobby48|2017/02/13 12:32

  과거 Hadoop 1.0은 Hadoop = HDFS + Mapreduce 였으나, 2.0으로 오면서 Hadoop Mapreduce의 단점(파일의 읽고 쓰기에 대한 속도가 느리다)을 극복하기 위해서 Yarn을 도입하게 되었다. Yarn..

  yarn, resourcemanager, applicationmaster, container

• Spark 2.0.1 on Yarn 2.7.3 configuration

  Sensation  by tobby48|2017/02/06 21:23

  * Hadoop Yarn 에서 Spark Application을 수행하려면 기본적으로 숙지해야할 사항이 있다. (처음에 그냥 사이트 참조해서 빼껴다오면 엄청난 트러블슈팅을 발생함.) * 주의사항 : Spark를 Yarn에서 구동할 시에 Spark의 속성값을 디폴트 값을 사용하기위해 생략하기도 ..

  spark, spark-defaults.conf, yarn, configuration, resourcemanager

• [yarn] state of App [ACCEPTED] [UNDEFINED]

  Sensation  by tobby48|2017/01/05 15:24

  (hadoopMapReduce & Spark & Flink.etc) on Yarn * description-> ratio of resources in the cluster which can be used to run application masters-> ratio of concurent running application. Application Master 의 전체 ..

  ACCEPTED, UNDEFINED, yarn, spark, capacity-scheduler

• Spark Basic Guide (2.X)

  Sensation  by tobby48|2017/01/04 12:57

  1. Spark 2.X 튜닝 가이드 2. Spark on YARN 3. Resource Allocation Configuration for Spark on YARN In this blog post, I will explain the resource allocation configurations for Spark on YARN, describe the yarn-client and yarn-cluster ..

  spark, hadoop, yarn, executor, memory

• How to Plan and Configure YARN and MapReduce 2 in HDP 2.0

  Sensation  by tobby48|2016/10/11 13:59

  As part of HDP 2.0 Beta, YARN takes the resource management capabilities that were in MapReduce and packages them so they can be used by new engines. This also streamlines MapReduce to do what it does best, process dat..

  hadoop, yarn

• Hadoop 2 MapReduce 설정

  Sensation  by tobby48|2016/10/11 10:49

  하둡1.0 에서 맵리듀스를 실행할 때는 슬롯 단위로 맵/리듀스 태스크 개수를 관리했습니다. 하지만 하둡2.0에서 YARN(이하: 얀)이 도입되면서 슬롯이 아닌 컨테이너 단위로 리소스를 할당하게 됩니다. 얀의 리소스매니저는 전체 클러스터의 리소스 정보를 토대로 할당 가능한 컨..

  hadoop, yarn

• 

  처음으로 끝낸 뜨개질 프로젝트 : 목도리

  Private Attic  by mistyhime|2009/12/24 04:59

  내가 무슨 바람이 불었을까 . 난 정말 자타공인 손재주는 제로인 여인인데 어쩌다가 요근래 뜨개질에 필이 꽂혀(!) 근처 yarn shop에서 여는 뜨개질 클래스도 두 개나 듣고, 그 사이 아주 간단한 목도리를 길..

  뜨개질, 털실, 목도리, yarn, 손재주

• Yarn - 그래서 그대는

  hitchhiker  by caravan|2009/09/20 00:04

  얀, yarn, 그래서그대는