태그>hadoop(총 58개의 글)

'hadoop' 관련 최근글

• 함수형 언어 맵리듀스(MapReduce)

  케찹만땅  by 케찹만땅|2020/06/29 16:20

  스마트폰, SNS, 사물인터넷 확산 등으로 엄청난 양의 데이터가 생산, 유통, 가공, 공유되는 빅데이터 시대에 진입하면서 다양한 속성들을 가진 데이터를 처리하기 위한 새로운 방법이 요구됨에 따라 등장하였으며 Map과 Reduce라는 함수를 기반으로 구현된다. 바야흐로 모..

  빅데이터, 맵리듀스, 하둡, Hadoop, MapReduce

• 

  빅데이터 수집 시스템 구성

  케찹만땅  by 케찹만땅|2020/06/22 16:06

  아파치 스쿱(apache scoop)은 관계형 데이터베이스와 같은 관계형 데이터스토어와 하둡(apache hadoop)간 대량의 데이터를 효과적으로 전송하기 위해 구현된 툴이다. 즉 MySQL, Oracle 환경..

  빅데이터, 하둡, 스쿱, 플룸, 스크래피

• 

  빅데이터 관련 서적

  케찹만땅  by 케찹만땅|2020/06/08 21:43

  빅데이터, 하둡, R, Hadoop

• Apache Tajo Project #1

  늠름하다, 우람궁딩!  by 우람궁딩|2018/11/13 15:20

  하둡 기반 하에서의 데이터 핸들링은 HDFS에 대한 보편적인 기능적 특징을 이해하고 나면 뭔가 이질감이 들게 마련이다하지만, 개발자들은 보다 손쉬운 혹은 보다 익숙한 환경으로 끌어들이고자 하는 노력을 하곤 한다그 결과로 탄생한 프로젝트 중 하나가 바로 "아파치;타..

  hadoop, 하둡, ApacheTajo, database

• 도커(Docker) 에서 마크베이스(Machbase) 사용기 (공손체)

  Tech Taste Travel   by 홍차장|2017/08/31 17:20

  도커(Docker) 에서 마크베이스(Machbase) 사용기개요개인로 생각하기에 다운로드에 들어가는 시간을 제외하면, 도커는 다른 어느 플렛폼보다 가장 간편하게 프로그램을 설치, 테스트 해 볼 수 있는 환경인것 같다.도커에 대한 자세한 사용법이나 설치법을 알기 위해서는..

  마크베이스, 데이터베이스, MSSQL, 시계열데이터베이스, MySQL

• 

  Hue 설치(하둡 관리 기능)

  블루오션 [BLUE OCEAN]  by 장땡|2017/07/26 18:31

  설치환경 :CentOS Linux release 7.3.1611 (Core) Python2.7 0. 기본 설치 패키지설치하다 에러나면 의존성 파일이 무엇인지 확인 후 설치해준다.yum install ant python-devel krb5-devel krb5-lib..

  hue, 하둡관리, solr, hadoop, hadoopmanager

• 

  HDFS NFS gateway 사용하기

  블루오션 [BLUE OCEAN]  by 장땡|2017/07/21 18:39

  hadoop을 사용하다보면 상당히 많고 큰 용량의 파일이 등록된다. 파일을 hadoop명령을 통하여 등록할 수 있지만 상당히 느리고 명령을 실행하는게 귀찮은 일이다. 이때 NFS Gateway를 이용하면 cp명령..

  HDFSNFSgateway, hadoopnfs, hadoop, gateway, hdfs

• Installing Hadoop 2.7 on Ubuntu 15.04

  Sensation  by tobby48|2017/02/22 15:12

  출처 :

  hadoop, install, ubuntu

• [hadoop] Hadoop 클러스터 설정 - ssh

  Sensation  by tobby48|2017/01/05 13:46

  출처 :%EA%B8%B0%EB%B3%B8 한동안 손대지 못했던 하둡을 다시 설치해보다 서버 설정에서 약간의 삽질을 했다. 하둡의 문제라기 보다는 편한 운용을 위한 ssh 설정의 문제였음. 1. Hadoop을 실행할 계정과 그룹은 hadoop/hadoop으로 한다. $ sudo addgroup ha..

  hadoop, ssh, cluster

• 

  dirver / executor memory configuration (sp..

  Sensation  by tobby48|2017/01/04 13:29

  1. check to runtime overhead because of the runtime overhead imposed by Scala, which is usually around 3-7%, more or less. hduser@localhost:~$ scala -J-Xmx4g Welc..

  spark, hadoop, executor-memory, unified, memory

• Spark Basic Guide (2.X)

  Sensation  by tobby48|2017/01/04 12:57

  1. Spark 2.X 튜닝 가이드 2. Spark on YARN 3. Resource Allocation Configuration for Spark on YARN In this blog post, I will explain the resource allocation configurations for Spark on YARN, describe the yarn-client and yarn-cluster ..

  spark, hadoop, yarn, executor, memory

• Hadoop Compile Error

  Sensation  by tobby48|2016/11/01 17:04

  sudo apt-get install build-essentialsudo apt-get install g+ autoconf automake libtool cmake zlib1g-dev pkg-config libssl-dev [Error Message] repo.maven.apache.org unknown host repo.maven.apache.org maven이 우분..

  compileerror, protobuff, hadoop

• Hadoop install ERROR list

  Sensation  by tobby48|2016/11/01 16:52

  编译命令： mvn package -Pdist,native,docs -DskipTests -Dtar最好-p不带docs太费时间。直接用mvn package -Pdist,native -DskipTests -Dtar编译完成后的bin版本在目录 hadoop-dist下，跟从官网直接下载非src版本类似。为提高下载速度，..

  hadoop, install, error

• How to Plan and Configure YARN and MapReduce 2 in HDP 2.0

  Sensation  by tobby48|2016/10/11 13:59

  As part of HDP 2.0 Beta, YARN takes the resource management capabilities that were in MapReduce and packages them so they can be used by new engines. This also streamlines MapReduce to do what it does best, process dat..

  hadoop, yarn

• Hadoop 2 MapReduce 설정

  Sensation  by tobby48|2016/10/11 10:49

  하둡1.0 에서 맵리듀스를 실행할 때는 슬롯 단위로 맵/리듀스 태스크 개수를 관리했습니다. 하지만 하둡2.0에서 YARN(이하: 얀)이 도입되면서 슬롯이 아닌 컨테이너 단위로 리소스를 할당하게 됩니다. 얀의 리소스매니저는 전체 클러스터의 리소스 정보를 토대로 할당 가능한 컨..

  hadoop, yarn