태그>hadoop(총 57개의 글)
'hadoop' 관련 최근글
-
- Apache Tajo Project #1
-
늠름하다, 우람궁딩! by 우람궁딩|2018/11/13 15:20
하둡 기반 하에서의 데이터 핸들링은 HDFS에 대한 보편적인 기능적 특징을 이해하고 나면 뭔가 이질감이 들게 마련이다하지만, 개발자들은 보다 손쉬운 혹은 보다 익숙한 환경으로 끌어들이고자 하는 노력을 하곤 한다그 결과로 탄생한 프로젝트 중 하나가 바로 "아파치;타..
- Apache Tajo Project #1
-
- 도커(Docker) 에서 마크베이스(Machbase) 사용기 (공손체)
-
Tech Taste Travel by 홍차장|2017/08/31 17:20
도커(Docker) 에서 마크베이스(Machbase) 사용기개요개인로 생각하기에 다운로드에 들어가는 시간을 제외하면, 도커는 다른 어느 플렛폼보다 가장 간편하게 프로그램을 설치, 테스트 해 볼 수 있는 환경인것 같다.도커에 대한 자세한 사용법이나 설치법을 알기 위해서는..
- 도커(Docker) 에서 마크베이스(Machbase) 사용기 (공손체)
-
- Hue 설치(하둡 관리 기능)
-
블루오션 [BLUE OCEAN] by 장땡|2017/07/26 18:31
설치환경 :CentOS Linux release 7.3.1611 (Core) Python2.7 0. 기본 설치 패키지설치하다 에러나면 의존성 파일이 무엇인지 확인 후 설치해준다.yum install ant python-devel krb5-devel krb5-lib..
hue, 하둡관리, solr, hadoop, hadoopmanager
- Hue 설치(하둡 관리 기능)
-
- HDFS NFS gateway 사용하기
-
블루오션 [BLUE OCEAN] by 장땡|2017/07/21 18:39
hadoop을 사용하다보면 상당히 많고 큰 용량의 파일이 등록된다. 파일을 hadoop명령을 통하여 등록할 수 있지만 상당히 느리고 명령을 실행하는게 귀찮은 일이다. 이때 NFS Gateway를 이용하면 cp명령..
- HDFS NFS gateway 사용하기
-
- Installing Hadoop 2.7 on Ubuntu 15.04
-
Sensation by tobby48|2017/02/22 15:12
출처 :
- Installing Hadoop 2.7 on Ubuntu 15.04
-
- [hadoop] Hadoop 클러스터 설정 - ssh
-
Sensation by tobby48|2017/01/05 13:46
출처 :%EA%B8%B0%EB%B3%B8 한동안 손대지 못했던 하둡을 다시 설치해보다 서버 설정에서 약간의 삽질을 했다. 하둡의 문제라기 보다는 편한 운용을 위한 ssh 설정의 문제였음. 1. Hadoop을 실행할 계정과 그룹은 hadoop/hadoop으로 한다. $ sudo addgroup ha..
- [hadoop] Hadoop 클러스터 설정 - ssh
-
- dirver / executor memory configuration (sp..
-
Sensation by tobby48|2017/01/04 13:29
1. check to runtime overhead because of the runtime overhead imposed by Scala, which is usually around 3-7%, more or less. hduser@localhost:~$ scala -J-Xmx4g Welc..
- dirver / executor memory configuration (sp..
-
- Spark Basic Guide (2.X)
-
Sensation by tobby48|2017/01/04 12:57
1. Spark 2.X 튜닝 가이드 2. Spark on YARN 3. Resource Allocation Configuration for Spark on YARN In this blog post, I will explain the resource allocation configurations for Spark on YARN, describe the yarn-client and yarn-cluster ..
- Spark Basic Guide (2.X)
-
- Hadoop Compile Error
-
Sensation by tobby48|2016/11/01 17:04
sudo apt-get install build-essentialsudo apt-get install g+ autoconf automake libtool cmake zlib1g-dev pkg-config libssl-dev [Error Message] repo.maven.apache.org unknown host repo.maven.apache.org maven이 우분..
- Hadoop Compile Error
-
- Hadoop install ERROR list
-
Sensation by tobby48|2016/11/01 16:52
编译命令： mvn package -Pdist,native,docs -DskipTests -Dtar最好-p不带docs太费时间。直接用mvn package -Pdist,native -DskipTests -Dtar编译完成后的bin版本在目录 hadoop-dist下，跟从官网直接下载非src版本类似。为提高下载速度，..
- Hadoop install ERROR list
-
- How to Plan and Configure YARN and MapReduce 2 in HDP 2.0
-
Sensation by tobby48|2016/10/11 13:59
As part of HDP 2.0 Beta, YARN takes the resource management capabilities that were in MapReduce and packages them so they can be used by new engines. This also streamlines MapReduce to do what it does best, process dat..
- How to Plan and Configure YARN and MapReduce 2 in HDP 2.0
-
- Hadoop 2 MapReduce 설정
-
Sensation by tobby48|2016/10/11 10:49
하둡1.0 에서 맵리듀스를 실행할 때는 슬롯 단위로 맵/리듀스 태스크 개수를 관리했습니다. 하지만 하둡2.0에서 YARN(이하: 얀)이 도입되면서 슬롯이 아닌 컨테이너 단위로 리소스를 할당하게 됩니다. 얀의 리소스매니저는 전체 클러스터의 리소스 정보를 토대로 할당 가능한 컨..
- Hadoop 2 MapReduce 설정
-
- hadoop file 일부 grep해서 복사하기
-
공부가 본업. by 언제나19|2015/05/22 11:42
전체 파일들hadoop fs -ls -R "/." | tr -s ' ' | cut -d' ' -f 8 디렉토리도 포함돼 있다. How to make the 'cut' command treat several sequential delimiters as one? hadoop fs -cat "${iFile}" | grep '.' | hadoop fs -put - $..
- hadoop file 일부 grep해서 복사하기
-
- Hadoop] RDBMS to HBase (Using Sqoop & Pig)
-
ZZiZimTech - SQL Drill Up! by Persiom|2014/09/06 23:18
RDBMS에서 HBase로의 데이터 이전을 위해서는 여러개의 선택지가 있겠지만 CDH5(beta) Sqoop2 기반이라면 몇 가지 제한이 발생합니다.Talend와 같은 ETL을 이용할 경우에도 CDH5(beta)를 정식 지원하지 않기 때문에(현 5.5.2 정식지원) Define Custom Hadoo..
- Hadoop] RDBMS to HBase (Using Sqoop & Pig)
