이글루스!! 밸리 » 태그 » hadoop

태그>hadoop(총 17개의 글)

'hadoop' 관련 최근글

Cascading

qulli by 현쥬|01/15 21:17
- Cascading 이란 ? 분산데이터 그리드 혹은 클러스터 환경에서 대용량 데이터 처리작업을 정의, 공유, 실행 할때 사용되는 Query API 및 Query Planner 이다. Cascading은 Apache Hadoop에 의존하기 때문에 Cascading의 개발 및 테스트를 위해서는 Hadoop이..
cascading, hadoop, pipeAssemblies, bigdata, 신현주
Amazon ec2에 whirr를 이용한 Hadoop 및 HBase 설치 방법

Teach Myself by 노란맘모스|2011/12/28 16:22
Apache whirrhttp://whirr.apache.org/ 기본 설치 3가지javamavenruby (1) Java 설치 http://blog.outsider.ne.kr/634 (2) maven 설치sudo apt-get install maven2 (3) ruby 설치sudo apt-get install ruby1.9.1
amazon, hadoop, hbase
RHadoop - Integrating hadoop and R

묵호칼치 by 묵호칼치|2011/09/08 13:19
RHadoop는 3개의 R패키지로 구성되어 있습니다. 이 패키지를 통해 R사용자는 Hadoop으로 데이터를 관리하거나 분석할 수 있습니다. 현재 패키지들은 CDH3(Cloudera's distribution of Hadoop)과 R 2.13.0 버전에서 구현되어 테스트되었습니다. [세부 패키지]rmr - ..
rhadoop, hadoop, r, rmr, rhdfs
[Hadoop] 테스트 MRUnit & Mockito

Sigel's house made of ice 。。。 by Sigel|2011/08/30 14:36
하둡 테스트를 위해 MRUnit과 Mockito를 사용한 예제([Hadoop] MRUnit,Mockito를 사용한 테스트 케이스 작성 -Mapper-)를 찾아봤다. 링크를 보면 테스트를 작성하는 내용이 잘 나와 있다. 나도 슝슝 따라 했는데. 결과는 만족. 그리고 MRUnit을 사용하기로 결정. ..
hadoop, test, MRUnit, Mockito, 테스트
[Hadoop] wrong key class 오류

Sigel's house made of ice 。。。 by Sigel|2011/08/09 10:02
어허~ wrong key class라는데. 어디가 문제인지 모르겠다. 11/08/09 09:43:50 INFO mapred.JobClient: map 0% reduce 0% 11/08/09 09:44:00 INFO mapred.JobClient: Task Id : attempt_201108090850_0013_m_000000_0, Status : FAILED java.io.IOException: wrong key class: ..
hadoop, 하둡, output, key, combiner
[Hadoop] Mapper/Reducer를 찾지 못 할 때 - NoSuchMethodEx..

Sigel's house made of ice 。。。 by Sigel|2011/04/28 14:18
Hadoop 예제가 잘 됐었는데. 어제 뭔가를 손댔는데 동작하지 않는다. 그런데 하루가 지나지도 않았는데 그 뭔가가 기억이 나지 않는다. (이럴 때가 제일 난감 TㅅT) 해당 클래스와 생성자(hadoopSite.WordCount$Map.())가 분명히 있는데 아래처럼 NoSuchMeth..
Hadoop, 하둡, NoSuchMethodException, Mapper, Reducer
하둡 소개 문서

gimmesilver's blog by silverbird|2011/01/15 12:07
작년 상반기에 신입 사원 교육을 위해 만들었던 문서이다. 전반적인 overview 수준이지만 워낙에 하둡과 관련된 한글 문서가 희귀하니 이거라도 다른 사람들에게 도움이 되지 않을까 싶어 내용 중 회사 시스템이나 업무와 관련된 내용을 언급한 부분은 삭제하고 올린다.
hadoop
In Mapper Combiner

gimmesilver's blog by silverbird|2010/12/04 18:16
MapReduce 프로그램에서는 mapper에서 reducer로 전달되는 데이터 양을 줄이는 것이 매우 중요한 성능 최적화 요소이다. 그리고 이를 위해 하둡에서는 Combiner라는 인터페이스를 제공한다. Combiner는 쉽게 말해 local reducer 이다. 즉, 각 mapper 마다 자신이 ..
hadoop, cascading, InMapperCombiner
Social Network Analysis with Hadoop

impro by impro|2010/08/03 20:30

Hadoop, SocialNetwork
Hadoop PIG & Twitter

impro by impro|2010/08/01 07:13

Hadoop, PIG
Hadoop Architecture

impro by impro|2010/07/11 18:20
MapReduce Hadoop 완벽가이드
Hadoop, Cloude
hadoop - Fully-Distributed Mode

한뱅 by 한뱅|2010/04/16 19:50
사실 완전 분산모드에서의 하둡 클러스터 셋팅은 하둡 홈페이지에 기술되어있긴 하다 근데 뭔소린지 잘 모르겠어서 우선 가상 분산모드 기반으로 셋팅을 살짝 바꾸어 보았다. 우선 현재 상황은 clus07과 clus08 두..
hadoop, 셋팅, fully, distributed, 하둡
hadoop - Pseudo-Distributed Operation

한뱅 by 한뱅|2010/04/16 15:00
하둡의 두번째 동작 모드는 가상 분산모드인다. 이 경우에는 java 프로세스를 복수로 생성하여 localhost에서 job tracker와 namenode를 관리하여 동작하는듯 싶다.(나도 잘 모름) 가상 분산모드 부터는..
root, 로그인, hadoop, pseudo, 하둡
hadoop - Standalone Operation

한뱅 by 한뱅|2010/04/13 13:16
hadoop의 기본 패키지는 Standalone Operation이 디폴트로 설정되어있다. 이 값을 그대로 복사해서 올바르게 동작하는지 확인해 보자 스탠드 얼론 모드는 디버깅이 용이하다. 아래와 같이 커맨드를 입력한다. $ mkdir input $ cp conf/*.xml input $ bin/hadoop jar ..
hadoop, ubuntu, 하둡, 우분투
hadoop 실행을 위한 준비

한뱅 by 한뱅|2010/04/13 12:51
2010-04-13 부터 진행 시스템 환경 ::Ubuntu Desktop 9.10JDK6hadoop-0.20.2 - 1. Ubuntu Desktop 9.10 버전을 설치한다 우분투 홈페이지에서 무료로 다운 가능하다.http://www.ubuntu.com/ - 설치후 할 일(회색..
hadoop, ubuntu, 하둡, 우분투

1 2