태그>hdfs(총 9개의 글)

'hdfs' 관련 최근글

• 함수형 언어 맵리듀스(MapReduce)

  케찹만땅  by 케찹만땅|2020/06/29 16:20

  스마트폰, SNS, 사물인터넷 확산 등으로 엄청난 양의 데이터가 생산, 유통, 가공, 공유되는 빅데이터 시대에 진입하면서 다양한 속성들을 가진 데이터를 처리하기 위한 새로운 방법이 요구됨에 따라 등장하였으며 Map과 Reduce라는 함수를 기반으로 구현된다. 바야흐로 모..

  빅데이터, 맵리듀스, 하둡, Hadoop, MapReduce

• Hive를 통한 HDFS접속(R->Hive->HDFS)

  블루오션 [BLUE OCEAN]  by 장땡|2017/08/21 13:29

  library(rJava)library(RJDBC)library(DBI) Sys.setenv("HADOOP_CMD"="/usr/hdp/2.3.2.0-2950/hadoop/bin/hadoop")Sys.setenv("HADOOP_HOME"="/usr/hdp/2.3.2.0-2950/hadoop")S..

  Hive, HDFS, 하둡, 하이브, 하둡데이터접근

• 

  HDFS NFS gateway 사용하기

  블루오션 [BLUE OCEAN]  by 장땡|2017/07/21 18:39

  hadoop을 사용하다보면 상당히 많고 큰 용량의 파일이 등록된다. 파일을 hadoop명령을 통하여 등록할 수 있지만 상당히 느리고 명령을 실행하는게 귀찮은 일이다. 이때 NFS Gateway를 이용하면 cp명령..

  HDFSNFSgateway, hadoopnfs, hadoop, gateway, hdfs

• hdfs permission denied

  공부가 본업.  by 언제나19|2016/06/28 16:36

  "export HADOOP_USER_NAME=hdfs" Why does “hadoop fs -mkdir” fail with Permission Denied? dfs.permissions.enabledfalse

  hdfs, PermissionDenied

• python에서 hdfs 쓰기

  공부가 본업.  by 언제나19|2015/06/12 15:05

  Outputting to a file in HDFS using a subprocess cat = subprocess.Popen(["hadoop", "fs", "-cat", "/user/test/myfile.txt"], stdout=subprocess.PIPE)with NamedTemporaryFi..

  python, hdfs

• hdfs data를 spark rdd로 읽기

  공부가 본업.  by 언제나19|2015/05/22 11:46

  cloudera로 spark 설치해보고 써 보기 헐, 설명이 이거 1page네.https://spark.apache.org/docs/latest/programming-guide.html ipython notebookhttp://blog.cloudera.com/blog/2014/08/how-to-use-ipython-notebook-with-apache-spark/ S..

  spark, rdd, hdfs

• hadoop file 일부 grep해서 복사하기

  공부가 본업.  by 언제나19|2015/05/22 11:42

  전체 파일들hadoop fs -ls -R "/." | tr -s ' ' | cut -d' ' -f 8 디렉토리도 포함돼 있다. How to make the 'cut' command treat several sequential delimiters as one? hadoop fs -cat "${iFile}" | grep '.' | hadoop fs -put - $..

  hadoop, hdfs, command

• cloudera로 spark 설치해보고 써 보기

  공부가 본업.  by 언제나19|2015/05/18 20:30

  cloudera web ui를 이용해서 서비스 추가yarn이 spark를 추가한다. hue web ui에서 spark workspace를 작성하면, 실행할 수 있다. spark standalone은 console로 실행시켰다.http://www.cloudera.com/content/cloudera/en/documentation/cloude..

  cloudera, hdfs, spark, BigData

• Hadoop] RDBMS to HBase (Using Sqoop & Pig)

  ZZiZimTech - SQL Drill Up!  by Persiom|2014/09/06 23:18

  RDBMS에서 HBase로의 데이터 이전을 위해서는 여러개의 선택지가 있겠지만 CDH5(beta) Sqoop2 기반이라면 몇 가지 제한이 발생합니다.Talend와 같은 ETL을 이용할 경우에도 CDH5(beta)를 정식 지원하지 않기 때문에(현 5.5.2 정식지원) Define Custom Hadoo..

  Hadoop, RDBMS, Oracle, SQL, HDFS