본문 바로가기

Study/Hadoop

(3)
Install Ambari and Deploy HDP in CentOS 소개 스터디를 위해서 Ambari를 이용하여 하둡 환경을 구성하면서 기록을 남긴다. Host IP CPU/RAM/HDD Service hadoop-00 192.168.20.20 4vCPU / 4GB / 16GB Ambari hadoop-01 192.168.20.21 4vCPU / 4GB / 120GB NameNode hadoop-02 192.168.20.22 4vCPU / 4GB / 120GB Hive / DataNode hadoop-03 192.168.20.23 4vCPU / 4GB / 120GB DataNode hadoop-04 192.168.20.24 4vCPU / 4GB / 120GB DataNode 환경 준비 아래 항목들은 모든 서버에 공통적으로 적용해야 할 것들이다. FQDN 및 호스트네임 설..
Installing Hive(Hadoop 1) + MySQL on CentOS 6.7 Introduction Hive 를 공부해보기 MySQL을 메타 스토어로 사용하는 최소한의 설치를 설치해보자.. Requirements 여기서 MySQL 설치에 대해서 다루지 않겠다... 데이터베이스와 유저까지 만들자. Host: mysqldbDatabase: hiveUsername: hive ※ MySQL 을 사용 하지 않을 경우를 위해서 생략 가능한 절차를 코맨트 하겠다. 하둡은 이미 설치되어 있어야 한다. 설치된 환경은 아래와 같다. $ rpm -qa *-releasecentos-release-6-7.el6.centos.12.3.x86_64 $ java -versionjava version "1.7.0_80"Java(TM) SE Runtime Environment (build 1.7.0_80-b15..
Installing Hadoop 1 on Ubuntu 14.04 Introduction 시작하세요! 하둡 프로그래밍국내도서저자 : 정재화출판 : 위키북스 2014.12.31상세보기 거침없이 배우는 하둡국내도서저자 : 척 램(Chuck Lam) / 강택현,이현남역출판 : 지앤선(지&선) 2012.07.17상세보기 하둡을 공부하기 위하여 설치해보자. 연습을 실전 같이! 완전분산(Fully distributed) 모드로 설치한다. 호스트 아이피 역할 코어/메모리 hadoop-01 192.168.153.10 NameNode 1 코어 / 1 GB hadoop-02 192.168.153.11 Secondary NameNode / DataNooe 1 코어 / 1 GB hadoop-03 192.168.153.12 DataNode 1 코어 / 1 GB hadoop-04 192.168..