Brain to Blog

Introduction

Eclipse 에서 Vue.js 개발 환경을 구축해보자.

Preparation

이클립스는 JavaScript and Web Developers 패키지로 받았다.

npm을 어디서든사용할 수 있도록 nodejs를 받아서 Path 환경 변수에 등록하자.

Install CodeMix Plugin

Eclipse Marketplace(Help - Eclipse Marketplace...)에서 vue를 검색하면 플러그인이 나온다. (하나만 있는듯? -_-)

With CodeMix, unlock a wide array of technologies from Visual Studio Code and add-on extensions built for Code OSS directly inside your Eclipse IDE.

- First class JavaScript coding & debugging

- Vastly improved HTML and CSS editing

- New languages including TypeScript, PHP and Python

- New frameworks from React and Vue.js to Angular

- New UX patterns like the Quick Open shortcuts

- As-you-type content assist

라이선스.. 네네...

설치 후 재시작 해준다.

재시작 하면 CodeMix 에 대한 설명+설정이 나온다.

Create Vue project

File - New - Project

프로젝트 이름 입력 후 Finish

아래와 같은 구조로 프로젝트가 만들어진다.

프로젝트에서 마우스 오른쪽 버튼 - Run As - npm Install 클릭.

프로젝트에 필요한 모듈들을 설치하게 된다.

Microsoft Windows [Version 10.0.16299.309]
(c) 2017 Microsoft Corporation. All rights reserved.

D:\dev\workspace\vue.js>npm install

> node-sass@4.9.0 install D:\dev\workspace\vue.js\node_modules\node-sass
> node scripts/install.js

Cached binary found at C:\Users\Antop\AppData\Roaming\npm-cache\node-sass\4.9.0\win32-x64-57_binding.node

> uglifyjs-webpack-plugin@0.4.6 postinstall D:\dev\workspace\vue.js\node_modules\uglifyjs-webpack-plugin
> node lib/post_install.js


> node-sass@4.9.0 postinstall D:\dev\workspace\vue.js\node_modules\node-sass
> node scripts/build.js

Binary found at D:\dev\workspace\vue.js\node_modules\node-sass\vendor\win32-x64-57\binding.node
Testing binary
Binary is fine
npm WARN optional SKIPPING OPTIONAL DEPENDENCY: fsevents@1.2.4 (node_modules\fsevents):
npm WARN notsup SKIPPING OPTIONAL DEPENDENCY: Unsupported platform for fsevents@1.2.4: wanted {"os":"darwin","arch":"any"} (current: {"os":"win32","arch":"x64"})

added 891 packages in 151.496s

D:\dev\workspace\vue.js>exit

node_modules 라는 디렉터리가 생성되고 하위에 필요한 모듈들이 들어있다. (이 디렉터리는 VCS에 포함시키지 말자!)

package.json - dev 에서 마우스 오른쪽 버튼. Run As - npm Script

아래와 같이 Console이 나오게 된다.

Microsoft Windows [Version 10.0.16299.309]
(c) 2017 Microsoft Corporation. All rights reserved.

D:\dev\workspace\vue.js>npm run-script dev

> vue-hello-world@1.0.0 dev D:\dev\workspace\vue.js
> cross-env NODE_ENV=development webpack-dev-server --open --hot

Project is running at http://localhost:8080/
webpack output is served from /dist/
404s will fallback to /index.html

브라우저가 자동으로 실행되고 아래와 같이 나온다면 성공!

Introduction

WebStorm + Vue CLI를 이용해서 Vue.js 개발 환경을 구축해보자.

Vue.js는 단일 페이지 응용 프로그램을 빠르게 스캐폴딩하기 위한 공식 CLI를 제공합니다. 현대적인 프론트엔드 워크플로우를 위해 잘 구성된 빌드 설정을 제공합니다. 핫 리로드, lint-on-save 및 프로덕션 준비가 된 빌드로 시작하고 실행하는데 몇 분 밖에 걸리지 않습니다.

처음 CLI 를 접하기 전에 사전 지식을 필요로 하니 당장 Vue.js 만 공부하려면 순수 HTML, CSS, Javascript 로 구성해서 학습하는 것도 괜찮을 것 같다. (난 사전 지식 없는데 왜 이걸로 하고 있지... ㅠㅠ)

CLI는 Node.js 및 관련 빌드 도구에 대한 사전 지식을 필요로 합니다. Vue 또는 프런트엔드 빌드 도구를 처음 사용하는 경우 CLI를 사용하기 전에 빌드 도구없이 가이드를 읽어 보시기 바랍니다.

Preparation

Node.js가 필요하다. 다운로드 받은 후 환경변수 PATH 등록 해두자.

vue-cli 를 설치한다.

D:\>npm install --global vue-cli
npm WARN deprecated coffee-script@1.12.7: CoffeeScript on NPM has moved to "coffeescript" (no hyphen)
D:\develoment\tools\node-v8.11.2-win-x64\vue-list -> D:\develoment\tools\node-v8.11.2-win-x64\node_modules\vue-cli\bin\vue-list
D:\develoment\tools\node-v8.11.2-win-x64\vue -> D:\develoment\tools\node-v8.11.2-win-x64\node_modules\vue-cli\bin\vue
D:\develoment\tools\node-v8.11.2-win-x64\vue-init -> D:\develoment\tools\node-v8.11.2-win-x64\node_modules\vue-cli\bin\vue-init
+ vue-cli@2.9.3
added 258 packages in 27.115s

Create Vue.js Project

WebStorm 실행 후 프로젝트를 새로 생성한다.

Location: 프로젝트의 디렉터리

Node interpreter : node.exe 파일의 위치

vue-cli or @vue/cli: vue-cli 모듈의 위치. 위에서 vue-cli 를 설치 했으면 자동으로 인식 된다.

Project template: 만들어질 프로젝트 기본 템플릿 6가지

• browserify : hot-reload, linting 및 단위 테스팅 등 대부분의 기능을 갖춘 Browserify + vueify 설정.
• browserify-simple : 단순히 Browserify와 vueify만 포함. 빠르게 프로토타입을 만들 때 사용한다.
• pwa : ot-reload, linting, 테스트 및 CSS 추출 기능을 갖춘 대부분의 기능을 갖추고 있는 Webpack + PWA 템플릿.
• simple : 가장 단순하게 한 HTML 파일에 Vue 설정을 담고 있다.
• webpack : hot-reload, linting, 테스트 및 CSS 추출 기능을 갖춘 대부분의 기능을 갖추고 있는 Webpack + vue-loader 설정.
• webpack-simple : 단순히 Webpack과 vue-loader만 포함한다. 빠르게 프로토타입을 만들 때 사용한다.

프로젝트 이름...

프로젝트 설명...

작성자 이름...

Vue build

• Runtime + Compiler : 일반 적인 대부분 사용자에게 권한다.
• Runtime-only : 약 6KB 안되는 용량. 하지만 템플릿(.vue)만 사용할 수 있다.

개발 중에는 최소화 버전을 사용하지 마십시오. 일반적인 실수에 대한 모든 훌륭한 경고를 놓치게됩니다!

현재는 개발(공부) 용도이기 때문에 Runtime + Compiler 선택...

해시(#) URL이나 HTML5 History 등을 이용하여 SPA에서 페이지 네비게이션 기능을 vue.js에서 사용하고 싶을 때 쓰는 vue-router 모듈을 설치할 것인지 여부이다.

자바스크립트 코딩 스타일과 에러를 체크하는 ESLint를 사용할 지 여부.

ESLint 를 사용한다면 어떤 코딩 스타일 세팅(preset)을 사용할지 선택하는 단계이다.

• Standard : https://github.com/standard/standard
• Airbnb : https://github.com/airbnb/javascript

단위 테스트를 사용할 지 여부.

어떤 테스트기(test runner)를 사용할 지 선택한다.

• Jest

• Karma and Mocha

Nightwatch를 이용하여 e2e(End-to-End) 테스트를 할 수 있도록 설정할 것인지 여부.

프로젝트가 생성된 후에 NPM 을 사용할 것인지 물어본다...

이제 프로젝트가 만들어졌다.

IDE 우측 하단의 알람을 보면 종속 모듈을 설치해야 한다고 한다. Run 'npm install' 을 클릭 하거나 Terminal 에서 직접 커맨드를 입력해서 설치하면 된다.

Terminal 에서 직접 npm install 했을 때 내용은 대충... 아래와 같다.

>npm install
npm WARN deprecated socks@1.1.10: If using 2.x branch, please upgrade to at least 2.1.6 to avoid a serious bug with socket data flow and an import issue introduced in 2.1.0
npm WARN notice [SECURITY] mime has 1 moderate vulnerability. Go here for more details: https://nodesecurity.io/advisories?search=mime&version=1.3.6 - Run `npm i npm@latest -g` to upgrade your npm version, and then `
npm audit` to get more info.
npm WARN notice [SECURITY] https-proxy-agent has 1 high vulnerability. Go here for more details: https://nodesecurity.io/advisories?search=https-proxy-agent&version=1.0.0 - Run `npm i npm@latest -g` to upgrade your n
pm version, and then `npm audit` to get more info.
npm WARN notice [SECURITY] http-proxy-agent has 1 high vulnerability. Go here for more details: https://nodesecurity.io/advisories?search=http-proxy-agent&version=1.0.0 - Run `npm i npm@latest -g` to upgrade your npm
 version, and then `npm audit` to get more info.
npm WARN notice [SECURITY] debug has 1 low vulnerability. Go here for more details: https://nodesecurity.io/advisories?search=debug&version=2.2.0 - Run `npm i npm@latest -g` to upgrade your npm version, and then `npm
 audit` to get more info.
npm WARN notice [SECURITY] macaddress has 1 critical vulnerability. Go here for more details: https://nodesecurity.io/advisories?search=macaddress&version=0.2.8 - Run `npm i npm@latest -g` to upgrade your npm version
, and then `npm audit` to get more info.
npm WARN notice [SECURITY] growl has 1 critical vulnerability. Go here for more details: https://nodesecurity.io/advisories?search=growl&version=1.9.2 - Run `npm i npm@latest -g` to upgrade your npm version, and then
 `npm audit` to get more info.

> chromedriver@2.38.3 install D:\dev\projects\vue\node_modules\chromedriver
> node install.js

Downloading https://chromedriver.storage.googleapis.com/2.38/chromedriver_win32.zip
Saving to C:\Users\Antop\AppData\Local\Temp\chromedriver\chromedriver_win32.zip
Received 781K...
Received 1568K...
Received 2352K...
Received 3136K...
Received 3299K total.
Extracting zip contents
Copying to target path D:\dev\projects\vue\node_modules\chromedriver\lib\chromedriver
Done. ChromeDriver binary available at D:\dev\projects\vue\node_modules\chromedriver\lib\chromedriver\chromedriver.exe

> uglifyjs-webpack-plugin@0.4.6 postinstall D:\dev\projects\vue\node_modules\webpack\node_modules\uglifyjs-webpack-plugin
> node lib/post_install.js

npm notice created a lockfile as package-lock.json. You should commit this file.
npm WARN optional SKIPPING OPTIONAL DEPENDENCY: fsevents@1.2.4 (node_modules\fsevents):
npm WARN notsup SKIPPING OPTIONAL DEPENDENCY: Unsupported platform for fsevents@1.2.4: wanted {"os":"darwin","arch":"any"} (current: {"os":"win32","arch":"x64"})

added 1555 packages in 321.2s

Run Server

Terminal 에서 npm run dev 명령어 입력.

D:\develoment\projects\vue.js>npm run dev

> vue.js@1.0.0 dev D:\develoment\projects\vue.js
> webpack-dev-server --inline --progress --config build/webpack.dev.conf.js

 90% chunk assets processing

% 진행 되다가 아래와 같이 나오면 성공!

 DONE  Compiled successfully in 15419ms                                                                                                                                                                            12:50:43

 I  Your application is running here: http://localhost:8080

브라우저로 접속 시 화면이 나온다면 성공!

Reference

https://kr.vuejs.org/v2/guide/installation.html

https://www.jetbrains.com/help/webstorm/vue-js.html

https://github.com/vuejs-kr/vue-cli

소개

스터디를 위해서 Ambari를 이용하여 하둡 환경을 구성하면서 기록을 남긴다.

환경 준비

아래 항목들은 모든 서버에 공통적으로 적용해야 할 것들이다.

FQDN^[각주:1] 및 호스트네임 설정

호스트들 등록 x N

호스트네임 설정값 변경

각각 서버에 맞는 번호로 이름 변경 x N

네트워크 설정 쪽에도 호스트네임이 들어가 있다. 이것도 변경 x N

Password-less SSH 설정

비밀번호를 물어보지 않는 SSH를 사용할 수 있도록 설정

Ambari 쪽에서 다른 각각의 서버로만 뚫으면 된다.

공개키/개인키 생성

인증 심어놓기(?)

Ambari 쪽에서 다른 서버들로 SSH 접속시 비밀번호를 물어보지 않고 접속이 잘 되어야 한다.

※ hadoop-00(Ambari)에 생성된 /root/.ssh/id_dsa 파일을 다운로드 받아놓자. Ambari Web UI에서 클러스터 생성시에 필요하다.

NTP^[각주:2] 서비스 설치 및 실행

NTP 가 안깔려 있으면 설치하자.

방화벽 해제

하둡은 상당히 많은 포트를 사용한다. 철저하게 관리하면 좋겠지만..... 전부 해제!

SELinux 비활성화

THP^[각주:3] 비활성화

CentOS에서 THP가  활성화 되어있으면 성능 이슈가 발생할 수 있다고 경고가 나오게 된다.

HDP 가 설치되는 호스트들에 적용한다. (hadoop-01 ~ hadoop-04)

재부팅 후 값 확인

※ 이렇게 하는게 맞는지는 확실히 모르겠슴.. 어찌어찌 하다가 경고 없어짐... 여기 참조

unmask 값 변경

/etc/profile 파일을 열어서 umask 설정 로직 하단에 umask 값을 강제로 변경하는 부분을 추가해 주도록 하자.

JDK 설치

여기선 1.7을 설치 하자.

Ambari Server 설치

Public Repositories^[각주:4] 등록

yum 으로 설치될 수 있도록 저장소를 등록한다.

설치

설정

시작

Deploy CLuster using Ambari Web UI

브라우저로 http://<hostname>:8080 에 접속하자.

최초 로그인 아이디는 admin/admin

중앙 Create a Cluster 항목의 Launch Install Wizard 버튼 클릭!

클러스터 이름을 설정한다. 나는 MicroscopeHadoop 으로 하였다.

서비스 스택 버전을 선택한다.

최신 버전인 2.4 해도 되고, 나의 경우 Toad for Hadoop 1.5.0 버전에서 HDP 2.3 을 지원 한다고 하여 2.3 으로 설치한다. 

설치할 호스트를 지정한다. FQDN을 줄줄이 써주면 된다.

위에서 다운로드 받아놓은 id_dsa 파일을 여기서 첨부 파일로 넣어준다.

각 호스트에 Ambari Agent 설치 및 이것저것 검사를 한다.

※ 위에 THP 처리를 안하면 아래와 같이 경고가 나오게 된다.

서비스를 선택한다. (항목이 너무 많아서 스크린샷을 편집함...)

나는 Hive 만을 사용하기 위한 최소 항목만 선택 하였다. 나중에 추가 설치 가능하다.

어느 호스트에 무엇을 설치할 것인지 설정한다.

이 부분은 경험과 노하우가 필요하겠다...

나의 경우 서버가 4대라서... 1번에 다 몰고... 2번에 하이브.. 2,3,4 를 데이터 노드로 사용하려고 하였다.

DataNode 로 쓸 호스트를 선택하자.

설정값을 조정하는 부분이다.

특별히 변경 할 건 없는거 같고... -_-/... 아래 처럼 탭 부분에 빨간색 숫자 뜨는 부분 찾아가서 채워 주자.

설치(Deploy) 전 마지막 확인!

설치 시작 그리고 테스트

설치 완료!

설치 완료 요약

완료... 된 것인가 ㅠ_ㅠ

추가로 HTTP 포트 변경하기

https://ambari.apache.org/1.2.3/installing-hadoop-using-ambari/content/ambari-chap2-2a.html

참조

https://ambari.apache.org/1.2.2/installing-hadoop-using-ambari

http://guruble.com/?p=147

Introduction

Hive 를 공부해보기 MySQL을 메타 스토어로 사용하는 최소한의 설치를 설치해보자..

Requirements

여기서 MySQL 설치에 대해서 다루지 않겠다... 데이터베이스와 유저까지 만들자.

Host: mysqldb

Database: hive

Username: hive

※ MySQL 을 사용 하지 않을 경우를 위해서 생략 가능한 절차를 코맨트 하겠다.

하둡은 이미 설치되어 있어야 한다. 설치된 환경은 아래와 같다.

하이브가 설치될 환경을 미리 잡아주자.

Download Hive

하이브 최신(1.2.1) 파일을 다운로드 받아 설치하자.

Install MySQL Connector/J

※ MySQL 을 사용하지 않을 거라면 패스

하이브에서 메타스토어를 다른 데이터베이스로 사용할 시에 해당 JDBC 라이브러리를 넣어줘야한다.

MySQL을 사용할 것이기 때문에 이에 맞는 라이브러리를 찾아 넣어주자. 

MySQL 스키마 파일은 하이브에 포함되어 있다. 어떤 방법을 쓰든.... 실행하자.

나는 mysql client 를 이용해서 넣었다..

$ mysql --host=mysqldb --database=hive --user=hive --password=**** < $HIVE_HOME/scripts/metastore/upgrade/mysql/hive-schema-1.2.0.mysql.sql

Setting

하이브에서 사용하게 될 영역을 HDFS 내에 만들자.

설정 파일을 만들자. (이 파일이 처음에는 없을 것이다)

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
    <property>
        <name>fs.default.name</name>
        <value>hdfs://hadoop-01:9000</value>
    </property>
    <!-- MySQL 사용 안할 거라면 이 아래는 패스 -->
    <property>
        <name>javax.jdo.option.ConnectionURL</name>
        <value>jdbc:mysql://mysqldb:3306/hive</value>
    </property>
    <property>
        <name>javax.jdo.option.ConnectionDriverName</name>
        <value>com.mysql.jdbc.Driver</value>
    </property>
    <property>
        <name>javax.jdo.option.ConnectionUserName</name>
        <value>hive</value>
    </property>
    <property>
        <name>javax.jdo.option.ConnectionPassword</name>
        <value>****</value>
    </property>
</configuration>

이제 하이브를 한번 실행 해보자. 아래와 같이 CLI 커맨드가 나오면 OK!

$ hive

Logging initialized using configuration in jar:file:/opt/hadoop/hive-1.2.1/lib/hive-common-1.2.1.jar!/hive-log4j.properties
hive> _

Introduction

시작하세요! 하둡 프로그래밍 국내도서 저자 : 정재화 출판 : 위키북스 2014.12.31 상세보기

거침없이 배우는 하둡 국내도서 저자 : 척 램(Chuck Lam) / 강택현,이현남역 출판 : 지앤선(지&선) 2012.07.17 상세보기

하둡을 공부하기 위하여 설치해보자.

연습을 실전 같이! 완전분산(Fully distributed) 모드로 설치한다.

하둡 실행 계정 생성

하둡 실행 계정은 하둡 클러스터를 구성하는 모든 서버에 동일하게 생성해야 한단다. (정말? 실화야?)

"hadoop" 계정을 사용하도록하겠다. 각 서버에 생성하자.

호스트 파일 수정

IP를 직접 사용해도 되지만 호스트명을 사용하자. 각 서버에서 /etc/hosts 파일을 아래와 같이 수정한다.

※ 물론 이 작업을 수행하는 나의 컴퓨터에도 호스트 파일 수정 작업이 되어 있어야 한다.

인코딩 방식 설정

하둡은 인코딩 방식으로 UTF-8을 사용한단다... 다행이 우분투는 기본적으로 UTF-8 사용해서 천만 다행 -_-/

방화벽 해제

어차피 내부통신에다 연습용이니 다 해제!

자바 설치

Oracle JDK 1.7 을 설치 하도록 하겠다.

http://ubuntuhandbook.org/index.php/2014/02/install-oracle-java-6-7-or-8-ubuntu-14-04/

Oracle JDK 7 을 설치 했을 시에 설치되는 위치는 "/usr/lib/jvm/java-7-oracle" 이다.

하둡 클러스터를 위한 SSH 설정

마스터 노드는 클러스터에 위치한 다른 모든 노드들에 접근할 수 있어야 한다. 하둡은 이러한 접근을 위해 SSH를 사용한다.

마스터 노드(hadoop-01)에서 쌍으로 이루어진 SSH 키를 생성한다.

생성된 공개키를 다른 서버에 복사한다.

ssh-copy-id -i [복사할 공개키 경로] [대상 서버 계정]@[대상 서버]

하둡 다운로드 및 압축 해제

현재 최신 버전은 1.2.1 이다.

압축 해제!

hadoop-env 수정

이것 저것....

masters 수정

masters 파일에는 보조네임 노드를 실행할 서버를 설정한다. (여러개 가능)

slaves 수정

slaves 파일에는 데이터 노드를 실행할 서버를 설정한다.

core-site.xml 수정

이것 저것... ㅠㅠ

hdfs-site.xml 수정

...

mapred-site.xml 수정

..

하둡 환경설정 복사

네임노드에서 모든 수정 작업이 완료되면 다른 데이터노드 서버로 파일을 복사한다.

각각 서버로 전송된 파일 압축 해제

하둡 실행

네임노드를 초기화한다.

전부 실행

제대로 올라갔는지 확인하자

http://hadoop-01:50070