R > MSSQL 연동하기

1. 설치하기

  install.packages("RODBC")

2. 라이브러리 사용 설정

 library(RODBC)

3. ODBC를 이용해서 DSN 연결 ( ODBC 만들어두자 미리 )

 cnn <- odbcDriverConnect("DSN=ODBC명;uid=sa;pwd=xxxxxxx")

4. 테이블 데이터 가져오기

 OrderByCall <- sqlFetch(cnn,"테이블")

5. 읽어드린 데이터 확인하기

 head(OrderByCall,n=10)

6. 테이블의 컬럼 정보 확인하기

 sqlColumns(cnn,"테이블")

7. 특정 조건에 만족하는 데이터 가져오기 ( SQL 구문을 이용 )

 OrderByEmp <- sqlQuery(cnn,"select * from TB_SOULE_DATA where "기간" = '2009'")

8. 가져온 데이터를 활용해서 그래프 그리기

> plot(아파트~jitter(연립주택),data=tb_soule_data_query,main="주택청약",xlab="아파트",ylab="연립주택")


9 담당자별로 나타내기

LogStash & Elasticsearch & Kibana ELK 설치

( 모든 경로에 한글이 들어가지 않도록 한다. )

  1. 자바설치

      http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-133151.html
     환경변수 등록 : 등록

    시스템변수 만들어 JAVA_HOME

                             CLASSPATH

  2.
     elasticsearch-2.3.5\elasticsearch-.3.5\config\elasticsearch.yml
     에서 network.host:  부분 주석 제거하고 설치


    D:\999.로그시스템개편\elk\elasticsearch-2.3.5\elasticsearch-2.3.5\bin\ 으로 이동해서  CMD 창에서 service.bat install 실행

서비스에서 서비스 시작 ( Elasticsearch 서비스 시작 )

인터넷 창에서

http://localhost:9200/

 엘라스틱 서치 설치 완료

 -- 키바나 압축 해제

\kibana-4.5.4-windows\kibana-4.5.4-windows\config\kibana.yml

  5번째 줄 server.host:  IP 변경 주석제거
  15번째줄 elasticsearch.url: 주석제거  저장하고


\nssm-2.24\nssm-2.24\win64 에서 nssm.exe를 복사해서 키바나로 옮기고

NSSM install kibana D:\999.로그시스템개편\elk\kibana-4.5.4-windows\kibana-4.5.4-windows\bin\kibana.bat 실행 하면 서비스 인스톨 됬다고 나옴 그리고

 kibana 서비스 시작

 nssm > 서비스 등록시켜주는거 임니다.

로그스태시 설치

elk\logstash-5.2.2\logstash-5.2.2\bin\ 폴더에 logstash.conf 라고 파일 생성

후 테스트

bin 폴더에서 아래 꺼

실행방법 : logstash -f logstash.conf ( 메모장으로 만들어도 바뀔 수 확장자 안바뀔 수 있어

FLUENTD 설치 및 활용

Install     : http://docs.fluentd.org/articles/install-by-rpm

reference : http://docs.fluentd.org/articles/http-to-hdfs

Reference : http://bcho.tistory.com/1115

CURL 설치 : https://www.lesstif.com/pages/viewpage.action?pageId=14745703

TEST: http://docs.fluentd.org/articles/install-by-dmg

apache_log > MongoDB http://www.sjune.net/archives/1164

###########################################################

1) 플로그인 설치명령

    : td-agent-gem install fluent-plugin-webhdfs

2) Kinesis Plugin 설치

sudo td-agent-gem install fluent-plugin-kinesissudo td-agent-gem install fluent-plugin-kinesiudo td-agent-gem install fluent-plugin-kinesis

    susudo td-agent-gem install fluent-plugin-kinesisdo td-agent-gem install fluent-plugin-kinesis sudo td-agent-gem install fluent-plugin-kinesis

하둡구성6. HIVE ODBC 연결

리눅스도 처음해본다. 하둡설치 2.7.3 하이브 2.1.0 Mysql 연동까지

갑자기 하둡을 하게 되었다. 그런데 하둡은 리눅스 설치해야 한다는 것!! 멘붕이다.
근 2주간 고생고생하면서 설치에 성공하게 되었고 다른 곳에서도 설치할 일이 있을 것 같아서
매뉴얼을 작성해본다.

아무것도 모르고 CentOS 6.6 > HADOOP 2.7.3 > HIVE 2.1.0 > MYSQL 연동까지 시작해보자.

6.  HIVE ODBC 연결

 윈도우에서 ODBC 드라이버 다운로드

  https://www.microsoft.com/en-us/download/confirmation.aspx?id=40886
 

 ODBC 가 연결되었다. 기존에 환경설정에서 ODBC 연결을 위한 소스부분들이 포함되어 

 이렇게 아무렇지 않게 연결된 것 처럼 보인다. 하지만 난 3일이나 고생했다. 

 머리가 안좋다. ^^ 

 틀린 부분이나 잘 안되는 부분은 공유 ^^ 

하둡구성5. HIVE , MYSQL 연동

리눅스도 처음해본다. 하둡설치 2.7.3 하이브 2.1.0 Mysql 연동까지

갑자기 하둡을 하게 되었다. 그런데 하둡은 리눅스 설치해야 한다는 것!! 멘붕이다.
근 2주간 고생고생하면서 설치에 성공하게 되었고 다른 곳에서도 설치할 일이 있을 것 같아서
매뉴얼을 작성해본다.

아무것도 모르고 CentOS 6.6 > HADOOP 2.7.3 > HIVE 2.1.0 > MYSQL 연동까지 시작해보자.

5.  HIVE , MYSQL 연동

 MYSQL JDBC 다운로드

wget http://repo.maven.apache.org/maven2/mysql/mysql-connector-java/5.1.9/mysql-connector-java-5.1.9.jar

 다운로드 받은 파일 hive/lib 폴더로 복사


cp hive-env.sh.template hive-env.sh 로 hive-env.sh 파일 만들자.

hive-env.sh

vim hive-env.sh

HADOOP_HOME=/home/hadoop/hadoop

cp hive-default.xml.template  hive-site.xml 로 파일 생성

hive-site.xml

 <property>
        <name>hive.metastore.local</name>
        <value>true</value>
 </property>
 <property>
  <name>javax.jdo.option.ConnectionURL</name>
   <value>jdbc:mysql://NameNode:3306/hive?createDatabaseIfnotExists=true</value>
     </property>
<property>
 <name>javax.jdo.option.ConnectionDriverName</name>
  <value>com.mysql.jdbc.Driver</value>
   </property>
<property>
 <name>javax.jdo.option.ConnectionUserName</name>
  <value>hive</value>
   </property>
<property>
 <name>javax.jdo.option.ConnectionPassword</name>
  <value>hive</value>
   </property>
<property>
 <name>datanucleus.autoCreateSchema</name>
  <value>false</value>
   </property>
<property>
 <name>datanucleus.fixedDatastore</name>
  <value>true</value>
   </property>
<property>
 <name>hive.metastore.uris</name>
  <value>thrift://NameNode:9083</value>
   <description>IP address (or fully-qualified domain name) and port of the metastore host</description>
    </property>
  <property>
       <name>hive.server2.thrift.port</name>
            <value>10000</value>
  </property>
  <property>
   <name>hive.server2.enable.doAs</name>
    <value>true</value>
    </property>


hive-log4j.properties ( hive-log4j2.properties.template 로 만들것 )

log4j.appender.EventCounter=org.apache.hadoop.log.metrics.EventCounter


 . 이제 연결하려고 하면 mysql 의 유저 권한이 없다고 나온다.

mysql> grant all privileges on *.* to 사용자명@호스트
     -> identified by '비밀번호' with grant option;

 권한주고 hive DB에 스키마를 생성하자.

/home/hadoop/hadoop/hive/scripts/metastore/upgrade/mysql 폴더로 이동

mysql -u hive -p hive < ./hive-schema-2.0.0.mysql.sql

이제 메타스토어를 백엔드에서 실행하자.

hive --service metastore &

이제 reboot 해서 Hadoop 부터 실행해보자.

 start-all.sh

 정상적으로 실행되었다.

 이제 HIVE 의 ODBC 연결을 위한 hiveserver2 를 백그라운드에서 실행하자.

 hive --service hiveserver2 &

 정상 적으로 실행됬다.

 HIVE의 METASTORE 를 실행하자.

  hive --service metastore &

 좋아 .. 순조롭다. 이제는 hive를 실행해보자.

  hive

 HIVE 가 정상 시작 되었다. 이제는 hive에서 테이블을 만들고 mysql에서 테이블을
 조회해보면 연동이 정상적으로 되었다는 것이 검증된다.

출처] Hive 설치 및 MySQL MetaStore 연동|작성자 깡통

하둡구성4.MySQL 설치

리눅스도 처음해본다. 하둡설치 2.7.3 하이브 2.1.0 Mysql 연동까지

갑자기 하둡을 하게 되었다. 그런데 하둡은 리눅스 설치해야 한다는 것!! 멘붕이다.
근 2주간 고생고생하면서 설치에 성공하게 되었고 다른 곳에서도 설치할 일이 있을 것 같아서
매뉴얼을 작성해본다.

아무것도 모르고 CentOS 6.6 > HADOOP 2.7.3 > HIVE 2.1.0 > MYSQL 연동까지 시작해보자.

4.  MySQL 설치

 아래 스크립트 실행

 설치되어있나 확인
  rpm -qa | grep ^mysql-server
 
 MYSQL 설치
  yum install mysql-server

정상적으로 설치되었다.

Mysql 서비스 시작

service mysqld start

서비스까지 시작 되었다.

Mysql 의 root 계정의 패스워드를 바꿔주자

/usr/bin/mysqladmin -u root password 'hadoop'

이제 로그인 해보자

mysql -uroot -p

패스워드입력

접속까지 완료되었다.

이제 부팅시 서비스가 자동으로 시작되게 설정해주자.

chkconfig mysqld on

확인

chkconfig --list mysqld

mysql 설치 완료

하둡구성3. HIVE 2.0.1 설치

리눅스도 처음해본다. 하둡설치 2.7.3 하이브 2.1.0 Mysql 연동까지

갑자기 하둡을 하게 되었다. 그런데 하둡은 리눅스 설치해야 한다는 것!! 멘붕이다.
근 2주간 고생고생하면서 설치에 성공하게 되었고 다른 곳에서도 설치할 일이 있을 것 같아서
매뉴얼을 작성해본다.

아무것도 모르고 CentOS 6.6 > HADOOP 2.7.3 > HIVE 2.1.0 > MYSQL 연동까지 시작해보자.

3.  HIVE 2.0.1 설치하기

다운로드 wget http://apache.tt.co.kr/hive/hive-2.0.1/apache-hive-2.0.1-bin.tar.gz
압축풀기 tar xvzf apache-hive-2.0.1-bin.tar.gz
폴더이동 mv ./apache-hive-2.0.1-bin ./hadoop ( Hadoop 의 home 폴더로 이동 )
링크설정 ln -s apache-hive-2.0.1-bin/ hive

위 내용 대로 하였으면 Hadoop 의 Home 폴더가 이렇게 구성되었을 것이다.

root 계정으로 변경하여 HIVE_HOME 를 등록해준다.

vim /etc/profile

export HIVE_HOME=/home/hadoop/hadoop/hive
export PATH=$PATH:$HIVE_HOME/bin

source /etc/profile

그리고 HIVE 를 실행하기 전에 Hadoop 서비스를 실행해두자.

start-all.sh

HIVE 더미 데이터베이스 생성

schematool -initSchema -dbType derby

여기까지 하고 hive 를 실행하면 오류가 날 것이다. 이제 MySQL 을 설치하고 연동하자.