Fourier.dev

python3로 Circular Queue 구현하기

goudacheese — Wed, 14 Sep 2022 22:14:29 +0900

python3로 Circular Queue 구현하기

init ()

먼저 데이터 구조의 초깃값을 정한다. Queue의 크기를 k로 두고, 값을 담을 수 있게 길이가 k인 리스트 queue_list 를 만든다.

Queue에는 두개의 포인터가 필요하다. 한개는 Front를 가리켜야 하고, 다른 하나는 Back을 가리켜야 한다.

def __init__(self, k: int):
    self.size = 0    # 처음 리스트의 길이
    self.max_size = k    # 리스트의 길이
    self.queue_list = [0] * k   # Queue를 담을 리스트
    self.front = self.rear = -1    # pointer

enQueue()

enQueue() 는 Circular Queue에 값을 삽입하는 함수이다.

enQueue() 는 boolean을 반환한다. 값을 삽입하는 것이 성공하면 True 를 반환하고, 실패하면 False 를 반환한다.

리스트의 초기 크기와 최대 크기가 같으면 값을 삽입할 수 없으므로 False를 반환한다.
리스트의 뒷 부분(back)이 초기에 설정해둔 -1이면 rear 와 front 에 0을 넣는다. 왜냐하면 두 포인터 모두 리스트의 0번째 인덱스를 가리키고 있기 때문이다.
rear 값이 -1이 아니라면, rear 에 1을 증가 시키 것을 max_size 로 나머지 연산한 값이 rear 가 된다.
그리고 queue_list 에서 rear 번째에 값이 들어간다.
새 값이 들어가면서 길이가 증가하였으므로 size 를 1만큼 증가시킨다. 그리고 True 를 반환한다.

def enQueue(self, value: int):
    if self.size == self.max_size:    # 1
        return False
    else:
        if self.rear == -1:    # 2
            self.rear = self.front = 0
        else:    # 3
            self.rear = (self.rear + 1) % self.max_size
        self.queue_list[self.rear] = value    # 4
        self.size += 1
        return True

deQueue()

deQueue() 는 Circular Queue에 값을 삭제하는 함수이다.

deQueue() 는 boolean을 반환한다. 값을 제거하는게 성공하면 True 를 반환하고, 실패하면 False 를 반환한다.

def deQueue(self):
        if self.size == 0: return False
        if self.front == self.rear:
            self.front = self.rear = -1
        else:
            self.front = (self.front + 1) % self.max_size
        self.size -= 1
        return True

Front()

Front() 는 현재 start pointer가 가리키고 있는 값을 반환한다.

def Front(self):
        return self.queue_list[self.front] if self.size != 0 else -1

Rear()

Rear() 는 현재 end pointer가 가리키고 있는 값을 반환한다.

def Rear(self) -> int:
        return self.queue_list[self.rear] if self.size != 0 else -1

isEmpty()

isEmpty() 는 현재 값이 비어 있는지 아닌지 확인한다.

def isEmpty(self) -> bool:
        return self.size == 0

isFull()

isFull() 은 리스트에 값이 가득 차 있는지 아닌지 확인한다.

def isFull(self):
        return self.size == self.max_size

전체 코드


class MyCircularQueue:
    def __init__(self, k: int):
        self.size = 0
        self.max_size = k
        self.queue_list = [0] * k
        self.front = self.rear = -1

    def enQueue(self, value: int) -> bool:
        if self.size == self.max_size:
            return False
        else:
            if self.rear == -1:
                self.rear = self.front = 0
            else:
                self.rear = (self.rear + 1) % self.max_size
            self.queue_list[self.rear] = value
            self.size += 1
            return True

    def deQueue(self) -> bool:
        if self.size == 0: return False
        if self.front == self.rear:
            self.front = self.rear = -1
        else:
            self.front = (self.front + 1) % self.max_size
        self.size -= 1
        return True

    def Front(self) -> int:
        return self.queue_list[self.front] if self.size != 0 else -1

    def Rear(self) -> int:
        return self.queue_list[self.rear] if self.size != 0 else -1

    def isEmpty(self) -> bool:
        return self.size == 0

    def isFull(self) -> bool:
        return self.size == self.max_size

블로그 다시 시작

goudacheese — Wed, 14 Sep 2022 21:58:02 +0900

Github, Medium, Notion 등에 가끔 블로그 글을 올리곤 했다. 글쓰는 방법이 편하지 않다보기 github blog나 medium(유입은 많은데 한국어 지원과 편집이 불편)은 손이 잘 가지 않았다. Notion은 점점 무거워지면서 개인 노트로만 활용하고 있다(뎁스가 깊어지면 사용하기 불편해지는 단점도...).

Tistory가 그래도 여러 조건에 가장 부합하다고 생각하여 Medium과 함께 관리하며 다시 운영해보려고 한다.

월 1회라도 꾸준히 쓰는 것이 목표!

[React] 새 페이지 렌더링 시 상단에서 시작하기

goudacheese — Sun, 30 Sep 2018 15:34:00 +0900

리액트는 새 페이지를 렌더링한 후 스크롤을 맨 위로 올려주지 않는다. 그래서 별도로 컴포넌트를 만들어서 설정해주어야 한다.

먼저 ScrollToTop.js 컴포넌트를 만든다.

import React, { Component } from 'react';
import { withRouter } from 'react-router';

class ScrollToTop extends Component {
  componentDidUpdate(prevProps) {
    if (this.props.location !== prevProps.location) {
      window.scrollTo(0, 0)
    }
  }

  render() {
    return this.props.children
  }
}

export default withRouter(ScrollToTop)

App.js 파일에 ScrollToTop 컴포넌트를 끼워 넣는다. 나의 경우는 아래와 같이 했다.

import React from 'react';
import { Switch, Route, Router } from 'react-router-dom';
import { Home, RefundPage, ChatbotPage, NotFoundPage } from '../pages';
import ScrollToTop from './ScrollToTop';
const App = () => {
    return (
        <div>
          <ScrollToTop>  // ScrollToTop으로 각 페이지를 감쌓다.
            <Switch>
                <Route exact path="/" component={Home}/>
                <Route path="/refund" component={RefundPage} />
                <Route path="/refund/:Chatbot?" component={ChatbotPage} />
                <Route component={NotFoundPage} />
            </Switch>
          </ScrollToTop>
        </div>
    );
};

export default App;

[R] 결측값 데이터 다루기

goudacheese — Wed, 25 Apr 2018 12:54:46 +0900

R_Missing_Values.md

1. 결측값 단순 삭제

na.omit()

결측값이 있는 행을 삭제하는 함수

example

> dat <- data.frame( a = c(1, 2, 3, 4),
+                    b = c(5, 6, 7, NA),
+                    c = c('a', 'b', 'c', NA),
+                    d = c('e', NA, 'f', 'g'))
> dat
  a  b    c    d
1 1  5    a    e
2 2  6    b <NA>
3 3  7    c    f
4 4 NA <NA>    g
> dat <- na.omit(dat)
> dat
  a b c d
1 1 5 a e
3 3 7 c f

2행, 4행이 삭제된 것을 확인할 수 있다.

2. Multiple Imputation 다중대체법

m번의 대치를 통해 m개의 가상 자료를 만들어서 대체하는 방법이다.

Multiple imputation is a statistical technique for analyzing incomplete data sets, that is, data sets for which some entries are missing. Application of the technique requires three steps: imputation, analysis and pooling. The figure illustrates these steps. [1]

다중 대체법은 결측값을 처리하는 방법 중 하나인데 대체, 분석, 풀링 3단계로 이루어져있다.

mice()

The mice package implements a method to deal with missing data. The package creates multiple imputations (replacement values) for multivariate missing data. The method is based on Fully Conditional Specification, where each incomplete variable is imputed by a separate model. The MICE algorithm can impute mixes of continuous, binary, unordered categorical and ordered categorical data. In addition, MICE can impute continuous two-level data, and maintain consistency between imputations by means of passive imputation. Many diagnostic plots are implemented to inspect the quality of the imputations.

통계기법을 이용한 예측방정식을 이용해서 결측값이 대체된다. 대체할 값이 수렴될 때까지 반복한다.

> library(mice)
> data(nhanes)
> str(nhanes)
## 'data.frame':    25 obs. of  4 variables:
##  $ age: num  1 2 1 3 1 3 1 1 2 2 ...
##  $ bmi: num  NA 22.7 NA NA 20.4 NA 22.5 30.1 22 NA ...
##  $ hyp: num  NA 1 1 NA 1 NA 1 1 1 NA ...
##  $ chl: num  NA 187 187 NA 113 184 118 187 238 NA ...

참고문헌

[1] http://www.stefvanbuuren.nl/mi/mi.html

[2] https://www.rdocumentation.org/packages/mice/versions/2.46.0/topics/mice

[3] https://www.ncbi.nlm.nih.gov/pmc/articles/PMC3074241/

[4] https://statkclee.github.io/data-science/ds-missing.html

[5] https://www.analyticsvidhya.com/blog/2016/03/tutorial-powerful-packages-imputing-missing-values/

[6] http://web.maths.unsw.edu.au/~dwarton/missingDataLab.html

[python] 리스트 변수를 반복문 돌리기 예시

goudacheese — Wed, 25 Apr 2018 12:51:35 +0900

python_for_loop.md

students = []
student1_info = {
    "first_name": "Martin",
    "las_name" : "Lawrence",
    "student_no": 9854

}

student2_info = {
    "first_name": "Robert",
    "las_name" : "Gant",
    "student_no": 6790

}

student3_info = {
    "first_name": "George",
    "las_name" : "Murphy",
    "student_no": 4728

}

for i in range(1, 4):
    students.append(eval('student%d_info'% (i)))

print(students)

eval() : 실행 가능한 문자열을 입력 받아 실행한 결과값을 리턴하는 함수이다.
```
>>> eval('1+2')
3
>>> eval("'hi' + 'a'")
'hia'
>>> eval('divmod(4, 3)')
(1, 1)
```

append() : 객체를 맨 뒤에 추가해주는 함수이다.

>>> x = [1, 2, 3]
>>> x.append([4, 5, 6])
>>> print (x)
[1, 2, 3, [4, 5, 6]]

extend() : 여러개의 값을 확장시킬 수 있는 함수이다. 함수로 전달되는 인수에는 리스트만 올 수 있다.
```
>>> x = [1, 2, 3]
>>> x.extend([4, 5, 6])
>>> print (x)
[1, 2, 3, 4, 5, 6]
```

[Python] Python에서 CSV 파일을 읽어들이는 여러가지 방법

goudacheese — Wed, 25 Apr 2018 12:47:35 +0900

방법1. 기본 내장함수 사용

1. csv.reader

import csv
dat = open('file.csv')
reader = csv.reader(dat)
lines = list(reader)

2. 한 줄씩 읽어들여서 리스트로 만들기

import csv
dat1_list = []
dat2_list = []

with open('file.csv', 'r') as raw:
    reader = csv.reader(raw)
    for lines in reader:
        print(lines)
        dat1_list.append(lines)
        start = len(dat2_list)
        dat2_list[start:start] = lines

3. from_csv

dat.from_csv('file.csv',
          sep = ',',
          encoding = 'utf-8')
dat.head()

4. readlines()

open('file.csv').readlines()    # 파일을 한 줄씩 전체를 읽어들여서 리스트로 반환

방법2. Pandas 사용

import pandas as pd
dat = pd.read_csv('file.csv', 
                  thousands = ',',
                  index_col = 0,
                  names = ['col1', 'col2', 'col3'],
                  encoding = 'utf-8')

dat.head()

dat.columns    # 열 이름 출력
dat.rename(columns = {dat.columns[0] : '명칭'}, inplace = True )    # 열 이름 변경

Hadoop wordCount example

goudacheese — Wed, 25 Apr 2018 12:33:36 +0900

Hadoop_wordCount_example.md

Hadoop

Hadoop = HDFS + MapReduce

Mode 3가지

HDFS 설치방법

Stand alone : 분산저장 안함, 코딩은 가능
가상분산모드 : 프로세스 3개.
맵리듀스 : 맵 상속 받음, 리듀스 상속받음. 어떻게 데이터 처리하는지 익히기.

순서

VirtualBox 설치 // 여기까지만 Windows 환경에서 진행합니다.
Ubuntu 14.04.2 설치 // 이후에는 VirtualBox 내의 Ubuntu 에서 진행
JDK 설치
하둡 다운로드
하둡 Stand-alone 모드 구성
하둡 가상 분산 모드 구성
이클립스 다운로드, 설정
WordCount 예제 코딩
테스트

Ubuntu에 JDK 8 설치


$ sudo add-apt-repository ppa:webupd8team/java
$ sudo apt-get update
$ sudo apt-get install oracle-java8-installer

하둡 다운로드 후 압축 해제

URL : https://archive.apache.org/dist/hadoop/common/hadoop-1.2.1/hadoop-1.2.1.tar.gz 에서 다운로드

아래 명령어로 압축해제 및 설정.

참고 : 앞으로 나오는 /home/유저명/ 에서 "유저명" 부분은 "여러분 자신의 유저명"으로 수정하여 입력하면 된다.

vim 설정

$ vi .vimrc

# 아래 내용 입력 후 저장
filetype plugin on
syntax on

set number
set paste

set ruler
set laststatus=2

$ cat .vimrc     # 확인

$ cd Downloads
$ cp hadoop-1.2.1.tar.gz ~       # ~ : home folder
$ cd ~
$ tar zxvf hadoop-1.2.1.tar.gz
$ sudo apt-get install vim

$ vim .bashrc # 맨 끝에 아래 3줄 추가

export JAVA_HOME=/usr/lib/jvm/java-8-oracle
export HADOOP_INSTALL=/home/유저명/hadoop-1.2.1
export PATH=PATH:HADOOP_INSTALL/bin

$ source .bashrc # 변경 내용 적용
$ hadoop # 메시지가 정상 출력되면 OK

하둡 Stand-alone 모드 구성 및 예제 테스트

아래 명령어로 테스트.

폴더명 중복 안되게 해야 한다.

$ cd /home/유저명/hadoop-1.2.1
$ mkdir input
$ cp README.txt input
$ hadoop jar hadoop-examples-1.2.1.jar wordcount input output
# cat output/part-r-00000 # 결과 확인

jar : 파일을 실행하는 명령어
hadoop-examples-1.2.1.jar 파일이 하둡 예제파일

$ hadoop jar hadoop-examples-1.2.1.jar wordcount input output : hadoop / 파일실행 / 파일명 / 할일 /입력폴더 / 출력폴더

# 출력 결과

18/02/24 14:10:18 INFO util.NativeCodeLoader: Loaded the native-hadoop library
18/02/24 14:10:18 INFO input.FileInputFormat: Total input paths to process : 1
18/02/24 14:10:18 WARN snappy.LoadSnappy: Snappy native library not loaded
18/02/24 14:10:18 INFO mapred.JobClient: Running job: job_local1707454656_0001
18/02/24 14:10:19 INFO mapred.LocalJobRunner: Waiting for map tasks
18/02/24 14:10:19 INFO mapred.LocalJobRunner: Starting task: attempt_local1707454656_0001_m_000000_0
18/02/24 14:10:19 INFO util.ProcessTree: setsid exited with exit code 0
18/02/24 14:10:19 INFO mapred.Task:  Using ResourceCalculatorPlugin : org.apache.hadoop.util.LinuxResourceCalculatorPlugin@415eb82d
18/02/24 14:10:19 INFO mapred.MapTask: Processing split: file:/home/jane/hadoop-1.2.1/input:0+1366
18/02/24 14:10:19 INFO mapred.MapTask: io.sort.mb = 100
18/02/24 14:10:19 INFO mapred.MapTask: data buffer = 79691776/99614720
18/02/24 14:10:19 INFO mapred.MapTask: record buffer = 262144/327680
18/02/24 14:10:19 INFO mapred.MapTask: Starting flush of map output
18/02/24 14:10:19 INFO mapred.MapTask: Finished spill 0
18/02/24 14:10:19 INFO mapred.Task: Task:attempt_local1707454656_0001_m_000000_0 is done. And is in the process of commiting
18/02/24 14:10:19 INFO mapred.LocalJobRunner: 
18/02/24 14:10:19 INFO mapred.Task: Task 'attempt_local1707454656_0001_m_000000_0' done.
18/02/24 14:10:19 INFO mapred.LocalJobRunner: Finishing task: attempt_local1707454656_0001_m_000000_0
18/02/24 14:10:19 INFO mapred.LocalJobRunner: Map task executor complete.
18/02/24 14:10:19 INFO mapred.Task:  Using ResourceCalculatorPlugin : org.apache.hadoop.util.LinuxResourceCalculatorPlugin@2f017655
18/02/24 14:10:19 INFO mapred.LocalJobRunner: 
18/02/24 14:10:19 INFO mapred.Merger: Merging 1 sorted segments
18/02/24 14:10:19 INFO mapred.Merger: Down to the last merge-pass, with 1 segments left of total size: 1832 bytes
18/02/24 14:10:19 INFO mapred.LocalJobRunner: 
18/02/24 14:10:19 INFO mapred.Task: Task:attempt_local1707454656_0001_r_000000_0 is done. And is in the process of commiting
18/02/24 14:10:19 INFO mapred.LocalJobRunner: 
18/02/24 14:10:19 INFO mapred.Task: Task attempt_local1707454656_0001_r_000000_0 is allowed to commit now
18/02/24 14:10:19 INFO output.FileOutputCommitter: Saved output of task 'attempt_local1707454656_0001_r_000000_0' to output
18/02/24 14:10:19 INFO mapred.LocalJobRunner: reduce > reduce
18/02/24 14:10:19 INFO mapred.Task: Task 'attempt_local1707454656_0001_r_000000_0' done.
18/02/24 14:10:19 INFO mapred.JobClient:  map 100% reduce 100%
18/02/24 14:10:19 INFO mapred.JobClient: Job complete: job_local1707454656_0001
18/02/24 14:10:19 INFO mapred.JobClient: Counters: 20
18/02/24 14:10:19 INFO mapred.JobClient:   Map-Reduce Framework
18/02/24 14:10:19 INFO mapred.JobClient:     Spilled Records=262
18/02/24 14:10:19 INFO mapred.JobClient:     Map output materialized bytes=1836
18/02/24 14:10:19 INFO mapred.JobClient:     Reduce input records=131
18/02/24 14:10:19 INFO mapred.JobClient:     Virtual memory (bytes) snapshot=0
18/02/24 14:10:19 INFO mapred.JobClient:     Map input records=31
18/02/24 14:10:19 INFO mapred.JobClient:     SPLIT_RAW_BYTES=99
18/02/24 14:10:19 INFO mapred.JobClient:     Map output bytes=2055
18/02/24 14:10:19 INFO mapred.JobClient:     Reduce shuffle bytes=0
18/02/24 14:10:19 INFO mapred.JobClient:     Physical memory (bytes) snapshot=0
18/02/24 14:10:19 INFO mapred.JobClient:     Reduce input groups=131
18/02/24 14:10:19 INFO mapred.JobClient:     Combine output records=131
18/02/24 14:10:19 INFO mapred.JobClient:     Reduce output records=131
18/02/24 14:10:19 INFO mapred.JobClient:     Map output records=179
18/02/24 14:10:19 INFO mapred.JobClient:     Combine input records=179
18/02/24 14:10:19 INFO mapred.JobClient:     CPU time spent (ms)=0
18/02/24 14:10:19 INFO mapred.JobClient:     Total committed heap usage (bytes)=357564416
18/02/24 14:10:19 INFO mapred.JobClient:   File Input Format Counters 
18/02/24 14:10:19 INFO mapred.JobClient:     Bytes Read=1366
18/02/24 14:10:19 INFO mapred.JobClient:   FileSystemCounters
18/02/24 14:10:19 INFO mapred.JobClient:     FILE_BYTES_WRITTEN=395714
18/02/24 14:10:19 INFO mapred.JobClient:     FILE_BYTES_READ=290330
18/02/24 14:10:19 INFO mapred.JobClient:   File Output Format Counters 
18/02/24 14:10:19 INFO mapred.JobClient:     Bytes Written=1326

하둡 가상분산 모드 구성

5개의 프로세스 : Name node, Secondary Namenode, Data node, Job tracker, Tast tracker

hadoop-env.sh

core-site.xml

hdfs-site.xml

mapred-site.xml

위 순서로 네개 파일 수정해 준다.

hadoop-env.sh 수정

$ vim /home/유저명/hadoop-1.2.1/conf/hadoop-env.sh # 맨 끝에 3줄 추가

export JAVA_HOME=/usr/lib/jvm/java-8-oracle
export HADOOP_HOME=/home/유저명/hadoop-1.2.1
export HADOOP_HOME_WARN_SUPPRESS="TRUE"  # Warning: $HADOOP_HOME is deprecated.

보안 인증 관련 명령 실행

컴퓨터끼리 연결해서 접속할 수 있게 ssh 설정

$ sudo apt-get install openssh-server
$ sudo /etc/init.d/ssh restart # ssh 재실행
$ netstat -ntl # 0:::22 있으면 OK

접속할 때마다 비밀번호 묻지 않게 public key 공유(리눅스의 기능)

$ ssh-keygen -t rsa # 엔터 3번
$ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
$ ssh localhost # 처음 한번만 yes, 두번째 접속시 부터는 안 물어봄.
$ exit # exit 로 꼭 나와야 함

core-site.xml (하둡의 핵심 설정 파일) 편집

$ vim /home/유저명/hadoop-1.2.1/conf/core-site.xml

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!-- Put site-specific property overrides in this file. -->
<configuration>
    <property>
        <name>fs.default.name</name>
        <value>hdfs://localhost:9000</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/home/유저명/hadoop-1.2.1/hadoop-${user.name}</value>
    </property>
</configuration>

hdfs-site.xml (하둡 분산 파일 관련 설정) 편집

$ vim /home/유저명/hadoop-1.2.1/conf/hdfs-site.xml

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!-- Put site-specific property overrides in this file. -->
<configuration>
    <property>
        <name>dfs.name.dir</name>
        <value>/home/유저명/hadoop-1.2.1/dfs/name</value>
    </property>
    <property>
        <name>dfs.name.edits.dir</name>
        <value>${dfs.name.dir}</value>
    </property>
    <property>
        <name>dfs.data.dir</name>
        <value>/home/유저명/hadoop-1.2.1/dfs/data</value>
    </property>
</configuration>

mapred-site.xml (하둡 맵리듀스 관련 설정) 편집

$ vim /home/유저명/hadoop-1.2.1/conf/mapred-site.xml

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!-- Put site-specific property overrides in this file. -->
<configuration>
    <property>
        <name>mapred.job.tracker</name>
        <value>localhost:9001</value>
    </property>
    <property>
        <name>mapred.local.dir</name>
        <value>${hadoop.tmp.dir}/mapred/local</value>
    </property>
    <property>
        <name>mapred.system.dir</name>
        <value>${hadoop.tmp.dir}/mapred/system</value>
    </property>
</configuration>

namenode 포맷 ( namenode 는 처음에 꼭 한번 만 포맷해야 한다.)

$ hadoop namenode -format

하둡 시작 및 확인

$ cd /home/유저명/hadoop-1.2.1
$ bin/start-all.sh

하둡 프로세스 확인

$ jps 
# 5개의 프로세스 출력되면 OK : namenode, secondarynamenode, datanode, jobtracker, tasktracker

브라우저에서 접속해서 확인

URL : http://localhost:50070/dfshealth.jsp // HDFS 확인 URL : http://localhost:50030/jobtracker.jsp // MapReduce 확인

이클립스 다운로드, 설정

이클립스 다운로드

URL : http://www.eclipse.org/downloads/ 로 접속

Eclipse IDE for Java Developers 를 다운로드

압축해제

$ cd Downloads
$ tar zxvf eclipse-java-luna-SR2-linux-gtk-x86_64.tar.gz

이클립스를 사용하여 Maven 프로젝트 생성

Maven에 대한 이해

https://www.slideshare.net/sunnykwak90/ss-43767933

이클립스 실행

파일 (탐색기)를 이용해서 eclipse 폴더의 eclipse 파일을 더블 클릭해서 실행

Maven Project 생성

File -> New -> Project -> Maven -> Maven Project 선택

-> [Next] -> [Next] -> [Next] ->

Group Id : kr.co.mycompant.hd

Artifact Id : wcount

-> [Finish]

pom.xml 수정해서 하둡 jar 파일 설정

pom.xml 을 열어서 와 사이에 아래 내용을 입력

의미 : 하둡 1.2.1 관련된 jar 파일들을 자동으로 다운로드해서 환경 설정

<dependency>

  <groupId>org.apache.hadoop</groupId>

  <artifactId>hadoop-core</artifactId>

  <version>1.2.1</version>

</dependency>

WordCount 예제 코딩

WordCount 클래스 생성

sr/main/java 밑의 kr.co.mycompany.hd.wcount 에서

우클릭해서 -> New -> Class : WordCount -> [Finish]

아래 소스를 입력

package kr.co.mycompany.hd.wcount;
import java.io.IOException;
import java.util.StringTokenizer;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.input.TextInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
import org.apache.hadoop.mapreduce.lib.output.TextOutputFormat;

public class WordCount {
  public static class MyMapper
    extends Mapper<LongWritable, Text, Text, LongWritable> {
    private final static LongWritable one = new LongWritable(1);
    private Text word = new Text();
    @Override
    public void map(LongWritable key, Text value, Context context)
        throws IOException, InterruptedException {
      String line = value.toString();
      StringTokenizer tokenizer =
        new StringTokenizer(line, "\t\r\n\f|,.()<> ");
      while(tokenizer.hasMoreTokens()) {
        word.set(tokenizer.nextToken().toLowerCase());
        context.write(word, one);
      }
    }// map
  }// MyMapper
  public static class MyReducer
    extends Reducer<Text, LongWritable, Text, LongWritable> {
    private LongWritable sumWritable = new LongWritable();
    @Override
    protected void reduce(Text key, Iterable<LongWritable> values,
        Context context)
        throws IOException, InterruptedException {
      long sum = 0;
      for(LongWritable val : values) {
        sum += val.get();
      }
      sumWritable.set(sum);
      context.write(key, sumWritable);
    }// reduce
  }// MyReducer
  public static void main(String[] args) throws Exception {
    Configuration conf = new Configuration();
    Job job = new Job(conf, "WordCount");

    job.setJarByClass(WordCount.class);
    job.setMapperClass(MyMapper.class);
    job.setReducerClass(MyReducer.class);

    job.setOutputKeyClass(Text.class);
    job.setOutputValueClass(LongWritable.class);

    job.setInputFormatClass(TextInputFormat.class);
    job.setOutputFormatClass(TextOutputFormat.class);

    FileInputFormat.addInputPath(job, new Path(args[0]));
    FileOutputFormat.setOutputPath(job, new Path(args[1]));

    job.waitForCompletion(true);
  }// main
}// end

코드 설명

package kr.co.mycompany.hd.wcount;

public class WordCount {
  public static class MyMapper
    extends Mapper<LongWritable, Text, Text, LongWritable> {
    // Mapper를 상속받음 <KEYIN, VALUEIN, KEYOUT, VALUEOUT>
    
    private final static LongWritable one = new LongWritable(1);
    // final로 정의(상수). 공유하기 위해 static. 1을 담음. 어떤 단어가 한 번 나올 때 1이 들어가는 용도
    
    private Text word = new Text();
    // 단어 담는 용도. 이 위치에서 생성하는 게 성능 향상에 도움이 됨. 
    // Map에 생성되면 갯수만큼 호출되므로 매번 객체생성. Map에서는 객체 생성 안함. Map 들어가기 전에 생성.
    
    @Override  
    public void map(LongWritable key, Text value, Context context)
    // Text value : 텍스트가 한 줄씩 들어옴
    // Context : 나와 하둡의 연결고리
    
        throws IOException, InterruptedException {
      String line = value.toString();
      // String으로 바꿔야 자바에서 자료 관리가 가능하므로 변경
      // toStirng : String으로 바꿔줌
      
      StringTokenizer tokenizer = new StringTokenizer(line, "\t\r\n\f|,.()<> ");
      // StringTokenizer<String, 구분자>, 구분자 맨 뒤에 공백 있음.
      // Dear Bear River
      
      while(tokenizer.hasMoreTokens()) {
        word.set(tokenizer.nextToken().toLowerCase());
        context.write(word, one);
      // hasMoreTokens() : 반복문 돌면서 'hello hadoop world'
      // -> 3개로 끊어짐. 'hello', 'hadoo', 'world'
          
      // word.set : 하나씩 담음
      // nextToken : 다음 토큰 가져옴
      // toLowerCase : 대소문자 구분 안하기 위해 모두 소문자로 변경
      
      // context.write(word, one) : 단어 기록. (ex) 'hello'가 1번 나왔다 : ('hello', 1)
          // 첫번째 루프 : Deer, 1 / 두번째 루프 : Bear, 1 / 세번째 루프 : River 1
      }
    }// map
  }// MyMapper
  
  
  // Reducer
  public static class MyReducer
    extends Reducer<Text, LongWritable, Text, LongWritable> {
    // Reducer <KEYIN, VALUEIN, KEYOUT, VALUEOUT>  
      
    private LongWritable sumWritable = new LongWritable();
    
    @Override
    protected void reduce(Text key, Iterable<LongWritable> values,
        Context context)
    // Iterable : 반복자
        
        throws IOException, InterruptedException {
      long sum = 0;
      for(LongWritable val : values) {
        sum += val.get();
      }
      // 반복문 돌면서 LongWritable로 하나씩 가져온다.
      // 배열로 두개가 들어온다고 생각(그림의 Shuffling 부분 참고). (ex) Bear[1, 1]
      
      sumWritable.set(sum);
      // 더해 줌
        
      context.write(key, sumWritable);       
    }// reduce
  }// MyReducer
    
 
  // Main method
  public static void main(String[] args) throws Exception {
    Configuration conf = new Configuration();
    // Configuration : 환경설정
   
    Job job = new Job(conf, "WordCount");
    // Job : MapReduce의 Job

    job.setJarByClass(WordCount.class);
    job.setMapperClass(MyMapper.class);
    job.setReducerClass(MyReducer.class);

    job.setOutputKeyClass(Text.class);
    job.setOutputValueClass(LongWritable.class);

    job.setInputFormatClass(TextInputFormat.class);
    job.setOutputFormatClass(TextOutputFormat.class);

    FileInputFormat.addInputPath(job, new Path(args[0]));  // 입력폴더
    FileOutputFormat.setOutputPath(job, new Path(args[1]));  // 출력폴더

    job.waitForCompletion(true);
  }
}// end

예제를 Maven Install 로 ~.jar 파일로 패키징한다.

프로젝트 우클릭 -> Run As -> 8 Maven install

target 폴더에 wcount-0.0.1-SNAPSHOT.jar 이 생성된다.

하둡 가상 분산 모드에서 생성된 jar 을 사용하여 WordCount 실행, 테스트

wcount-0.0.1-SNAPSHOT.jar 파일을 /home/유저명/hadoop-1.2.1 폴더에 복사한다.
hadoop fs 명령을 사용하여 테스트할 파일을 복사한다.

$ hadoop fs -put READEME.txt .

hadoop jar 명령을 사용하여 예제를 실행/테스트한다.

$ hadoop jar wcount-0.0.1-SNAPSHOT.jar kr.co.mycompany.hd.wcount.WordCount README.txt output1

결과가 output1 폴더에 part-r-00000 이라는 파일로 저장된다.

hadoop fs -cat 명령어를 통해서 학인 할 수 있다.

$ hadoop fs -cat output1/part-r-00000

wc : wordcount 명령어

단어수 31, 줄 179, 크기 1366

[참고문헌]

https://blog.naver.com/sungback/220381870733

https://www.slideshare.net/sunnykwak90/ss-43767933

http://naver.me/IDMfcGl3

https://hadoop.apache.org/docs/stable/hadoop-mapreduce-client/hadoop-mapreduce-client-core/MapReduceTutorial.html

HDFS의 기본 구조(HDFS Architecture)

goudacheese — Wed, 25 Apr 2018 12:27:30 +0900

HDFS Architecture

파일 저장, 읽기 : 어플리케이션에서 클라이언트로 파일 저장 또는 읽기 요청
Client : application 요청에 의해 client가 NameNode에 데이터 블록의 위치를 조회
NameNode에게 받은 Data block 위치를 통해 Client가 데이터를 직접 조회
Heart beat : DataNode가 상태를 주기적으로 보고(일종의 출석체크).

Secondary NameNode

NameNode가 망가지면 데이터가 어디에 저장되어 있는지 알 수 없기때문에 읽어들일 수 없으므로, NameNode를 백업해 두었다가 NameNode가 망가지면 다시 복구해 주는 역할

HDFS와 MapReduce는 둘다 Master/Slave 구조

HDFS
- Master : Name node(메타정보관리)
- Slave : Data node(실제 데이터)
MapReduce
- Master : JobTracker(TaskTracker의 상태 및 전체 작업의 진행 상황등을 지속적으로 감시하며 일 시적인 장애에 대해 자동 복구 기능 제공)
- Slave : TaskTracker
- Map Task
  
  레코드 단위로 처리해야 하는 작업을 담당
- Reduce Task
  
  관련된 데이터 끼리 묶어서 처리해야 하는 작업 담당
MapReduce만 코딩. 나머지는 자동.

Node : 컴퓨터 한 대라고 생각하면 됨.
Name Node, Data Node : HDFS 컨트롤
Job tracker, task tracker : MapReduce 컨트롤

R Data Structure 데이터 구조

goudacheese — Wed, 25 Apr 2018 12:25:10 +0900

R_DataStructure.md

R의 Data structure

데이터 구조 종류

Scalar : element가 1개인 vector이다.

# scalar 만들기
a <- 'a'
alphabet <- 'abcdefg'
num <- 1

Vector : 같은 종류의 element가 여러개 들어 있는 1차원 matrix이다.

# vector 만들기
table <- c('a', 'b')
table <- c(1, 2, 3, 5)
bool <- c(TRUE, FALSE)

Matrix : 2차원으로 된 배열. 일반적이 표 데이터를 생각하면 된다.

# matrix 만들기
# 2 by 3 행렬 생성
> mat <- matrix(c("a", "b", "c", "d", "e", "f"), nrow = 2, ncol = 3)
> mat
    [,1] [,2] [,3]
[1,] "a"  "c"  "e" 
[2,] "b"  "d"  "f"

Array : 차원이 matrix 보다 많다. Matrix는 2차원(행, 열)인데 비해 배열은 그 이상 차원이 형성될 수 있다.

# array 만들기
> animal <- c("dog", "cat", "rabbit")
> feed <- c("meat", "fish", "carrot")
> jump <- c("3", "2", "1")
> arr <- array(data = c(animal, feed, jump), dim = c(1,3,3), dimnames = list('value', c(1, 2, 3), c('animal','feed','jump')))

# array(c(vector1, vector2, vector3), dim = c(1,3,3), dimnames = list(row.names, column.names, matrix.names))

> arr
, , animal

      1     2     3       
value "dog" "cat" "rabbit"

, , feed

      1      2      3       
value "meat" "fish" "carrot"

, , jump

      1   2   3  
value "3" "2" "1"

Data Frame : matrix와 유사한데, 유형이 다른 데이터를 함께 넣을 수 있다.

> animal <- c("dog", "cat", "rabbit")
> feed <- c("meat", "fish", "carrot")
> jump <- c("3", "2", "1")
> dat <- data.frame(animal, feed, jump)
> dat
  animal   feed jump
1    dog   meat    3
2    cat   fish    2
3 rabbit carrot    1

List :서열화된 성분들의 집합체이다. 예시를 보는 게 빠르다.

> title <- "Phone Book"
> name <- c("Tom", "Jack", "Jean", "Mike")
> phone <- c("010-1234-1234", "010-2345-5678", "010-9876-5673")
> index <- c(1, 2, 3)
> etc <- matrix(1:10, nrow=2)

> mylist <-list(title = title, info = name, phone, index, etc)
> mylist
$title
[1] "Phone Book"

$info
[1] "Tom"  "Jack" "Jean" "Mike"

[[3]]
[1] "010-1234-1234" "010-2345-5678" "010-9876-5673"

[[4]]
[1] 1 2 3

[[5]]
     [,1] [,2] [,3] [,4] [,5]
[1,]    1    3    5    7    9
[2,]    2    4    6    8   10

> mylist$title
[1] "Phone Book"

> mylist[[3]]
[1] "010-1234-1234" "010-2345-5678" "010-9876-5673"

> mylist$info[1]
[1] "Tom"

PYTHON & DJANGO 온라인 강의 수업노트 DAY20

goudacheese — Wed, 25 Apr 2018 12:20:20 +0900

Python Django - Day20.md

Day 20. Django 프로젝트 파일 구조, MTV

Django 프로젝트 만들기

$ python3 -m venv django-venv
$ source django-venv/bin/activate
$ pip install django
$ django-admin startproject firstproject

아래 구조의 프로젝트가 생성된다.

Django 프로젝트 디렉토리 형태

manage.py

다양한 명령어를 수행시켜주는 매개체 역할을 한다.

init.py

파이썬 모듈로써 동작을 할 수 있다.

settings.py

여러 설정들을 기억해 두는 파일.

wigs.py

웹서버에 배포를 할때 설정파일들을 연결시켜주는 파이썬 파일.

Django 앱 추가해보기

source ../django-env/bin/activate    # 가상환경 실행
python3 manage.py startapp myapp     # myapp 자리에 앱 이름 넣으면 됨

Django MTV

Model

데이터 베이스 관리

Template

사용자가 보는 화면(HTML, CSS 등)

View

화면을 구성 통제. 데이터베이스와 템플릿을 연결

Fourier.dev

python3로 Circular Queue 구현하기

python3로 Circular Queue 구현하기

__ init __()

enQueue()

deQueue()

Front()

Rear()

isEmpty()

isFull()

전체 코드

블로그 다시 시작

[React] 새 페이지 렌더링 시 상단에서 시작하기

[R] 결측값 데이터 다루기

1. 결측값 단순 삭제

na.omit()

2. Multiple Imputation 다중대체법

mice()

참고문헌

[python] 리스트 변수를 반복문 돌리기 예시

[Python] Python에서 CSV 파일을 읽어들이는 여러가지 방법

방법1. 기본 내장함수 사용

1. csv.reader

2. 한 줄씩 읽어들여서 리스트로 만들기

3. from_csv

4. readlines()

방법2. Pandas 사용

Hadoop wordCount example

Hadoop

Mode 3가지

HDFS 설치방법

순서

Ubuntu에 JDK 8 설치

하둡 다운로드 후 압축 해제

vim 설정

하둡 Stand-alone 모드 구성 및 예제 테스트

하둡 가상분산 모드 구성

hadoop-env.sh 수정

보안 인증 관련 명령 실행

core-site.xml (하둡의 핵심 설정 파일) 편집

hdfs-site.xml (하둡 분산 파일 관련 설정) 편집

mapred-site.xml (하둡 맵리듀스 관련 설정) 편집

namenode 포맷 ( namenode 는 처음에 꼭 한번 만 포맷해야 한다.)

하둡 시작 및 확인

하둡 프로세스 확인

브라우저에서 접속해서 확인

이클립스 다운로드, 설정

이클립스 다운로드

압축해제

이클립스를 사용하여 Maven 프로젝트 생성

Maven에 대한 이해

이클립스 실행

Maven Project 생성

pom.xml 수정해서 하둡 jar 파일 설정

WordCount 예제 코딩

WordCount 클래스 생성

코드 설명

예제를 Maven Install 로 ~.jar 파일로 패키징한다.

하둡 가상 분산 모드에서 생성된 jar 을 사용하여 WordCount 실행, 테스트

hadoop jar 명령을 사용하여 예제를 실행/테스트한다.

결과가 output1 폴더에 part-r-00000 이라는 파일로 저장된다.

wc : wordcount 명령어

HDFS의 기본 구조(HDFS Architecture)

HDFS Architecture

Secondary NameNode

NameNode가 망가지면 데이터가 어디에 저장되어 있는지 알 수 없기때문에 읽어들일 수 없으므로, NameNode를 백업해 두었다가 NameNode가 망가지면 다시 복구해 주는 역할 ​

R Data Structure 데이터 구조

R의 Data structure

데이터 구조 종류

PYTHON & DJANGO 온라인 강의 수업노트 DAY20

Day 20. Django 프로젝트 파일 구조, MTV

Django 프로젝트 만들기

Django 프로젝트 디렉토리 형태

manage.py

__init__.py

settings.py

wigs.py

Django 앱 추가해보기

Django MTV

Model

init ()

NameNode가 망가지면 데이터가 어디에 저장되어 있는지 알 수 없기때문에 읽어들일 수 없으므로, NameNode를 백업해 두었다가 NameNode가 망가지면 다시 복구해 주는 역할

init.py