끄적끄적

책 - Learning Spark 3장

monkeydev — Mon, 13 Nov 2023 14:57:26 +0900

Ubuntu OS UI refresh(UI만 재시작)

monkeydev — Mon, 18 Apr 2022 20:34:30 +0900

본인은 ubuntu 18.04를 사용중인데, UI가 버그가 걸리는 현상이 잦다.

예를들면, ubuntu의 좌측패널로 존재하는 독이 숨기기 되었음에도, 아이콘이 튀어나와있거나 하는 경우가 잦다.

관련하여 구글링했더니 아래의 글을 찾았다.
https://www.fosslinux.com/3495/how-to-refresh-desktop-in-ubuntu-without-rebooting-pc.htm

How to refresh desktop in Ubuntu without rebooting PC

You don't need to reboot entire PC everytime if you experience sluggish performance or may be if the desktop got non-responsive. Refreshing desktop environment is sometimes equally as effective as reboot. It saves you bunch of time and you don't need to ki

www.fosslinux.com

ALT + F2누르고, 소문자 r을 입력하면 ui가 refresh된다.

ssl 인증서 생성 & nginx

monkeydev — Sun, 11 Jul 2021 21:16:01 +0900

Nginx를 통해 모든 웹서비스에 대해 https 접근을 할 수 있도록 ssl 인증서 생성이 필요하다.

Nginx 띄우는법 참고
https://hub.docker.com/_/nginx

인증서 생성은 아래의 URL을 참고하여 작업하면된다.
https://sh-safer.tistory.com/89

인증서 파일 포맷 종류
https://www.sslcert.co.kr/guides/kb/54

Nginx Https 리다이렉트 설정 방법
https://www.ucert.co.kr/wiki/w/Nginx_SSL_%EB%A6%AC%EB%8B%A4%EC%9D%B4%EB%A0%89%ED%8A%B8_%EC%84%A4%EC%A0%95

인증서 포함시켜서 Nginx 구동하는 커맨드

# Host머신의 /home/sungil/test/nginx/cert에 key, crt파일을 넣는다.
$ docker run --name nginx -v /home/sungil/test/nginx/default.conf:/etc/nginx/conf.d/default.conf:ro -v /home/sungil/test/nginx/cert:/cert:ro -p 8080:80 -d nginx

아래 문서에 따라 nginx.conf를 설정하면 된다.
https://help.sonatype.com/repomanager3/installation/run-behind-a-reverse-proxy

nginx 인증서가 무조건 https기반으로 동작하도록 설정한 nginx의 default.conf이다.

server {
    listen       80 ;
    server_name  sungil.ahnlab.com;
    rewrite ^(.*) https://sungil.ahnlab.com$1 permanent;
}

server {
    listen 443 ssl ;
    server_name  sungil.ahnlab.com;

    ssl          on;
    ssl_certificate      /cert/ssl_1.crt;
    ssl_certificate_key  /cert/ssl_1_nopass.key;

    ssl_session_cache    shared:SSL:1m;
    ssl_session_timeout  5m;
    ssl_ciphers    HIGH:!aNULL:!MD5;
    ssl_prefer_server_ciphers   on;

    location / {
        keepalive_timeout 3600;
        proxy_read_timeout 2400;
        proxy_connect_timeout 1800;
        proxy_pass_header   Server;
        proxy_cookie_path   ~*^/.* /;
        proxy_buffer_size 128k;
        proxy_buffers 40 128k;
        proxy_busy_buffers_size 128k;
        proxy_pass  http://110.9.97.178:8081/;
        proxy_set_header Host $host;
        proxy_set_header X-Real-IP $remote_addr;
        proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
        proxy_set_header X-Forwarded-Proto "https";
    }
}

nginx rewrite 룰 참고
https://www.nginx.com/blog/creating-nginx-rewrite-rules/

nginx로 nexus3에 대한 https 지원 시 443 이외의 다른 포트 이용

nginx로 nexus3에 대해 https 방식으로 접근하도록 리버스 프록시 기, 위처럼 443포트를 Listen하면 정상적으로 접근되는데. LISTEN 포트를 443이 아닌 다른 포트로 설정 시 UI가 온전히 표시되지 못한다.

NGINX를 Reverse proxy로 이용하여 https방식의 통신을 지원할 때, 위처럼 443포트를 Listen하면 정상적으로 https 지원이 가능하다.

그런데, Listen중인 포트를 443이 아닌 다른 포트를 이용하려하면, UI에 접근은 되는데 화면이 온전히 나타나지 않는다.

이 문제에 대해 아래 stackoverflow에서 방법을 올려줘서 적용했다.
https://stackoverflow.com/questions/44695535/nginx-ssl-termination-proxy-to-nexus-not-working-with-ports-different-than-443

필자의 경우, 아래의 답변대로 했더니, 정상적으로 접근이 되었다.

위 stackoverflow에서 필자에게 제대로 동작한 답변은 아래와 같다.

I met the same problem. Change proxy_set_header Host $host; to
proxy_set_header Host $host:$server_port; solve it

즉, proxy_set_header Host $host; 를 proxy_set_header Host $host:$server_port; 로 바꿔줬더니 동작한다.

시간있을 때, 왜 위와같이 수정해줬을 때 제대로 동작하는건지 디버깅해보는 시간을 갖도록한다...

Synology 관련 지식들 정리

monkeydev — Sun, 11 Jul 2021 16:43:35 +0900

1. Synology 메모리 추가 장착

Synology 정품에서 제공하는 메모리 종류와 클록수를 확인한다.

현재 본인이 사용중인 DS220+의 경우 DDR4 2666MHz의 클록수를 갖는 노트북용 램을 인식하는 것으로 보인다.

현재 추가장착한 제품은 아래와 같다.
- https://www.11st.co.kr/products/3623415156?&xfrom=&xzone=

위의 제품은 8GB인데, 추후 메모리에 압박이 심하다면 16GB 추가 장착을 해보려한다.

유용한 명령어 정리

monkeydev — Thu, 10 Jun 2021 00:54:38 +0900

1. 특정 경로의 파일들에서 특정 키워드가 들어가는 파일 찾기

# 현재 디렉토리의 모든 파일들에 대해, "hello world" 라는 키워드를 찾는다.
# -d "recurse"은 grep에서 제공하는 옵션으로 디렉토리에 대해 recursive하게 찾으라는 뜻이다.
# default 옵션은 -d "read"이기 때문에 -d 옵션을 주지 않으면 지저분하게 아래와 같은 출력이 생긴다.
# folder1 Is a directory
# folder2 Is a directory
$ find . -name "*" | xargs grep -d "recurse" "hello world"

2. 복잡한 문자열에서 ip만 추출하여 print 찍어주는 파이썬 스크립트

import re
from functools import cmp_to_key
text = '<table class="fixed-table wrapped confluenceTable"><colgroup><col style="width: 140.0px;" /><col style="width: 212.0px;" /><col style="width: 91.0px;" /><col style="width: 129.0px;" /><col style="width: 357.0px;" /></colgroup><tbody><tr><td class="confluenceTd"><p class="p1">172.20.15.12</p></td></tr><tr><td class="confluenceTd">172.20.15.26</td></tr><tr><td class="confluenceTd"><span>172.20.15.27</span></td></tr><tr><td class="confluenceTd">172.20.15.21</td></tr><tr><td class="confluenceTd"><span>172.20.15.22</span></td></tr><tr><td class="confluenceTd">172.20.15.25</td></tr><tr><td class="confluenceTd">172.20.15.24</td></tr><tr><td class="confluenceTd"><p class="p1">172.20.15.28</p></td></tr><tr><td class="confluenceTd">172.20.15.31</td></tr><tr><td class="confluenceTd"><span>172.20.15.33</span></td></tr><tr><td class="confluenceTd"><span style="color: #000000;">172.20.15.18</span></td></tr><tr><td class="confluenceTd">172.20.15.32</td></tr><tr><td class="confluenceTd">172.20.15.39</td></tr><tr><td class="confluenceTd"><span style="color: #172b4d;">172.20.15.36</span></td></tr><tr><td class="confluenceTd"><span style="color: #172b4d;">172.20.15.37</span></td></tr><tr><td class="confluenceTd"><span style="color: #172b4d;">172.20.15.29<br /></span></td></tr><tr><td class="confluenceTd"><span style="color: #172b4d;">172.20.15.40<br /></span></td></tr><tr><td class="confluenceTd">172.20.15.51</td></tr><tr><td class="confluenceTd">172.20.15.52</td></tr><tr><td class="confluenceTd">172.20.15.54</td></tr><tr><td class="confluenceTd">172.20.15.55</td></tr><tr><td class="confluenceTd"><p><span>172.20.15.48</span></p></td></tr><tr><td class="confluenceTd"><p><span>172.20.15.49</span></p></td></tr><tr><td class="confluenceTd">172.20.15.62</td></tr><tr><td class="confluenceTd">172.20.15.64</td></tr><tr><td class="confluenceTd">172.20.15.44</td></tr><tr><td class="confluenceTd">172.20.15.45</td></tr><tr><td class="confluenceTd">172.20.15.46</td></tr><tr><td class="confluenceTd"><span style="color: #172b4d; text-decoration: none;">172.20.15.61</span></td></tr><tr><td class="confluenceTd"><span style="color: #393939;">172.20.15.53</span></td></tr><tr><td class="confluenceTd">172.20.15.60</td></tr><tr><td class="confluenceTd">172.20.15.58</td></tr><tr><td class="confluenceTd">172.20.15.66</td></tr><tr><td class="confluenceTd">172.20.15.67</td></tr></tbody></table>'
pattern = r"((([01]?[0-9]?[0-9]|2[0-4][0-9]|25[0-5])[ (\[]?(\.|dot)[ )\]]?){3}([01]?[0-9]?[0-9]|2[0-4][0-9]|25[0-5]))"
ips = [match[0] for match in re.findall(pattern, text)]
#ips.sort(key=lambda x: (x[0].split(".")[-1], x[1].split(".")[-1]))
def compare(item1, item2):
    if item1.split(".")[-1] > item2.split(".")[-1]:
        return 1
    elif item1.split(".")[-1] < item2.split(".")[-1]:
        return -1
    else:
        return 0
result = sorted(ips, key=cmp_to_key(compare))
for ip in result:
    print(ip)

3. ssh를 이용한 포트 터널링 방법

# local의 10002 포트를 aiv01.aml.ahnlab.co.kr 서버로의 10001 포트로 tunneling 한다.
$> ssh -v -L 10002:aiv01.aml.ahnlab.co.kr:10001 user@aiv01.aml.ahnlab.co.kr

4. vim으로 문자열 모두 replace

# 1 ~ 전체라인($)에 대해 http://172.18.200.70:8999 문자열을 모두 https://livy.blabla.com으로 수정한다.
:1,$s/http:\/\/172.18.200.70:8999/https:\/\/livy.blabla.com/g

5. 정상적으로 요청하고 있는지 tcpdump로 확인

프록시등의 이유로 정상적으로 서비스 접근이 안되고 있는 상황인지 인지할 때 유용하다.

분명히 요청을 보냈는데, 그 호스트에 대해 connection timeout등이 발생하는 상황을 캐치한다.

# tcpdump -i [네트워크 인터페이스명] host [도메인네임]

# 입력 예시
$ tcpdump -i ens33 host abis.ahnlab.com

React 스터디 1장: 리액트 이해

monkeydev — Thu, 3 Jun 2021 10:59:12 +0900

1. 리액트 탄생 배경

JSON 객체 값을 반영하는 뷰가 있다고 가정하자.

{
  "title": "0603 diary",
  "contents": "today will be happy",
  "author": "sungil",
  "likes": 1
}

<div id="post-1">
  <div class="title">0603 diary</div>
  <div class="contents">today will be happy</div>
  <div class="author">sungil</div>
  <div class="likes">1</div>
</div>

likes값이 2로 변한다면 애플리케이션에서 post-1의 likes 요소를 찾아 값을 변경해서 보여주면된다.

위의 간단한 상황에 대해서는 단순한 규칙으로 likes에 들어가는 값을 바꿔줄 수 있다.

그러나, 이러한 작업이 애플리케이션 규모가 복잡해지면, 제대로 관리되지 못할시 성능이 떨어진다.

페이스북개발팀에서는 이러한 변화가 생길 때, 어떤 변화를 줄지 고민하는것이 아닌 기존 뷰를 날려버리고 처음부터 새로 렌더링하는 방식의 동작시키려는 아이디어가 등장했다.

위처럼 정말 모든 뷰를 날려버리고 새로 렌더링하면 CPU가 일을 너무 많이해야한다.
Virtual Dom이라는 개념을 이용하여 최소한의 렌더링으로 화면을 다시 보여줄 수 있도록 만들어진것이 React이다.

Virtual Dom에 대해서는 이어지는 챕터에서 소개한다.

2. 리액트 이해

구조가 MVC인 여러 프레임워크와 달리, 리액트는 오직 V(View)만 신경쓰는 라이브러리이다.

리액트는 프로젝트에서 특정 부분이 어떻게 생길지 정하는 선언체가 있는데, 이를 컴포넌트라고 한다.

컴포넌트 하나는 아래의 기능을 정의한다.

UI 생김새
작동 방식

리액트에서는 위 컴포넌트를 이용하여 렌더링, 리렌더링이라는 개념을 이용하여 화면을 만든다.

2.1 초기 렌더링

어떤 UI 관련 프레임워크, 라이브러리를 사용하든지 간에 맨 처음 어떻게 보일지를 정하는 초기렌더링이 필요하다.

리액트에서는 이를 다루는 render 함수가 있다.

render() { ... }

이 함수는 html 형식의 문자열을 반환하지 않고, 뷰가 어떻게 생겼고 어떻게 작동하는지에 대한 정보를 지닌 객체를 반환한다.

컴포넌트 내부에는 또 다른 컴포넌트들이 들어갈 수 있고, render함수가 실행되면서 내부의 컴포넌트들도 재귀적으로 렌더링된다.

최상위 컴포넌트의 렌더링 작어이 완료되면, HTML 마크업이 만들어지고 사용자가 지정한 DOM 요소 안에 주입한다.

(렌더링 -> HTML 마크업 -> DOM)

2.2 리렌더링

데이터 업데이트시마다 전체 UI를 실제로 다시 렌더링하게된다면 부하가 크기 때문에 아래와 이 과정에 Virtual DOM이 이용된다.

Virtual DOM은 실제 DOM을 조작하는 대신, 이를 추상화한 자바스크립트 객체를 구성하여 달라진 지점을 찾아내서 DOM에 적용할 수 있도록 해준다.

HTML의 DOM 트리

위는 실제 HTML의 DOM 트리 구조를 그림으로 설명한것이다.

React에서는 Virtual Dom의 비교과정을 이용하여, 실제 DOM에서 리렌더링되어야할 부분만 DOM에 적용한다.

리렌더링되는 절차는 아래와 같다.

데이터를 업데이트하면 전체 UI를 Virtual DOM에 리렌더링한다.
이전 Virtual DOM에 있던 내용과 현재 내용을 비교한다.
바뀐 부분만 실제 DOM에 적용한다.

또한 리렌더링 과정도 동일한 render 함수내에서 수행된다.

React 스터디 2장: JSX

monkeydev — Tue, 1 Jun 2021 00:06:42 +0900

리액트에서 사용되는 JSX가 무엇인지 공부하고, 기본 문법을 정리한다.

1) JSX란?

자바스크립트 확장 문법으로, 브라우저에서 실행되기 전에 코드가 번들링되는 과정에서 바벨을 사용하여 일반 자바스크립트 형태의 코드로 변환됩니다.

/* JSX 코드 예시 */
function App() {
  return {
    <div>
      Hello <b>react</b>
    </div>
  };
}

/*변환된 일반 Javascript 코드*/
function App() {
  return React.createElement("div", null, "Hello ", React.createElement("b", null, "react"));
}

바벨은 자바스크립트 문법은아니고, 위처럼 코드변환 역할을 수행한다.

JSX코드를 이용한 쪽이 코드작성이 쉽고, 가독성도 좋아보인다.

2) JSX 문법

2-1) 감싸인 요소

컴포넌트에 여러 요소가 있다면 반드시 부모 요소 하나로 감싸야한다.
즉, 아래와 같은 코드는 동작하지 않는다.

import React from 'react';

function App() {
  return (
    <h1>리액트 안녕!</h1>
    <h2>리잘 동작하니</h2>
  );
}

export default App;

아래와 같은 에러 내용이 발생한다.

./src/App.js
SyntaxError: /home/sungil/WebstormProjects/hello-react/src/App.js: Adjacent JSX elements must be wrapped in an enclosing tag. Did you want a JSX fragment <>...</>? (6:4)

  4 |   return (
  5 |     <h1>리액트 안녕!</h1>
> 6 |     <h2>리잘 동작하니</h2>
    |     ^
  7 |   );
  8 | }
  9 |

해당 코드가 정상동작하도록 하기 위해서는 요소 여러개를 아래와 같이 하나로 감싸야한다.

<div> 혹은 <Fragment>등을 이용하여 아래와 같이 감싸주면 된다.

Fragment는 리액트 v16 이상부터 도입된 기능

/* <div> 이용 예시*/

import React from 'react';

function App() {
  return (
    <div>
      <h1>리액트 안녕!</h1>
      <h2>리잘 동작하니</h2>
    </div>
  );
}

export default App;



/* <Fragment> 이용 예시*/

import React, { Fragment } from 'react';

function App() {
  return (
    <Fragment>
      <h1>리액트 안녕!</h1>
      <h2>리잘 동작하니</h2>
    </Fragment>
  );
}

export default App;

리액트에서는 Virtual DOM에서 컴포넌트 변화를 감지해낼 때 효율적으로 비교할 수 있도록하기 위해 아래의 제약사항을 걸고있다.

컴포넌트 내부는 하나의 DOM 트리 구조로 이루어져야 한다.

각 컴포넌트를 <div>같은 태그로 묶어서 return시켜야만 위 제약사항을 지킬 수 있는것으로 보인다.

2-2) 자바스크립트 표현

JSX내 안에서 아래와같이 자바스크립트 표현식을 사용할 수 있다.

function App() {
  const name = '리액트'
  return (
    <div>
      <h1>{name} 안녕!</h1>
      <h2>{name} 동작하니</h2>
    </div>
  );
}

위와 관련하여, 자바스크립트의 변수 종류로는 아래 3가지가 있다.

const
let
var(ES6이전)

const는 상수이고, let과 var은 값이 변할수 있다.

단, let은 scope가 블록이고, var은 scope가 함수 단위이다.

function myFunction() {
  var a = "hello";
  if(true) {
    var a = "bye";
    console.log(a); // bye
  }
  console.log(a); // bye
}

즉, var을 사용한 경우, scope가 함수 단위이기 때문에, if문 안에서 새롭게 선언한 var a가 if문 밖에서까지 유효하다.

ES6부터는 const, let만 사용하기 때문에, 블록단위로만 생각하면 될 것 같다.

2-3) 조건부 연산자

JSX 내부의 자바스크립트 표현식에서 if문을 사용할 수는 없다.
JSX 밖에서 if문을 사용하여 사전에 값을 설정하거나, { } 안에 조건부 연산자를 이용해야한다.

import React from 'react';

function App() {
  const name = '리액트'
  return (
    <div>
        {name === '리액트' ? (<h1>리액트입니다.</h1>) : (<h2>리액트가 아닙니다.</h2>)}
    </div>
  );
}

export default App;

2-4) AND 연산자(&&)를 사용한 조건부 렌더링

AND 연산자를 이용하여, 특정 값이 일치하지않는경우, 어떠한것도 렌더링하지 않는 코드 예시이다.

import React from 'react';

function App() {
  const name = '리액트'
  return (
      <div>{name === '뤼액트' && <h1>리액트입니다.</h1>}</div>
  );
}

export default App;

리액트에서 false를 랜더링할 때는 아무것도 렌더링하지 않는다.

2-5) undefined 렌더링하지 않기

리액트 컴포넌트에서는 함수에서 undefined만 반환하여 랜더링하는 상황을 만들면 안된다.

undefined가 반환되지 않도록 아래처럼 OR(||)영산자를 이용하여 처리할 수 있다.

import React from 'react';

function App() {
  const name = undefined;
  return (
      name || '값이 undefined입니다.'
  );
}

export default App;

2-6) 인라인 스타일링

리액트에서 DOM 요소에 스타일을 적용할 때는 문자열 형태가 아닌 객체 형태로 넣어주어야한다.

따라서 스타일이름중 background-color처럼 '-'가 포함되는 경우 camelCase로 작성해야한다.

function App() {
  const name = "리액트";
  const style = {
    backgroundColor: 'black',
    color: 'aqua',
    fontSize: '48px',
    fontWeight: 'bold',
    padding: 16
  };
  return (
      <div style={style}>name</div>
  );
}

2-7) CSS 적용

일반 HTML에서 CSS를 div에 적용할때 아래와 같은 방법으로 적용한다.

JSX에서는 class가 아닌 className으로 설정해주어야한다.

// App.css
.style1 {
  background: aqua;
  color: black;
  font-size: 48px;
  font-weight: bold;
  padding: 16px;
}

.style2 {
  background: aqua;
  color: red;
  font-size: 48px;
  font-weight: bold;
  padding: 16px;
}

// App.js

import React from 'react';
import './App.css';

function App() {
  return (
      <div>
        <p className="style1">This is style1</p>
        <p className="style2">This is style2</p>
      </div>
  );
}

export default App;

SVN 유저의 github 사용기

monkeydev — Thu, 12 Sep 2019 14:52:45 +0900

회사에서 처음 배운게 SVN인데, github도 사용법을 익혀놓을 필요성이 있어서 공부한 기록을 해당 페이지에 남겨놓으려 한다.
깃허브의 기본 개념은 다른사람이 정리해놓은 아래의 url을 통해서 공부해보려 한다.

일단 Git은 SVN과 다르게 저장소가 두개이다.(SVN과는 다르게 github의 경우는 분산 저장 시스템이라고 하는데, 해당 글에서는 이런 부분까지 다루지는 않는다.)

SVN에서의 commit이라는 용어는 (Local PC -> 원격 저장소)로의 저장을 의미했다.

그러나, Git에서의 commit은 내 로컬 저장소로의 commit을 의미한다.
즉, 다른사람은 볼 수 없고, 내가 가진 PC 고유의 영역에 작업내용을 저장하는 기능이 Git의 push 이다.

내 로컬 영역에 있는 데이터를 master라고 하고, 원격지에 있는 데이터의 기본 이름은 origin 이다.

더 진행하기전에 아래의 문서 두개를 정독 하고 오자.
- https://cupjoo.tistory.com/6 (Git의 개념과 Git Flow에 대해 다룬다.)
- https://trustyoo86.github.io/git/2017/11/28/git-remote-branch-create.html (Git의 develop Branch 생성 방법)
- https://medium.com/@han7096/git-work-flow%EC%99%80-branch-merge-%EC%A0%95%EB%A6%AC%ED%95%98%EA%B8%B0-fb05d98428b2 (Git의 develop Branch 실 사용 예)

필자는 SVN의 trunk와 branches를 관리하듯, Git Flow의 Master Branch와 Develop Branch만을 사용해서 개발하고자 한다.
(Git Flow전체의 그림은 아래의 그림과 같이 표현되어 있는데, 개인개발을 할 때에 위를 전부 지킬 필요는 없어보여서이다...)

Git Flow - feature - develop - release - hotfix - master 5단계로 나누어 코드를 관리

필자는 위의 3가지 url 중에 마지막 url을 참고하여 origin/master branch(원격에 있는 master branch)로부터 develop branch를 생성하는 이해했다.

위의 url에서는 다음과 같은 명령어를 이용하여 branch를 생성한다.
- $>git checkout -b <생성하고자 하는 branch 이름>"

어디로부터 branch를 생성하는지 어떻게 시스템이 아는거지? 라는 의문이 들어서 git checkout 창에 대한 terminal help 창을 찾아보니아래와 같은 결과를 찾을 수 있었다.

$> git checkout --help
       git checkout <branch>
           To prepare for working on <branch>, switch to it by updating the
           index and the files in the working tree, and by pointing HEAD at
           the branch. Local modifications to the files in the working tree
           are kept, so that they can be committed to the <branch>.

           If <branch> is not found but there does exist a tracking branch in
           exactly one remote (call it <remote>) with a matching name, treat
           as equivalent to

               $ git checkout -b <branch> --track <remote>/<branch>

위는 git checkout에 대한 terminal help 창인데, 확인해 보면 "git checkout <사용자가 생성하고자 하는 branch명>" 명령만으로 branch를 생성할 수 있는 것을 확인했다.

결론은 시스템의 원격지에 master branch가 하나 뿐이라면, 알아서 다음과 같은 형태로 바꾸는 듯 하다.
- git checkout -b <branch> --track <remote>/<branch>

즉 사실 다음의 명령어를 입력하는게 훨씬 직관적이고 좋을 것 같다.
$> git checkout -b mydevbranch --track origin/master

그리고 만약, remote에 이미 있는 branch를 이쪽으로 복사하고자 한다면 다음과 같이 checkout받을 수 있다.


$> git checkout -b feature/ai --track remotes/origin/feature/ai
# 참고로 branch 이름의 경우, remote에 있는것과 이름이 다르다면, git push 명령어로 작업이 안된다.
# 예를들어 만약 remote에 있는 ai라는 이름의 feature branch를 다음과 같이 brnach를 생성했다고 하자.

$> git checkout -b ai --track remotes/origin/feature/ai

# 이렇게 돼면 local에서 ai branch에 작업 후 commit한 다음 해당 commit을 push하려고 하려고 
# 다음과 같은 명령어를 입력하면 아래와 같은 오류가 발생한다.

(HEAD가 ai branch에 있다고 가정) $> git push
[대략적인 오류내용: local에 있는 branch와 remote의 branch의 이름이 맞지 않다.
push 하고자 한다면, 다음과 같이 해라.
$> git push origin HEAD:feature/ai]

# 즉 위는 현재의 HEAD를 feature/ai라는 이름으로 강제로 치환해서 push하는 것이다.

# 위와 같은 기교를 부리기 싫으면 애초에 branch type(feature, develop 등등...)이름을 잘 주어서
# branch를 생성하도록 한다.

remote에 어떤 branch들이 생성돼있는지 확인하기 위해서는 다음의 명령어를 이용할 수 있다.

$> git branch -a
# 위의 출력결과로 remote와 local에 있는 모든 branch 목록을 보여준다.
# remote에 있는 master는 remotes/origin/master로 표기해주는 등, local과 구분되도록 보여준다.

위의 checkout 명령은 사실 바라보는 branch를 바꾸는 명령이다. 그런데 여기서는 -b 옵션을 이용하여서 없으면 branch를 생성해서 그 branch를 보도록 하고 있는 것이다.

현재 사용하고 있는 branch가 어떤것인지 알고 싶으면 "$> git branch"를 입력하면 된다.

어쨌든 위의 입력 "$> git checkout -b mydevbranch --track origin/master" 결과로 mydevbranch라는 branch가 생성되면서, 해당 branch에서 작업하는 것이 된다.

이제 여기서 생성한 mydevbranch에 대해 작업 하고 commit하고, 또 그 내용을 push하면 해당작업은 master branch가 아닌 생성된 mydevbranch에 반영되게 된다.

참고로, mydevbranch를 push하려면 다음과 같이 하면 된다.

$> git push origin mydevbranch

그리고 mydevbranch의 작업 내용을 origin/master에 반영하고 싶다면, 다음과 같이 작업하면 된다.

# master branch로 제어를 변경한다.
$> git checkout master

# master에서 mydevminio와의 머지명령을 내린다.
$> git merge mydevbranch

merge가 되고 나면 이제 branch를 제거해주어야 하는데, 로컬에 남아있는 branch와 remote repo의 branch를 모두 지워줘야 한다.

아래와 같은 명령어로 제거하면 된다.

# 로컬에 있는 branch가 제거된다.
git branch -d mydevbranch

# 원격지에 있는 branch를 제거한다.
git push origin --delete mydevbranch

마지막으로 꽤 많이 쓰이는 프로젝트 클론해오기.
$> git clone git@github.com:brachio/minio-with-mc.git

위의 git@github.com:brachio/minio-with-mc.git는 github 주소로부터 얻을 수 있다.

ubuntu에서 git 사용을 위한 UI 툴
아래의 명령어를 이용하여 RabbitVCS Git을 이용하길 바란다.
여러 툴이 있겠지만, 이 툴이 제법 편하다.
CLI와 ui를 하이브리드로 같이 쓰면 상당히 편하다.
CLI에서 답이 안나올 땐 ui를 이용하고, ui를 쓰면 답이 안나올 땐 CLI를 이용하자.

sudo add-apt-repository ppa:rabbitvcs/ppa
sudo apt-get update
sudo apt-get install rabbitvcs-nautilus

git에서 실수를 저질렀을 때 되돌리는 방법
아래에 만화그림으로 재밌게 설명을 해놓은 것이 있다.
reset과 revert에 대해 재밌게 그려봤으니, git을 이용해서 실수를 복구해야 하는 상황이 있다면 이걸 보고 잘 해결해보자.

git에서 파일을 실수로 지웠을 때 복구하는 방법

참고로 "$> git checkout" 명령어만 쳐봐도 사라진 파일이 나온다.

git의 revert과 reset을 기막히게 그림으로 설명해준 만화가 있다.
http://www.devpools.kr/2017/01/31/%EA%B0%9C%EB%B0%9C%EB%B0%94%EB%B3%B4%EB%93%A4-1%ED%99%94-git-back-to-the-future/

추가정보

SVN을 사용할 때, 다른 사람의 변경사항이 있을 수 있기 때문에, svn update를 받아서, 최신 변경사항을 받은 이후에 커밋하도록 권장한다.

이처럼 github를 사용할 때도, commit하기 전에 git pull 명령어를 통해서 remote로부터 local의 갱신상태를 최신화하는게 좋다.

그리고 git status를 입력하면 modify된 파일, 추가된 파일, 지워진 파일 등의 정보를 얻을 수 있다.

git tag 조회 추가 삭제 방법

http://minsone.github.io/git/git-addtion-and-modified-delete-tag

XFS: 5 possible memory allocation deadlock in kmem_zone_alloc (mode: 0x8250) : 이슈

monkeydev — Tue, 10 Sep 2019 10:23:16 +0900

사내에서 관리하는 서버에 ssh 접근과, 관리하는 서비스들로도 접근이 안되서, 서버실에 올라가서 직접 보니 위와 같은 로그를 터미널에 계속해서 찍고 있었다.

아래와 같은 로그를 계속 발생시키고 있었다.

커널 메모리 에러 로그

위와 관련하여 아래의 url을 참고하면 정보를 얻을 수 있다.
https://bugs.debian.org/cgi-bin/bugreport.cgi?bug=884938

얻을 수 있는 주요 정보는 아래와 같다.

Writing a large number of files to an XFS system with a larger
directory block size causes slow performance and kernel log errors re:
memory allocation deadlocks.

즉 XFS 파일시스템을 갖는 디스크에서, block size가 큰 디렉토리에 대해 많은 양의 파일을 write 할 때, 위의 이미지와 같은 에러로그가 발생한다고 한다. 따라서 smaller directory block size를 이용하도록 해서 해결한다고 한다.

위의 설명처럼 block size를 줄여야 하는 이유를 아래의 url에서 찾을 수 있었다.
https://www.suse.com/support/kb/doc/?id=7023344

위 문서에서는 커널 메모리 오류의 원인을 아래와 같이 정의한다.

kmem_zone_alloc 이슈에 대한 원인

fragmentation이 점점 커져서 4MB 이상의 contiguous memory를 할당할 수 없을 때 위의 문제가 발생한다고 한다.
즉, fragmentation을 줄이기 위해서 위와 같이 block size를 줄여야 하는 것으로 보인다.

위에 대해 임시적인 해결방법과 xfs_db 명령어를 활용한 fragmentation 조회 방법을 설명한 url이 있다.
https://blog.codecentric.de/en/2017/04/xfs-possible-memory-allocation-deadlock-kmem_alloc/

스파크 9장

monkeydev — Sat, 8 Jun 2019 14:29:14 +0900

9.5 ORC 파일

ORC는 하듭 워크로드를 위해 설계된 자기 기술적이며, 데이터 타입을 인식할 수 있는 컬럼 기반의 파일 포맷이다.

파케이처럼 별도의 옵션 지정 없이 데이터를 읽을 수 있다.

파케이, ORC 두 포맷은 매우 유사하지만 근본적인 차이점이 있다.

파케이는 스파크에 최적화된 포맷이고, ORC는 하이브에 최적화되어 있다.

9.5.1 ORC 파일 읽기

ORC 파일 읽기 예시

spark.read.format("orc").load("/data/flight-data/orc/2010-summary.orc").show(5)

+-----------------+-------------------+-----+
|DEST_COUNTRY_NAME|ORIGIN_COUNTRY_NAME|count|
+-----------------+-------------------+-----+
|    United States|            Romania|    1|
|    United States|            Ireland|  264|
|    United States|              India|   69|
|            Egypt|      United States|   24|
|Equatorial Guinea|      United States|    1|
+-----------------+-------------------+-----+

9.5.2 ORC 파일 쓰기

ORC 파일 쓰기 예시

val csvFile = spark.read.format("csv").option("header", "true").load("/data/flight-data/csv/2010-summary.csv")
csvFile.write.format("orc").mode("overwrite").save("my-orc-file.orc")

9.6 SQL 데이터베이스

SQL 데이터 소스는 매우 강력한 데이터 소스 중 하나이다.

이 장의 예제는 책의 조언에 따라 MySQL을 사용한다.

9.6.1, 9.6.2 SQL 데이터베이스 읽기 및 쿼리 푸시다운

Spark에서는 JDBC(JDBC(Java Database Connectivity)는 자바에서 데이터베이스에 접속할 수 있도록 하는 자바 API이다. JDBC는 데이터베이스에서 자료를 쿼리하거나 업데이트하는 방법을 제공한다.)를 이용한 여러 RDB와의 연결이 가능하다.

RDB와의 연결을 통해서 RDB의 테이블을 읽을 수 있고, RDB에 filter 과정을 위임할 수도 있다.

실행 계획의 PushedFilters 부분에서 관련 내용을 확인할 수 있다.

mysql> select * from ailab;
+---------+-----+
| name    | age |
+---------+-----+
| jaehyun |  31 |
| kyungah |  27 |
| sungil  |  28 |
| wonhyuk |  29 |
| wooseok |  29 |
+---------+-----+

<explain을 통한 PushedFilters 확인>

scala> val driver = "com.mysql.jdbc.Driver"
driver: String = com.mysql.jdbc.Driver

# 맨 끝에 mysql은 DataBase 이름입니다. 
scala> val url = "jdbc:mysql://172.17.0.3/mysql"
url: String = jdbc:mysql://172.17.0.3/mysql

# mysql 데이터 베이스의 ailab이라는 테이블의 전체 데이터를 load한다.
scala> val dbDataFrame = spark.read.format("jdbc").option("url", url).option("dbtable", "ailab").option("driver", driver).option("user", "root").option("password", "hellworld").load()

scala> dbDataFrame.filter(col("age") > 28).explain
== Physical Plan ==
*(1) Scan JDBCRelation(ailab) [numPartitions=1] [name#0,age#1] PushedFilters: [*IsNotNull(age), *GreaterThan(age,28)], ReadSchema: struct<name:string,age:int>

전체 쿼리 위임

때로는 전체 쿼리를 RDB에 전달해 결과를 DataFrame으로 받아야 하는 경우도 있다.

테이블명 대신 SQL 쿼리를 명시해 주면 된다.

scala> val pushdownQuery = """(SELECT DISTINCT(age) FROM ailab) AS ailab"""
pushdownQuery: String = (SELECT DISTINCT(age) FROM ailab) AS ailab

scala> val dbDataFrame = spark.read.format("jdbc").option("url", url).option("dbtable", pushdownQuery).option("driver", driver).option("user", "root").option("password", "tjddlf6277").load()
dbDataFrame: org.apache.spark.sql.DataFrame = [age: int]

scala> dbDataFrame.explain()
== Physical Plan ==
*(1) Scan JDBCRelation((SELECT DISTINCT(age) FROM ailab) AS ailab) [numPartitions=1] [age#30] PushedFilters: [], ReadSchema: struct<age:int>

스파크 자체 파티션에 결과 데이터를 저장함으로서 더 많은 처리를 할 수도 있다.

scala> val props = new java.util.Properties
props: java.util.Properties = {}

scala> props.setProperty("driver", "com.mysql.jdbc.Driver")
res13: Object = null

scala> props.setProperty("user", "root")
res14: Object = null

scala> props.setProperty("password", "tjddlf6277")
res15: Object = null

scala> val predicates = Array("age = 28 OR age = 29")
predicates: Array[String] = Array(age = 28 OR age = 29)

scala> spark.read.jdbc(url, "ailab", predicates, props).show()
+-------+---+
|   name|age|
+-------+---+
| sungil| 28|
|wonhyuk| 29|
|wooseok| 29|
+-------+---+

# rdd로 만들 수 있음.
scala> spark.read.jdbc(url, "ailab", predicates, props).rdd.getNumPartitions
res19: Int = 1

RDB를 spark에서 parquet로 저장

scala> val df = spark.read.jdbc(url, "ailab", predicates, props)
df: org.apache.spark.sql.DataFrame = [name: string, age: int]

scala> df.printSchema()
root
 |-- name: string (nullable = true)
 |-- age: integer (nullable = true)


scala> df.show()
+-------+---+
|   name|age|
+-------+---+
| sungil| 28|
|wonhyuk| 29|
|wooseok| 29|
+-------+---+

scala> df.write.format("parquet").save("./parquetFile")

scala> spark.read.load("./parquetFile").show()
+-------+---+
|   name|age|
+-------+---+
| sungil| 28|
|wonhyuk| 29|
|wooseok| 29|
+-------+---+

RDB의 CSV를 이용하여 RDB에 write

# spark 영역
scala> val pf = spark.read.format("parquet").load("./parquetFile")
pf: org.apache.spark.sql.DataFrame = [name: string, age: int]

scala> pf.show()
+-------+---+
|   name|age|
+-------+---+
| sungil| 28|
|wonhyuk| 29|
|wooseok| 29|
+-------+---+


scala> pf.write.jdbc(url, "newnewailab", props)


# mysql 영역
mysql> select * from newnewailab;
+---------+------+
| name    | age  |
+---------+------+
| sungil  |   28 |
| wonhyuk |   29 |
| wooseok |   29 |
+---------+------+
3 rows in set (0.00 sec)

9.8.5 파일 크기 관리

파일 크기를 관리하는 것은 저장할때는 중요하지 않지만, 읽을 때는 중요한 요소다.

작은 파일을 많이 생성하면 메타데이터에 엄청난 관리 부하가 발생한다.

HDFS, 스파크는 작은 크기의 파일을 잘 다루지 못한다.

이런 상황을 '작은 크기의 파일 문제' 라고 한다.

하지만 반대로 너무 큰 크기의 파일은 몇 개의 로우가 필요하더라도 전체 데이터 블록을 읽어야 하기 때문에 비효율적이다.

앞서 9.8.5 이전에, 결과 파일 수는 파일을 쓰는 시점에서의 파티션 수에서 파생된다고 말했다.

(9.8.3 병렬로 데이터 쓰기 챕터에서 repartition의 조정으로 파일의 수를 조정할 수 있었다. 그럼 파일 당 크기도 마음대로 지정할 수 있나?)

책에 의하면 DataFrameWriter에 다음의 옵션을 지정하면 파일당 최대 5,000개의 로우를 포함하도록 보장할 수 있다고 한다.

// df는 데이터프레임이라고 가정한다.
df.write.option("maxRecordsPerFile", 5000)