에스프리터

마음에 들었던 내용
- 와닿는 예시로 판타지를 심어주자.당신은 이미 엑셀 함수라는 (엄밀히 말하면 프로그래밍이 아니지만) 프로그래밍을 하고 있다며 용기를 심어주자.몰라도 되는 내용은 일단은 빼자.
- 이론적인 내용은 나중에 등장시키자.
- 제발 외우지 말라고 개발자들도 늘 커닝을 한다고 계속 말해주자.

postgresql 계정 확인

pg_shadow 를 통해서 확인할 수 있다.
```
select * from pg_shadow;
```

참고 : https://usioo-14.tistory.com/9

23/08/22 - 1on1 미팅 주기

실무 혹은 관리자 트랙에 대한 고려 필요

업무 진척 현황과 방해물에 대한 이야기도 좋음

미팅 주기
- 1~4명이면 주 1회
- 4~17명이면 월 1회

참고 → https://blog.clap.company/1on1_cycle/

23/08/21 - java 버전 변경하기

alternative-java를 사용하여 java 버전을 변경할 수 있다.

참고 : https://jizard.tistory.com/404

코드

# 기존 java 내역 삭제 rm -rf /etc/alternatives/java # 신규 java 경로 지정 ln -s /usr/lib/{java 경로}/bin/java /etc/alternatives/java

23/08/03 - journalctl을 사용해서 특정 서비스의 로그 확인하기

아래와 같이 명령어 및 -f를 사용하면 스트리밍 식으로 로그를 볼 수 있다.

# 프로세스 id 확인하기 systemctl status {프로세스 이름}  # 로그 확인하기 (sudo를 요구함) journalctl -f _PID={pid 번호}

2023년 7월, Monthly I Learned

에스프리터 — Mon, 31 Jul 2023 15:48:00 +0900

23/07/27 - chmod 계산기 사이트

https://chmod-calculator.com/ 에서 chmod를 계산할 수 있다.

23/07/26 - postgreql timestamp에서 mileseconds를 지우고 싶을 때

SELECT now()::timestamp(0); SELECT date_trunc('second', now()::timestamp);

23/07/25 - 사내용 github repository에 접근하기 위한 방법

# 단순 비공개 repo도 아래와 같이 해야되는지는 모르겠음 # 비공개 github repository에 접근하려면 아래와 같이 작성해야 한다 git remote set-url origin https://{사용자 github id}@github.com/{repository 주소}.git

23/07/24 - github push/pull 할 때 계정 정보 묻지 않도록 설정

# 공통으로 주려면 --global 인자를 추가하세요.  # credential 정보 저장 git config credential.helper store  # 임시 캐시 저장 git config credential.helper cache

23/07/17 - gmail에서 안 읽은 메일을 확인하고 싶을 때

지메일 검색창에 ‘is:unread’ 를 입력하면 읽지 않은 메일만 필터링할 수 있다.

23/07/13 - mySQL에서 프로시저 목록 확인하고 삭제하고 싶을 때

-- 목록 확인 SHOW PROCEDURE STATUS  -- 삭제 DROP PROCEDURE IF EXISTS {프로시저 이름};

https://picsum.photos/1500/600

2023년 6월, Monthly I Learned

에스프리터 — Mon, 3 Jul 2023 13:04:31 +0900

23/06/30 - embulk에서 Timezone 관련 에러가 날 경우

options에 아래와 같이 timezone을 추가한다.

options: {useLegacyDatetimeCode: false, serverTimezone: Asia/Seoul}

23/06/29 - SQL에서 날짜 값을 정시나 특정 시각으로 고정하고 싶을 때

아래와 같이 substr로 자른 뒤, 뒤에 concat을 다시 붙이면 된다.
```
SELECT concat(substr('2023-07-01 15:34:10', 1, 14), '00:00');
```

23/06/26 - 전체 사용자 cron 스케줄 정보 확인하기

아래 위치에 모든 사용자의 정보가 있다. 다만 root 로 실행해야 한다.
```
cd /var/spool/cron
```

23/06/25 - git 에서 마지막 기록으로 Rollback 하기

아래와 같이 Hard reset 하면 되돌릴수 있다.

# 과거 커밋 기록 확인 git reflog  # 마지막 직전으로 롤백 git reset --hard HEAD@{1}  # 이런식으로 해도 가능 (n에 숫자입력) git reset --hard HEAD~{n}

23/06/24 - 온라인에서 특정 문자를 기준으로 Line을 분리하고 싶을 대 쓰는 사이트

아래 사이트를 사용하면 온라인에서 분리할 수 있다. 로컬에서 에디터를 쓰기 힘든 상황일 때 쓸 수 있다.
- http://www.unit-conversion.info/texttools/add-line-breaks/

23/06/23 - 랜덤하게 이미지를 보여주는 사이트 주소 (picsum.photos)

notion 이미지를 무작위로 매일 변동하고 싶을 때 보여주면 좋을 듯 하다
- https://picsum.photos/1500/600?

23/06/22 - UTC 랑 특정 지역 시간대가 헷갈릴 때 사용할 수 있는 사이트(worldtimebuddy)

UTC나 zone 별 시간대를 잘 알고 있지만 순간 헷갈려서 비교를 하고싶을 때 사용할 수 있는 사이트로 worldtimebuddy.com 이 있다.

아래처럼 위치 별로 시간을 눈으로 비교할 수 있다.

23/06/15 - ls 명령어 실행시 권한 정보가 numeric 으로 출력되길 원하는 경우

아래와 같이 실행하면 Numeric 정보가 출력된다.

ls -l | awk '{k=0;for(i=0;i<=8;i++)k+=((substr($1,i+2,1)~/[rwx]/) \              *2^(8-i));if(k)printf("%0o ",k);print}'

23/06/12 - datetime을 요소 별로 분리하기

아래와 같이 datetime 및 strftime을 사용한다.

from datetime import datetime now = datetime.now() # 현재 날짜 및 시각  year = now.strftime("%Y") print("연도:", year)  month = now.strftime("%m") print("월:", month)  day = now.strftime("%d") print("일:", day)  time = now.strftime("%H:%M:%S") print("시각:", time)  date_time = now.strftime("%m/%d/%Y, %H:%M:%S") print("날짜와 시각:",date_time)

23/06/08 - 특정 기간의 시간 단위 데이터 개수를 알고 싶을 때

아래와 같이 to_char와 substr을 응용한다.

select substr(to_char(createdat, 'YYYY-MM-DD HH24:MI:SS'), 1, 13) as table_hour, count(1) from table where createdat between '2023-06-08 09:00:00' and '2023-06-08 13:00:00' group by table_hour order by table_hour asc;

Postgresql에서 실행중인 쿼리를 알고 싶을 때

-- 실행 중인 쿼리에서 'test'가 포함된 쿼리를 찾고 싶을 때 select * from pg_stat_activity where query like '%test%';  -- 특정 pid 기준 쿼리 수행을 강제 종료 SELECT pg_terminate_backend(160514) FROM pg_stat_activity;

iterm에서 여러 터미널에서 동시 입력(mac 기준)
```
cmd + shift + i
```

23/06/07 - Timestamp 값에서 시분초를 0이나 특정 값으로 일괄 바꾸고 싶을 때

아래와 같이 substr을 사용하여 시:분:초를 치환하여 date_parse 하면 쉽게 변경할 수 있다.

SELECT DATE_PARSE(concat(substr(registered, 1, 11), '00:00:00'), '%Y-%m-%d %H:%i:%s') FROM DB;

2023년 5월, Monthly I Learned

에스프리터 — Thu, 4 May 2023 11:15:35 +0900

AWS Redshift에서 url 디코딩 된 값을 보고 싶을 때

기본적으로 제공되는 건 없고 아래와 같이 함수를 생성해야 한다.

create function url_decode(text character varying) returns character varying 	immutable 	language plpythonu as $$     result = None     if text is not None:         import urllib         result = urllib.unquote_plus(text)     return result  $$;

아래와 같이 url_decode 함수를 사용하면 된다.

select url_decode(query) as url_decode, * from table;

AWS Redshift에서 사용자가 생성한 프로시저를 보고 싶을 때

아래와 같이 쿼리를 사용하여 확인할 수 있다.

SELECT     n.nspname,     b.usename,     p.proname,     p.prosrc FROM     pg_catalog.pg_namespace n JOIN pg_catalog.pg_proc p ON     pronamespace = n.oid join pg_user b on     b.usesysid = p.proowner where     nspname not in ('information_schema',     'pg_catalog')

git pull rollback(롤백) 하기

아래와 같이 롤백이 가능하다.

# 커밋 확인 git reflog  # 가장 최근의 커밋 기준으로 롤백 git reset --hard HEAD@{1}

MySQL 프로시저 관련 명령어 메모

기본적인 프로시저 조회 및 생성 방법은 아래와 같다.

# 프로시저 목록 확인 show procedure status; # 특정 프로시저 정보 호출 SHOW CREATE PROCEDURE Set_blabla;  -- 프로시저 생성 예제 CREATE DEFINER=`{계정명}`@`%` PROCEDURE `{프로시저 명}`() BEGIN     {실행하고자 하는 쿼리}; END ;

인텔리제이에서 Git commit 할 때 CRLF 관련 오류가 뜰 때

인텔리제이에서 commit 할 때 아래와 같이 CRF 관련 오류가 뜰 때가 있다.

You are about to commit CRLF line separators to the Git repository

해당 오류는 커밋하려는 코드 내 에 CRLF 개행이 있다는 뜻으로 windows에서 코드 작업을 할 때 발생한다. windows는 CRLF를 쓰지만 mac이나 리눅스는 LF만 쓰기 때문에 추후 커밋할 경우 코드 자체엔 문제가 없는데 엉뚱하게 오류를 발생시킬 수 있다.

그럴 경우 프로젝트 디렉토리에서 아래 커맨드를 입력하면 해결된다.

git config --global core.eol lf git config --global core.autocrlf input

Spring Boot에서 profile 별 실행 방법

아래와 같이 profile 명을 지정하여 jar 를 실행하면 된다.

Dspring.profiles.active={프로파일 명}

systemCtl 목록 확인

아래와 같이 입력하면 전체 목록 확인 가능

systemctl list-units

ls -al 명령어에 대한 이해

ls-al 명령어를 입력하면 아래와 같은 목록이 출력된다. 각각의 뜻은 아래와 같다.

# 예시 -rw-r--r--  1  user_a root 947  3  8 09:22 live_item.yml  # 쪼갤 경우 / 아래 설명 참조 {-}{rw-}{r--}{r--} {1} {user_a} {root} {947} {3 8 09:22} {live_item.yml}

{-} → 파일(-), 디렉토리(d), 블록 디바이스(b), 문자(c), 링크(l)

{rw-} → read(r), write(w),execute(x)

{1} → 연결된 링크의 개수

{user_a} → 소유자

{root} → 그룹

{947} → 파일 크기

{3 8 09:22} → 3월 8일 09시 22분

{live_item.yml} → 파일명

docker 이미지를 강재로 리빌딩 하고 싶을 때는 아래와 같이 no-cache 옵션을 사용한다.

docker build --no-cache -t {태그이름} .

리눅스에서 USER ADD를 통해 추가된 ID 만 확인하기

아래의 명령어를 통해 확인할 수 있다.
```
grep /bin/bash /etc/passwd
```

AWS Personalize 에서 dataset import 할 때 unable to find csv가 뜰 경우…

해당 경로에 csv 파일이 존재하는지 확인

해당 경로의 csv 파일에 문제가 있는게 아닌지 확인

해당 경로의 csv 파일명 첫번째가 ‘_abc.csv’와 같이 특수문자가 아닌지 확인

M1 맥북에서 psycopg2 import가 안될 때

psycopg-binary를 재설치 한다

pip install psycopg2-binary --force-reinstall --no-cache-dir

중고차 거래 시 취등록세 관련 환급 확인

중고차 이전 시 취등록세 등 행정처리 비용을 환급받을 수 있음
- https://brunch.co.kr/@bookfit/4197

리눅스 파일 비우기

cat /dev/null > {파일경로}

데이터 엔지니어링 서브레딧(sub reddit) 주소

https://www.reddit.com/r/dataengineering/

윈도우에서 특정 드라이브 접근 막는 방법

레지스트리를 실행

HKEY_CURRENT_USER\SOFTWARE\Microsoft\Windows\CurrentVersion\Policies\Explorer 로 이동

DWORD(32비트)로 신규 키를 생성하고 파티션의 10진수값 설정
- 드라이브 접근 제한 → NoViewOnDrive
- 드라이브 보기 제한 → NoViewOnDrive

파티션 10진수는 아래 이미지 참조

최고의 휴식 - 마음챙김 방법 정리

에스프리터 — Tue, 18 Apr 2023 10:16:23 +0900

마인드 풀니스 호흡법

기본자세를 취한다

몸의 감각을 의식하다

호흡을 의식한다

잡념이 떠오를 땐 그 사실을 알아차리고 호흡에 다시 주의를 집중한다

호흡은 의식의 닻이다

잡념이 생기는 것은 당연하므로 스스로를 자책하지 않는다

동작 명상 방법

걷기 명상 → 팔다리 근육, 관절의 움직임, 발바닥의 감각에 의식 집중

선 자세 동작 명상 → 팔 근육의 움직임, 피의 쏠림 등에 의식을 집중

앉은 자세 동작명상 → 근ㅇ꽈 관절의 움직임과 감각에 의식을 집중

뇌를 건강하게 만드는 방법

온-오프 전환 의식 갖기

자연 접하기

아름다운 것 경험하기

몰두할 수 있는 것 찾기

고향 찾기

브리딩 스페이스

스트레스의 영향을 알아차린다

호흡에 의식을 집중

몸 전체로 의식을 넓힌다

몽키마인드 해소법

사고에 라벨링을 해서 ‘여러번 생각했다’ 는 사실을 알아차린다.

같은 전제를 가지고 반복해서 생각하는 것이 아닌지 예외를 생각한다

존경하는 인물과 같은 현자의 관점에서 생각한다.

좋고 나쁨으로 판단하지 않는다.

원인을 찾아본다.

화가 날 때 RAIN 방법

화가 나는 것을 알아차린다. (Recognize)

화가 난다는 현실을 받아들인다. (Accept)

몸에 어떤 변화가 일어나는지 살펴본다 (Investigate)

화와 자신을 동일시하지 않고 분리한다 (Non-Identification)

gp_dumpall - Postgresql 전체를 백업하고 싶을 때 사용하는 명령어

에스프리터 — Mon, 13 Feb 2023 17:57:55 +0900

Postgresql 전체를 백업하고 싶을 때 사용하는 명령어로 pg_dumpall이 있다.

테이블 및 데이터 유형을 선택할 수 있는 pg_dump와 달리 pg_dumpall은 스키마를 포함 모든 데이터를 백업한다

# postgres 계정 기준 백업할 때 pg_dumpall -f /all-backup.sql -U postgres  # postgres 계정 기준 백업할 때 (비밀번호가 있을 때) pg_dumpall -f /all-backup.sql -U postgres -W

관련 리서치:

pg_dumpall

Uploaded by

N2T

ifconfig에서 ip 내역만 확인하기

에스프리터 — Mon, 6 Feb 2023 14:36:39 +0900

ifconfig를 띄웠을 때 보통 ip 정보만을 보고 싶은 경우가 많다. 그럴 때 아래와 같이 입력하면 된다.

보통 localhost ip와 자신에게 할당된 ip로 2개가 출력된다.

ifconfig | grep 'inet ' | awk '{print $2}'

Uploaded by

N2T

SQL 프로시저 목록 및 쿼리 확인하기

에스프리터 — Mon, 6 Feb 2023 14:36:37 +0900

mySQL에서 현재 실행중인 프로시저 목록을 확인하고자 한다면 아래와 같이 사용할 수 있다.

다만 권한이 있어야 하며 권한이 없으면 결과가 나오지 않을 수도 있다.

show procedure status; show procedure status where Db = 'DB이름';

관련 리서치:

[MySQL] 마이SQL 프로시저 리스트 확인하는 명령어

Uploaded by

N2T

윈도우에서 N2T 사용시 인코딩 에러 수정

에스프리터 — Mon, 6 Feb 2023 14:36:34 +0900

아래 본문댓글에 있던 내용을 좀 더 갈무리

# notion-py는 github에서 직접 설치 pip3 uninstall -y notion-py pip3 install git+https://github.com/wsykala/notion-py.git  # ㅈebdriver-manager 관련 cmd_mapping = { KeyError: 'google-chrome'...} 에러의 경우 pip list 를 통해 webdriver-manager 버전이 3.8.0이면 지우고 3.7.1로 재설치

관련 리서치:

Notion에서 Tistory로 자동 업로드 #8 (N2T)

Uploaded by

N2T

도커 볼륨 마운트 개요

에스프리터 — Mon, 12 Dec 2022 07:21:11 +0900

Today I Learned 요약 (37회차) - 도커 컨테이너는 휘발성이기 때문에 데이터를 보존하기 위해 별도의 볼륨을 두고 컨테이너가 외부의 데이터를 다루게 할 수 있다.

도커 볼륨 마운트 개요

볼륨은 스토리지의 한 영역을 분할한 것을 의미한다. 그리고 도커 컨테이너는 휘발성이기 때문에 종료가 되면 기존 데이터는 소멸된다. 이러한 상황에서 컨테이너 외부의 별도 볼륨을 두고 마운트시켜서 컨테이너가 외부의 데이터를 다룰 수 있게 할 필요가 있다.

볼륨 마운트
- 도커 엔진이 관리하는 영역 내 만들어진 볼륨을 컨테이너에 디스크 형태로 마운트 (임시용이나 지우면 안되는 파일을 두는 목적으로 많이 사용)

바인드 마운트
- 도커가 설치된 컴퓨터의 디렉토리(폴더) 등 도커 엔진에서 관리하지 않는 외부 영역의 기존 데이터를 컨테이너에 마운트하여 연결하는 방식이다 (자주 사용하는 파일을 두는 데 사용)

tmpfs 마운트
- 주 메모리 영역을 마운트해서 사용하고, 속도가 높지만 도커가 정지되거나 호스트가 재부팅하면 소멸

볼륨과 바인드 마운트 방식의 차이점는 아래와 같다.

볼륨 마운트는 처음엔 접근이 어렵지만 익숙해진다면 경로 설정 등의 부담이 줄어들어서 권장.

바인드 마운트는 외부의 어떠한 폴더라도 파일을 둘 수 있으며 기존과 동일하게 사용할 수 있기에 외부 프로그램으로 편집도 가능하지만 외부의 변화(삭제, 편집) 등의 영향을 받을 수 있다.

어떠한 방식을 사용하든 스토리지 마운트는 run 커맨드로 실행한다.

볼륨 마운트의 경우, 스토리지 영역을 우선 생성한다.

# 볼륨 생성, 삭제 방법 docker volumne create {볼륨이름} docker volume rm {볼륨이름}  # 스토리지, 볼륨 마운트 방법 docker run ... -v 스토리지_실제_경로:컨테이너_마운트_경로 ... docker run ... -v 볼륨_이름:컨테이너_마운트_경로 ...  # 아파치 컨테이너 기반 예제 (로컬경로는 e:\docker_volume으로 지정) docker run --name apa000ex20 -d -p 8090:80 -v {e:\docker_volume}:/usr/local/apache2/htdocs httpd  # --------------------  # 볼륨 마운트해보기 docker volume create apa000vol1  # 아파치 컨테이너 실행 docker run --name apa000ex21 -d -p 8091:90 -v apa000vol1:/usr/local/apache2/htdocs httpd  # volume Inspect 커맨드로 볼륨 상세 정보 확인 docker volume inspect apa000vol1  # 아래와 같이 출력됨 [     {         "CreatedAt": "2022-12-11T22:13:04Z",         "Driver": "local",         "Labels": {},         "Mountpoint": "/var/lib/docker/volumes/apa000vol1/_data",         "Name": "apa000vol1",         "Options": {},         "Scope": "local"     } ]  # 컨테이너 Insepct 명령어 docker container inspect apa000ex21  # 도커 볼륨 삭제 docker volume rm apa000vol1

[MEMO] 예제를 입력하면 정규 표현식을 생성해주는 Regex Generator

에스프리터 — Fri, 9 Dec 2022 17:21:49 +0900

MEMO 요약 - Regex Generator를 사용하여 간편하게 Regex를 생성할 수 있따.

예제를 입력하면 정규 표현식을 생성해주는 Regex Generator

전화번호나 이메일 등 특정 스트링을 보고 거기에 맞는 정규 표현식(regex)를 만들어본 과정은 자주 겪어 봤을 것이다. 보통은 연습삼아, 그리고 정교하게 하기 위해 한땀한땀 Regex를 작성하게 되는데 이럴 때 도움이 되는 사이트로 Regex Generator(https://regex-generator.olafneumann.org/)라는게 있다.

여기서는 특정 스트링을 입력하면 규칙을 선택한 뒤 Regex를 작성해준다. 선택할 수 있는 옵션에 제한이 있을 수 있어 완벽하진 않지만 1차적으로 시작하기엔 꽤 괜찮아 보인다.

1번 칸에 Regex를 얻고자 하는 값을 입력하고 2번 단계의 색깔 블럭에서 자신이 원하느 규칙을 클릭하게 되면 3번 단계에서 Regex로 변환해준다. 단순한 값이면 바로 써도 되고, 애매하면 다른 Regex 검수 사이트에서 교차 검증을 해봐도 좋을 듯 하다.

[MEMO] [explainshell.com](http://explainshell.com) - 리눅스 쉘 명령어 해석 도구

에스프리터 — Fri, 9 Dec 2022 10:31:29 +0900

MEMO 요약 - explainshell.com 을 사용하여 리눅스 쉘 명령어에 대해 이해할 수 있다.

explainshell.com - 리눅스 쉘 명령어 해석 도구

리눅스 명령어 관련 예시를 찾고, 시키는대로 하다 보면 동작은 하는데 명령어가 어떻게 구성되는지 혼란스러울 때가 있다. 그럴 때 도움이 되는 사이트로 explainshell.com 이라는 사이트가 있어서 거기에 해당 명령어를 입력하면 ‘단위’로 쪼개서 어떤 명령어와 파라미터로 구성되어 있는지 친절하게 설명해준다.

도커 컨테이너와 호스트 간 파일 복사

에스프리터 — Mon, 5 Dec 2022 08:03:52 +0900

Today I Learned 요약 (36회차) - docker cp 명령어를 사용하여 컨테이너와 호스트 간에 파일을 전송할 수 있다

도커 컨테이너와 호스트 간 파일 복사

도커 컨테이너와 호스트(우리가 사용 중인 컴퓨터) 간에 파일을 복사하기 위해서는 docker cp 명령어를 사용하면 된다.

# 명령어 예시 (전송 방향은 호스트와 컨테이너의 위치를 서로 바꾸면 됨) # docker cp {호스트 경로} {컨테이너 이름}:{컨테이너 경로} # 윈도우에서는 경로를 {PATH}\{PATH} 식이고 리눅스에서는 {PATH}/{PATH}로 기입한다.

테스트 할 파일로 index.html 를 만들어본다.

<html> <meta charset="utf-8"> <body> <div>안녕하슈!</div> </body> </html>

아파치 컨테이너를 생성하여 해당 html 파일을 넣어보도록 하겠다. 반대도 순서만 변경되고 절차는 동일하다

# 아파치 컨테이너 생성 및 실행 docker run --name apa000ex19 -d -p 8089:80 httpd  # 파일 전송 (윈도우 -> 도커이고 여기서는 e드라이브에 파일이 있는 걸로 간주) docker cp e:\index.html apa000ex19:usr/local/apache2/htdocs

브라우저에서 localhost:8089를 열고 전송 전후를 비교할 때 아래와 같이 index.html이 교체된 것을 확인할 수 있다.

[TIL] 도커 워드프레스 및 레드마인 실행 연습

에스프리터 — Mon, 21 Nov 2022 18:23:09 +0900

Today I Learned 요약 (35회차) - 파라미터를 사용해서 도커에서 워드프레스 실행 연습 작성

도커 워드프레스 실행 연습

MySQL 컨테이너 옵션 채워넣어서 실행

docker run --name mysql000ex11 -dit --net=wordpress000net1 -e MYSQL_ROOT_PASSWORD=myrootpass -e MYSQL_DATABASE=wordpress000db -e MYSQL_USER=wordpress000kun -e MYSQL_PASSWORD=wkunpass mysql --character-set-server=utf8mb4 --collation-server=utf8mb4_unicode_ci --default-authentication-plugin=mysql_native_password

워드프레스 컨테이너 옵션 채워넣어서 실행

docker run --name wordpress000ex12 -dit --net=wordpress000net1 -p 8085:80 -e WORDPRESS_DB_HOST=mysql000ex11 -e WORDPRESS_DB_NAME=wordpress000db -e WORDPRESS_DB_USER=wordpress000kun -e WORDPRESS_DB_PASSWORD=wkunpass wordpress

도커 run 옵션 간단 요약

--name : 컨테이너 이름 지정

-dit : d(백그라운드 실행) / it(컨테이너 bash 입력)

-p : 포트 지정

-e : 컨테이너 환경 변수 지정

docker 관련 리서치한 것:

docker run 커맨드 사용법

이재홍의 언제나 최신 Docker - Unit 13.28 run

[TIL] 도커로 워드프레스 실행하기

에스프리터 — Tue, 15 Nov 2022 23:33:11 +0900

Today I Learned 요약 (34회차) - 워드프레스, MySQL 컨테이너를 사용하여 워드프레스를 구축할 수 있다.

도커로 워드프레스 실행하기

도커로 워드프레스를 구축하려면 크게 워드프레스 컨테이너와 SQL 컨테이너가 필요하다. 단, 2개의 컨테이너만 실행해서는 정상 동작하지 않기 때문에 중간에 가상 네트워크를 만들고, 해당 네트워크에 2개 컨테이너를 소속 시켜 연결한다.

대략 아래의 순서대로 진행된다.

도커 네트워크 생성

MySQL 컨테이너 생성(네트워크 및 SQL 설정 정보 기입)

워드프레스 컨테이너 생성(네트워크 및 포트, 워드프레스 db 정보 입력)

# 도커 네트워크 생성
#docker network create {네트워크_이름}
docker network create wordpress000net1

# 네트워크 생성 확인
docker network ls

# MySQL 컨테이너 생성
docker run --name mysql000ex11 -dit --net=wordpress000net1 -e MYSQL_ROOT_PASSWORD=myrootpass -e MYSQL_DATABASE=wordpress000db -e MYSQL_USER=wordpress000kun -e MYSQL_PASSWORD=wkunpass mysql --character-set-server=utf8mb4 --collation-server=utf8mb4_unicode_ci --default-authentication-plugin=mysql_native_password

# 워드프레스 컨테이너 생성 
docker run --name wordpress000ex12 -dit --net=wordpress000net1 -p 8085:80 -e WORDPRESS_DB_HOST=mysql000ex11 -e WORDPRESS_DB_NAME=wordpress000db -e WORDPRESS_DB_USER=wordpress000kun -e WORDPRESS_DB_PASSWORD=wkunpass wordpress

정상적으로 컨테이너가 실행되었다면 워드프레스 및 MySQL 컨테이너가 실행되고 서로 연결되어 http://localhost:8085에 접근할 수 있게 된다. 만약 오류가 날 경우 높은 확률로 오타일 가능성이 높다. 아래와 같이 언어를 선택하고 워드프레스를 설정할 수 있게 된다.

뒷정리하려면 아래와 같이 컨테이너를 중지한 뒤 삭제하고, 이미지 → 네트워크 순으로 삭제하면 된다.

# 컨테이너 중지
docker stop wordpress000ex12
docker stop mysql000ex11

# 컨테이너 삭제
docker rm wordpress000ex12
docker rm mysql000ex11

# 이미지 삭제
docker image rm wordpress
docker image rm mysql

# 네트워크 삭제
docker network rm wordpress000net1

[TIL] Docker 이미지 삭제하기

에스프리터 — Mon, 14 Nov 2022 16:11:24 +0900

Today I Learned 요약 (33회차) - docker image rm 명령어를 통해 도커 이미지를 삭제할 수 있다

Docker 이미지 삭제하기

도커에서 컨테이너를 run 했다가 stop 했다가 rm(삭제) 하더라도 그 틀이라 할 수 있는 이미지 파일은 남는다. 컨테이너 여러개를 생성했다 지웠다를 반복할 경우 이미지 용량이 계속해서 증가하기 때문에 docker image rm 명령어를 통해 이미지를 삭제할 수 있다. 이미지 삭제 전에 컨테이너가 존재하는지 확인 후 삭제한다.

# 기존 도커 컨테이너 확인
docker ps
# 도커 이미지 확인
docker image ls
# 단일 이미지 삭제
docker image rm {이미지이름}
# 여러 이미지 삭제
docker image rm {이미지이름} {이미지이름} {이미지이름}

[TIL] AWS 재해복구(DR) 관련 단어 메모

에스프리터 — Fri, 11 Nov 2022 16:02:43 +0900

Today I Learned 요약 (32회차) - 재해 복구 관련 AWS에서는 복구시점(RPO)와 복구시간(RTO)를 정의하고 이에 맞춰 DR 전략을 수립할 것을 권고하고 있다. - 다중 동기화/복원이 많을 수록 워크로드는 안정되지만 그만큼 비용이 급상승하게 된다.

AWS 재해복구(DR) 관련 단어 메모

카카오 서비스 셧다운 쯤해서 나도 재해복구(Disaster Recovery)에 대해 보다 관심을 가지게 되었다. 있을 순 있지만 남일이라고 생각하고 있었다는 게 적절할 것 같다. 실제로 겪어본 적도 없고… 하지만 카카오가 당하는 걸 보면서 나도 관련 개념에 대해 이해할 필요가 있다고 느껴서 메모를 정리하게 되었다.

우선 AWS의 재해복구 관련 문서를 찾아보고 관련 단어(개념)들에 대해 메모해두려고 한다.

AWS에서는 재해 발생 시각을 전후로 복구시점(RPO)와 복구시간(RTO)을 정의하고 있다.

복구시점(RPO - Recovery Point Objective)
- 서비스 중단 시점과 서비스 복원 시점 간에 허용되는 최대 지연 시간으로, 서비스를 사용할 수 없는 상태로 허용되는 기간

복구시간(RTO - Recovery Time Objective)
- 마지막 데이터 복구 시점 이후 허용되는 최대 시간으로, 마지막 복구 시점과 서비스 중단 시점 사이에 허용되는 데이터 손실량

위 2가지는 낮을 수록 좋지만 낮게 잡으면 잡을수록 비용은 급속도로 증가하게 된다. 따라서 각자 상황에 따라 RPO와 RTO를 커스텀하게 정의하게 된다. 설정된 RTO와 RPO에 따라 선택할 수 있는 재해복구 전략으로 AWS는 4가지를 소개하고 있다.

백업 및 복원
- 스냅샷 느낌으로 ‘복구 리전’에 데이터와 애플리케이션을 백업해놓고 재해 발생시 최종 스냅샷을 복구하는 것

파일럿 라이트(pilot light)
- 코어 서비스의 복사본을 별도의 복구 리전에 프로비저닝하는 것. 데이터 역시 복구 리전에 복제된다. 백업을 위한 자원을 계속해서 동작 상태로 유지된다.

웜 대기(worm standBy)
- 모든 기능이 동일하지만 축소된 버전의 워크로드를 복구 리전에서 상시 실행중인 상태로 유지하는 상태. 재해 발생시 축소된 워크로드가 프로덕션 환경을 대체하게 되며 웜 대기가 확대될 수록 RTO는 낮아지게 됨

복수 리전 액티브
- 워크로드가 동시에 여러 리전에 배포되고 능동적을로 트래픽이 처리됨. 해당 전략을 사용하려면 리전 전체에서 데이터 및 어플리케이션 동기화가 이뤄져야 함. 서로 다른 리전에서 복제본에 동일 레코드 값을 쓸 수 있는 충돌을 처리해야 하는데 해당 문제가 복잡할 수 있음. 가장 유용하지만 가장 비용이 많이 발생함.

AWS 관련 리서치한 것:

REL13-BP02 복구 목표 달성을 위해 정의된 복구 전략 사용

AWS의 재해 복구(DR) 아키텍처, 1부: 클라우드의 복구 전략

Disaster Recovery of Workloads on AWS: Recovery in the Cloud

[TIL] 도커 포트 번호 설정하기 221109

에스프리터 — Thu, 10 Nov 2022 11:29:34 +0900

Today I Learned 요약 (31회차) - 도커 실행시 -p 파라미터를 통해 컨테이너와 외부의 통신을 수행할 수 있다

도커 포트 번호 설정하기

도커에서 컨테이너를 실행할 때 기본 값으로는 포트 지정이 되어있지 않기 때문에 파라미터를 입력해서 외부와의 포트 포워딩을 시켜줘야 할때가 있다. ‘-p’ 명령어를 사용하면 포트를 지정할 수 가 있다.

# httpd 이미지를 apa000ex2라는 컨테이너로 백그라운드 실행하고 -p를 통해 컨테이너의 80포트를 외부의 8080으로 포워딩
docker run --name apa000ex2 -d -p 8080:80 httpd
# 컨테이너 정지하고 삭제하기
docker stop apa000ex2
docker rm apa000ex2
# 삭제 후 컨테이너 남아있는지 확인하기
docker ps -a

Docker 관련 리서치한 것:

도커(Docker) : 포트 포워딩 설정(포트 맵핑)하기

[TIL] Docker 기본 실행 명령어 221108

에스프리터 — Tue, 8 Nov 2022 16:36:08 +0900

Today I Learned 요약 (30회차) - Docker 명령어를 통해 컨테이너를 생성하고 실행, 종료할 수 있다.

docker 컨테이너 생성 및 정지, 삭제 명령어

Docker에서 가장 기본 명령어인 run, ps, rm을 아래와 같이 실행할 수 있다.

Docker에서 컨테이너를 실행하는 경우 run 명령어를 통해 아래와 같이 실행할 수 있다. 예제는 기존에 만들어져있는 httpd 이미지를 가져오는 것으로 한다. 여기서 —name은 컨테이너 이름 지정을 뜻하고 -d는 백그라운드 실행을 의미한다

docker run --name apa000ex1 -d httpd

Unable to find image 'httpd:latest' locally
latest: Pulling from library/httpd
e9995326b091: Pull complete
ee55ccd48c8f: Pull complete
bc66ebea7efe: Pull complete
5d0f831d3c0b: Pull complete
e559e5380898: Pull complete
Digest: sha256:5fa96551b61359de5dfb7fd8c9e97e4153232eb520a8e883e2f47fc80dbfc33e
Status: Downloaded newer image for httpd:latest
926b9dd856b3030ccf29d88a24bdc2e7cedc4d4a8392312d662b11865c568a1e

Docker ps 명령어를 통해 생성된 컨테이너를 확인할 수 있고 -a를 쓸 경우 현재 비실행 중인 컨테이너도 모두 확인할 수 있다.

docker ps -a
CONTAINER ID   IMAGE  COMMAND                  CREATED              STATUS                    PORTS                              NAMES
926b9dd856b3   httpd  "httpd-foreground"       About a minute ago   Up About a minute         80/tcp                             apa000ex1

컨테이너를 중지할 경우 stop 명령어를 사용하면 된다.
```
docker stop apa000ex1
apa000ex1
```

컨테이너를 삭제할 경우 rm 명령어를 사용하면 된다.
```
	docker rm apa000ex1
apa000ex1
```

docker 관련 리서치한 것:

docker run 커맨드 사용법

Uploaded by N2T

[TIL] 자료 포락 분석 관련 자료 메모 221104

에스프리터 — Fri, 4 Nov 2022 22:44:06 +0900

Today I Learned 요약 (29회차)
- 여러 투입 요소 및 성과에 대한 분석을 할 수 있는 자료 포락 분석(DEA)라는 모형이 있다

자료 포락 분석 관련 자료 메모

아직 완전히 이해하진 못했지만 기록하지 않으면 다 까먹을 듯 해서 메모해둠. 요약에 적었다시피 DEA 모형은 여러 투입 요소에 대한 성과 분석을 하기 위해 사용되는 방법론으로서 아래와 같은 특징을 가진다. 아직 온전히 이해한 상태는 아니라 틀린 게 있다면 댓글 달아주시면 수정하겠음...ㅜ

- 여러 투입요소와 산출(성과) 요소에 대해 다룰 수 있다.

- 투입 대비 산출에 대한 상호 연관성에 대해 가정을 필요로 하지 않는다.

- 기능적으로 유사한 활동을 하는 조직(DMU)들이 서로 간에 비교 된다.

- 투입과 산출 요소들이 다른 측정 단위를 가질 수 있다.

아래 리서치 내역에 찾아놓은 메모들을 정리. 추후 방법론을 이해하고 실제로 테스트해볼 기회가 있으면 좋을 듯

#자료포락분석 관련 리서치 내역:

[TIL] AWS CLI s3 sync를 사용하여 파일 전송하기 221028

에스프리터 — Fri, 28 Oct 2022 21:04:43 +0900

Today I Learned 요약 (28회차)
- AWS CLI의 sync를 통해 여러개의 파일을 전송할 수 있다.

AWS CLI s3 sync를 사용하여 파일 전송하기

오늘 아침 출근하면서 사수에게서 데이터 파이프라인에 문제가 생겼다는 얘기를 들었다. 원인 자체는 간단히 필드가 밀려서 데이터가 들어오고 있던 상황. 결과론적으론 간단하지만 그걸 찾기 위해 로그를 찍어가며 찾아가는 과정에 시간이 소요되었다. 그간 Appsflyer 데이터 적재한다고 본업(?)에 손을 못대고 있었는데 다시끔 포커스를 맞출 필요가 있다.

데이터 확인 과정에서 AWS CLI에서 s3 sync를 쓸 수 있는 것을 알게 되었다. 지난번 포스팅에서 CP를 사용하는 걸 올린 적이 있는데 --recursive 까지 하면서 여러개의 파일이나 폴더를 전송하기엔 s3 sync가 훨씬 편한 것 같다.

aws s3 sync {s3://경로} {./로컬경로}

기본적으로 AWS CLI가 설치되고, Credential 설정이 완료되었음을 전제로 한다. 그리고 말 그대로 해당 경로의 sync를 맞추는 형식이라 다른 파일과 섞이지 않게 주의하자. 만약 로컬 경로에서 s3에 올리고 싶으면 저 경로를 서로 바꿔주면 동작한다.

#AWS 관련 리서치 내역:

sync - AWS CLI

[TIL] AWS redshift에 Copy 명령어로 csv 데이터 적재 시 csv 내에 json이 포함되어 있을 때 고려해야 할 데이터 변환 파라미터 종류 221026

에스프리터 — Wed, 26 Oct 2022 17:00:50 +0900

Today I Learned 요약 (27회차)
- redshift에 csv 파일을 Copy 쿼리로 적재할 때 json이 있을 경우 아래 파라미터를 고려할 필요 있음

AWS redshift에 Copy 명령어로 csv 데이터 적재 시 csv 내에 json이 포함되어 있을 때 고려해야 할 데이터 변환 파라미터 종류

s3에 올라간 csv를 기반으로 Redshift에 적재할 때 csv 내에 json 데이터가 포함되어 있고, 그것을 단일 칼럼 내에 로드하고 싶을 때 고려해야 할 데이터 변환 파라미터다. 아직 하나하나가 어떻게 동작하는지는 정확하게 이해하지 못해서 추후 다시 정리가 필요함.

CSV -- CSV 명시
IGNOREHEADER 1 -- 지정 row number를 무시
DELIMITER ',' -- 구분자
EMPTYASNULL -- 비어있는 varchar나 char를 null로 로드
BLANKSASNULL -- 공백 문자로만 구성된 빈 필드를 Null로 로드
TRUNCATECOLUMNS -- 열 데이터를 varcahr로 자름
TRIMBLANKS -- varchar 문자열에서 후행 공백 문자 제거
GZIP -- Gzip 파일임을 명시
DATEFORMAT 'auto' -- dateforamt은 자동
TIMEFORMAT 'auto' -- timeformat은 자동
ACCEPTINVCHARS -- 잘못된 UTF-8 문자가 포함되어도 varchar열에 데이터 로드
FILLRECORD -- 인접한 열들이 레코드에 누락되었을 때도 NULL로 데이터 로드 허용

#AWS 관련 리서치 내역:

[TIL] AWS Redshift에서 block이 걸려서 쿼리가 지연될 때 확인하고 강제 종료하는 방법 221017

에스프리터 — Mon, 17 Oct 2022 23:04:15 +0900

Today I Learned 요약 (26회차)
- Redshift에서는 세션 보호를 위해 특정 쿼리 동작 중에 추가 쿼리 동작을 잠글 수 있다.
- 쿼리를 통해 잠금 처리된 쿼리를 확인하고 종료시켜 롤백할 수 있다.

AWS Redshift에서 block이 걸려서 쿼리가 지연될 때 확인하고 종료하는 방법

Redshift에서 풀스캔 쿼리가 아닌데 이유 없이 돌고 있을 경우 잠금(block) 처리된 것을 의심할 수 있다. 보통은 block을 유발한 쿼리가 완료되면 block이 풀리고 후속 쿼리가 실행이 되지만 데이터 전처리 도중 다른 쿼리가 동작하여 block이 발생할 경우 시간에 쫓기게 될 수 있다. 그럴 때 확인 방법 및 종료, 쿼리 확인 방법에 대해 정리한다.

redshift 문서에서 정의하는 쿼리 잠금의 종류는 아래와 같다.

1. AccessExclusiveLock : UNLOAD, SELECT, UPDATE 또는 DELETE 작업 중에 획득

2. AccessShareLock : UNLOAD, SELECT, UPDATE 또는 DELETE 작업 중에 획득

3. ShareRowExclusiveLock : COPY, INSERT, UPDATE 또는 DELETE 작업 중에 획득

block 상태를 확인하기 위해서는 Redhisft에서 아래 쿼리를 입력하여 blocking_pid를 확인한다.

select a.txn_owner, a.txn_db, a.xid, a.pid, a.txn_start, a.lock_mode, a.relation as table_id,nvl(trim(c."name"),d.relname) as tablename, a.granted,b.pid as blocking_pid ,datediff(s,a.txn_start,getdate())/86400||' days '||datediff(s,a.txn_start,getdate())%86400/3600||' hrs '||datediff(s,a.txn_start,getdate())%3600/60||' mins '||datediff(s,a.txn_start,getdate())%60||' secs' as txn_duration
from svv_transactions a 
left join (select pid,relation,granted from pg_locks group by 1,2,3) b 
on a.relation=b.relation and a.granted='f' and b.granted='t' 
left join (select * from stv_tbl_perm where slice=0) c 
on a.relation=c.id 
left join pg_class d on a.relation=d.oid
where  a.relation is not null;

해당되는 pid를 확인했으면 아래 쿼리로 해당 프로세스를 강제로 종료할 수 있다. 아래 쿼리가 실행되면 동작중인 쿼리의 트랜잭션은 롤백된다.

select pg_terminate_backend({PID});

해당 PID의 쿼리를 확인하고 싶다면 아래 쿼리를 입력하면 된다.

select query, trim(querytxt) as sqlquery, *
from stl_query where pid = {PID}
order by query desc;

#aws 관련 리서치 내역:

Amazon Redshift에서 잠금을 감지하고 해제하려면 어떻게 해야 합니까?

[TIL] Crontab.guru - Cron 표현식 테스트 해볼 수 있는 사이트 221006

에스프리터 — Thu, 6 Oct 2022 18:50:43 +0900

Today I Learned 요약 (25회차)
- Crontab.guru를 사용해서 내가 사용할 cron 표현식이 맞는지 테스트해볼 수 있다.
- 보통 다 맞지만 AWS의 경우는 연도 값이 하나 더 들어간다.

Crontab.guru - Cron 표현식 테스트 해볼 수 있는 사이트

사실 예전부터 알고 있었던 사이트이지만 기록차원에서 남겨놓겠음. 링크부터 알고 싶은 사람은 아래 링크를 클릭

crontab guru

Cron 표현식이란 스케줄을 정의할 때 사용할 수 있는 표현식이며 기본적으로 * * * * * 와 같이 5개의 필드로 이뤄진다. 왼쪽부터 차례로 얘기하면 아래와 같다.

1번째 : 분(minutes)

2번째 : 시간(hour)

3번째 : 일(days)

4번째 : 월(month)

5번째 : 요일(monday, tuesday)

기본적으로 이렇게 5가지로 구성되어 있고, AWS Event Bridge에서 쓰는 Cron은 연도(year) 값이 하나 더 들어가서 6가지로 구성되어 있다.

사이트 자체는 위와 같이 구성되어있고, 가운데 Cron 표현식에 키보드로 테스트 하고자 하는 표현식을 집어넣으면 된다.

Cron 에 익숙한 사람들은 상관없겠지만 처음 접할 때는 개념적으로 헷갈릴 때가 많다. 그럴때 cron 표현식을 테스트 해보고 문법적으로 틀린 게 없는지 확인하고 싶을 때 crontab guru가 유용하다. 기본 예시도 보여주기 때문에 여러모로 감을 익히기엔 도움이 많이 된다.

#cron 관련 작성 및 리서치 내역:

[TIL] AWS Athena에서 쿼리 진행 상태 확인하기

에스프리터 — Wed, 5 Oct 2022 21:09:19 +0900

Today I Learned 요약 (24회차)
- boto3에선 Athena 쿼리 상태를 확인하는 batch_get_query_execution가 존재
- 해당 기능을 사용해서 Athena가 쿼리를 돌고 있는지 상태를 확인할 수 있다.

boto3를 사용해서 Athena 쿼리 실행 상태 확인하기

Python 기반의 AWS SDK인 boto3를 사용해서 Athena 쿼리를 실행할 수 있다.

하지만 boto3로 Athena 쿼리를 실행할 경우 async로 돌아가기 때문에 쿼리를 날렸다고 바로 결과를 확인할 수 있는 게 아니다. 그럴 때 사용하기 위한 batch_get_query_execution가 boto3에 존재한다.

query 실행했을 때의 ExecutionID를 알고 있다면 아래와 같이 batch_get_query_execution에 넣어서 status 값을 확인할 수 있다. 여러가지 정보가 return 되지만 아래 코드 기준으로만 간다면 status 값 QUEUED / RUNNING / SUCCEEDED / FAILED / CANCELLED 중 하나가 return 되게 된다. 이를 확인하여 쿼리 실행 후 결과를 다시 확인하기까지 while 같은 걸 사용해서 대기를 걸어놓을수도 있을 것이다.

예시의 QueryExecutionIds는 An array of query execution IDs. 즉, array로 여러 값을 넣어서 조회도 가능하다. 최대 50개까지 조회가 가능한 듯 하다.

import boto3

athena = boto3.client('athena',
                   aws_access_key_id='API_KEY',
                   aws_secret_access_key='SECRET_KEY',
                   region_name='REGION'
                   )

response = athena.batch_get_query_execution(QueryExecutionIds=['QueryExecutionIds'])
status = response['QueryExecutions'][0]['Status']['State']

print(status)

#athena 관련 리서치 내역:

Boto3 Docs - Athena

KPT에 대해 221004

에스프리터 — Tue, 4 Oct 2022 17:07:34 +0900

Today I Learned 요약 (23회차)
- KPT를 통해 회고를 좀 더 견고하게 수행할 수 있다.
- 개인 관점에서도 KPT를 통해 회고 구조화는 가능한 것 같다.

KPT에 대해

오늘은 회사에서 부서 단위 '기술 공유' 세션이 있었고 내 발표도 있었는데 기술 공유 그 자체보다는 그간 작업해왔던 Appsflyer 데이터 파이프라인 구축 회고 같은 느낌이라 마무리를 어떻게 할까 하다가 KPT가 떠올라서 KPT에 대해 짧게 적어보고자 함.

KPT 보드 예시

KPT는 Keep, Problem, Try의 3가지의 관점에서 회고를 진행한다는 뜻으로 KPT라 불린다.

보통 회고라는 것은 각자 하는 일이 나눠진, 즉 분업화가 되어 있을 때 유효하다. 보통 사람들은 자기 일에 대해서만 관심을 가지지, 다른 사람의 업무나 프로젝트 전체의 흐름에 대해서는 관심을 쉽게 가지지 않기 때문이다. 이런 상황일 때 KPT는 나눠진 분업 속에서 Keep 할 것과 Problem을 확인하고, Try를 통해 같이 공유한다는 점에서 장점이 있다.

그래서 모여 있는 자리에서 Keep과 Problem에 대해 회고하고, Try에 대안을 작성 한뒤 투표나 의사결정을 통해 2~3개의 핵심 액션 아이템을 선정한 뒤 행동으로 즉시 옮길 것을 같이 약속하고 KPT를 종료하는 것이 주 흐름이다.

눈치가 빠르다면 KPT가 여러 사람이 모여있을 때 해야 가장 효율성 있다는 점을 깨달았을 것이다. 다만 개인 레벨에서도 그렇게 나쁘진 않은게(특히 PPT 화면 상) 카테고리가 분리되어 있으면 청중들의 집중도를 높일 수 있다는 관점에서 나쁘지 않은 선택인 것 같다.

#kpt 관련 리서치 내역:

[TIL] 휴대폰에서 외부 접근 IP를 확인할 수 없는 이유인 LSN에 대해 221003

에스프리터 — Mon, 3 Oct 2022 11:51:44 +0900

Today I Learned 요약 (22회차)
- 휴대폰에서는 LSN이라 불리는 거대 NAT 때문에 공유기에 할당된 외부 IP 같은 공인 IP를 확인할 수 없다.
- VPN 터널링을 통해 뚫을 수는 있지만 속도 손실을 꽤나 감안해야 함.
- 네트워크 전공이 아니라 틀릴 수 있습니다. 감안해주세요.

휴대폰에서 외부 접근 IP를 확인할 수 없는 이유인 LSN에 대해

일단 LSN 자체는 'Large Scale NAT'의 약자이다. 무슨 상황인가 하니 집에서 인터넷이나 IPTV를 잘 쓰지 않아서 유선 인터넷을 해지하고 LTE 휴대폰 핫스팟으로만 버티던 시절이 있었다. 하지만 IT 쪽 사람이다 보니까 핫스팟 상태에서도 공유기 물리고 할 거 라즈베리파이 같은 걸 연결해서 사용해보고 싶은 생각이 계속 들어왔다. 그래서 행복회로를 돌리면서 핫스팟에 공유기를 물리고 공유기 DDNS 설정을 했는데.. 내부에선 접속이 잘되는데 외부에서는 접속이 안된다 ㅋㅋㅋ 이 상황을 이해하기 위해 거의 2주 동안 삽질한 결과 아래와 같은 정리를 할 수 있었다.

1. 휴대폰이 있고, 기지국이 있고, 코어 네트워크(실질 인터넷)가 순서대로 연결된다고 가정했을 때

2. 기지국에서 고정(유동)IP를 받아다가 휴대폰에다가 IP를 할당해주는 방식이 아니었다.

3. 기지국과 코어 네트워크 사이에 LSN('Large Scale NAT')라는 거대한 레벨의 공유기가 코어 네트워크의 IP를 받은 뒤 다시 사설 IP를 휴대폰들에게 뿌리는 식으로 구성이 되어 있던 것.

4. 그러니 일반 휴대폰 입장에서는 사설 IP만을 받아서 접속하기 때문에 외부에서 접근하기 위한 IP를 알수가 없는 것

5. LSN 도입 취지는 공인 IP 수량 확보가 1번이고, 나 같이 외부에서 접근하는 애들을 차단하기 위한 목적이 2번인 것

여튼 그래서 정상적인 방법으론 LTE 네트워크에 외부에서 접근이 불가능하였다.

그래서 지속적으로 빡쳐서 찾아본 결과 VPN 터널링을 구성하면 접근이 가능하다고 해서 Wireguard 를 통해서 VPN을 구성하고 접속해보니 외부에서도 접근이 가능했으나, VPN 단계까지 더 추가가 되니 속도가 못쓸 정도가 되어서 사실상 의미가 없는 수준이 되어버림.

결론은 유선 인터넷을 다시 집에 설치하게 되었다...

#LSN 관련 리서치 내역:

[Network Protocol] NAT (Network Address Translation) 소개 (RFC 3022/2663)

[TIL] Appsflyer 로데이터 API 호출 제한 횟수 이해하기 220930

에스프리터 — Fri, 30 Sep 2022 17:10:16 +0900

Today I Learned 요약 (21회차)
- Appsflyer의 API 호출 횟수 제한은 종류별로 상이하다
- Appsflyer의 API 호출 허용 횟수는 꽤 적은 편이다
- 다만 request 할 때 기간을 명시해서 보낼수 있어서 보완은 가능

Appsflyer 로데이터 API 호출 제한 횟수 이해하기

그간 개발이나 데이터 분석하면서 API는 죄다 총량 2000회, 15000회 이런 식인줄 알았는데 Appsflyer API는 항목 별로 좀 더 세분화가 되어 있고 호출 횟수 또한 상대적으로 적은 편이다. 물론 API request 를 날릴 때 from - to 날짜를 적시해서 보낼 수 있기 때문에 1번 요청할 때 기간을 오래 잡을 수는 있지만 이것도 100만 row 제한이 있어서 무한한 옵션이 아니다. 어쨌든 나로서는 리포트 로데이터에 관심이 있기 때문에 리포트 API에 대한 요약을 하려고 함.

항목 별로 할당량이 다른데 '앱 수준' 안드로이드 앱A이다, ios앱이다. 안드로이드 앱B 이다. 이렇게 App 단위로 할당되는 호출 제한량이고, 계정 수준 할당량은 앞서의 '앱 수준' 할당량을 포괄하여 계정 레벨에서의 할당량을 의미한다.

그래서 인앱 이벤트의 경우 '앱' 단위로는 하루에 12회 호출할 수 있고, 계정 합쳐서 누적 60회까지 호출할 수 있다. 즉, 오가닉 인앱 이벤트 12회, 논오가닉 인앱 이벤트 12회해서 합쳐서 24회면 60회를 초과하지 않았으니까 API 호출량이 36회 남았다고 볼 수 있다.

그리고 어트리뷰션은 앱 단위로 하루 24회이고, 계정 단위는 구독에 따라 달라지는데 설명상 디폴트는 120회로 되어있다.

매일 오전 09시(UTC+9) 에 API 호출 제한이 초기화되니까 이 점도 주의가 필요하다.

#appsflyer 관련 리서치 내역:

리포트 생성 할당량(비율 제한)

[TIL] Appsflyer의 리어트리뷰션과 리인게이지먼트에 대해 220929

에스프리터 — Thu, 29 Sep 2022 22:44:31 +0900

Today I Learned 요약 (20회차)
- 모바일 어트리뷰션 관점에서 리어트리뷰션과 리인게이지먼트로 분기
- 리인게이지먼트는 사용자의 디바이스에 App이 유지되고 있을 경우, 인앱 활동을 확인
- 리어트리뷰션은 사용자의 디바이스에 App이 없을 경우, 재다운로드를 유도

Appsflyer의 리어트리뷰션과 리인게이지먼트에 대해

요즘 관련 작업으로 계속 고통을 받고 있는 Appsflyer의 사용자 여정(user journey) 중 리어트리뷰션(re-attribution)과 리인게이지먼트(re-engagement) 부분에 대해 정리.

사용자가 App을 실행한 전적이 있을 경우, 그 이후에 사용자가 앱을 열도록 유도하는 광고(미디어) 소스를 클릭하고 App을 여는 과정을 리인게이지먼트(re-engagement)라고 부르고, 전적이 있으나 사용자 장치에서 더 이상 App을 발견할 수 없을 때는 설치를 유도함으로서 리어트리뷰션(re-attribution)이 부여된다. 사실 아래 이미지만 봐도 이해는 쉽게할 수 있다.

아주 정확하진 않으나 대략 아래와 같이 설명할 수 있을 것 같다.

Re-engagement : 사용자 휴대폰에 App이 깔린 상태에서 App 광고를 보고, 다시 App을 실행하여 활동하는 여정

Re-attribution : 사용자 휴대폰에 App이 깔린 줄 알았으나 App 광고를 보는 시점에 App이 휴대폰에 없을 경우, 재다운로드를 유도하는 여정

#appsflyer 관련 리서치 내역:

리타겟팅 어트리뷰션 가이드

[TIL] Python에서 Ping 체크하기 220928

에스프리터 — Wed, 28 Sep 2022 21:48:11 +0900

Today I Learned 요약 (19회차)
- Python에서 ping3를 사용해서 특정 서버에 ping을 날릴 수 있다.

Python에서 Ping 체크하기

네트워크 문제로 NAS가 죽어버리는 일이 생겼는데, 언제 사건이 발생했는지 알 방법이 없어서 외부에서 지속적으로 NAS 주소에 ping을 넣어서 상태를 검출하는 방법을 찾다가 ping3 라는 걸 알게 됨. 방법도 어렵지 않음.

from ping3 import ping
path = "google.com"
response = ping(path)

if response == False:
    print(False)
else:
    print(True)

#ping 관련 리서치 내역:

[TIL] AWS Athena에서 Json 값 추출 220927

에스프리터 — Tue, 27 Sep 2022 23:05:49 +0900

Today I Learned 요약 (18회차)
- AWS Athena에 json 형태로 저장된 값에서 데이터를 추출할 수 있다
- 사용함수는 json_extract 함수를 사용하면 가능

AWS Athena에서 Json 값 추출

DB에 Json 형태로 값이 저장되어 있을 경우, Json을 parsing 해서 써야 하는데 AWS Athena의 경우 json_extract 함수를 통해서 key 기준 값을 추출할 수 있도록 하고 있다.

WITH dataset AS (
  SELECT '{"name": "Smith",
           "org": "Tech",
           "projects": [{"name":"project1", "completed":false},
           {"name":"project2", "completed":true}]}'
    AS blob
)
SELECT
  json_extract(blob, '$.name') AS name,
  json_extract(blob, '$.projects') AS projects
FROM dataset

AWS 예제를 그대로 가지고 와봤는데 $.key 값 형태로 추출을 할 수 있다.

일반 DB 형태의 경우 아래처럼 쿼리를 작성해볼 수 있다. event_json 칼럼의 name 값과 content 값을 추출하는 예시이다

select
date_value
, json_extract(event_json, '$.name')
, json_extract_scalar(event_json, '$.content')
from database.json_inserted
where createdat_month >= '2022-08'
limit 1000
;

#aws 관련 작성 및 리서치 내역:

JSON에서 데이터 추출

[TIL] 리눅스 하위 디렉토리를 포함한 특정 확장자 파일 삭제 220926

에스프리터 — Mon, 26 Sep 2022 21:30:42 +0900

Today I Learned 요약 (17회차)
- 리눅스에서 find와 -exec를 사용하여 하위 디렉토리 파일을 삭제할 수 있다.

리눅스 하위 디렉토리를 포함한 특정 확장자 파일 삭제

디렉토리나 다른 파일들은 그대로 둔 상태에서 특정 확장자 파일을 지우려고 할 때 사용 가능한 방법. 윈도우에서는 와일드 카드를 써서 검색해서 GUI 상에서 지울수 있지만 리눅스는 보통 CUI에서 사용함으로 아래 명령어를 쓰면 괜찮을 듯 하다.

find로 파일을 찾고 -exec / rm을 통해 해당 파일을 삭제하는 원리로 동작한다.

# 여기서는 tmp 확장자를 가진 파일 일괄 삭제
find . -name '*.tmp' -exec rm {} \;

#linux 관련 작성 및 리서치 내역:

linux 하위폴더 포함 특정 확장자 파일 삭제

[TIL] 우분투 Swap(가상 메모리) 용량 늘이기 220923

에스프리터 — Fri, 23 Sep 2022 12:14:48 +0900

Today I Learned 요약 (16회차)
- 리눅스(우분투) Swap 메모리를 늘림으로서 메모리 부족에 임시로 대응 가능

우분투 Swap(가상 메모리) 용량 늘이기

개인 서버로 쓰고 있는 셀러론 노트북에 Docker 기반 airflow를 돌리고 있는데 메모리가 부족한지, 원격 ssh 접속 유지하면서 도커를 실행하면 메모리 부족으로 빽이 나는 경우가 있어서 이럴 때 임시로 대응할 수 있는 swap 메모리 늘리기 방법을 기록해두려고 함. 이상적으로는 물리 메모리를 늘리는 게 좋지만 임시로 대응할 땐 유효함.

# 원하는 swap 파일 크기를 지정(여기서는 4G로 작성)
sudo fallocate -l 4G /swapfile

# Swap 파일에 사용자가 편집할 수 있도록 권한 부여
sudo chmod 600 /swapfile

# 해당 파일에 mkswap 명령어로 swap 생성
sudo mkswap /swapfile

# swap 파일 활성화
sudo swapon /swapfile

# nano 에디터로 아래 경로에 들어가서 /swapfile에 대한 정의 추가
sudo nano /etc/fstab
/swapfile swap swap defaults 0 0

#linux 관련 작성 및 리서치 내역:

우분투 스왑 파일 만들어 메모리 용량 2배 늘리기

[TIL] Appsflyer Pull API 엔드포인트 목록 220922-5

에스프리터 — Thu, 22 Sep 2022 17:53:02 +0900

Today I Learned 요약 (15회차)
- appsflyer의 로데이터 목록은 크게 5가지

Appsflyer Pull API 엔드포인트 목록

Appsflyer에도 데이터를 다운받을 수 있게 API를 제공하고 있는데 대시보드 상의 표현과는 조금 다른 로데이터(rawdata) 형식이여서 목록을 적어놓고 추후 제대로 정리해볼까 함.

Raw data non organic report (GET)
- 논오가닉. 즉 광고 미디어를 터치 혹은 클릭해서 앱(app)을 설치 내역 및 앱 내 활동 정보
Raw data organic report(GET)
- 오가닉. 즉 순수한 의도로 앱(app)을 설치 내역 및 앱 내 활동 정보
Ad Revenue raw data Attributed (GET)
- 광고 미디어 소스별 성과 현황 정보
Protect360 fraud Installs (GET)
- 부정 설치 사용자들을 차단한 내용
Install postbacks (GET)
- 사용자가 앱을 설치 완료하였을 때, 설치 정보를 광고 미디어사에 Postback 하는 것

#appsflyer 관련 작성 및 리서치 내역:

Appsflyer RAW DATA PULL API

[TIL] 리눅스에서 enable 된 서비스 목록을 확인하고 싶을 때 명령어 220922-1

에스프리터 — Thu, 22 Sep 2022 15:53:12 +0900

Today I Learned 요약 (11회차)
- 리눅스에서 enable 된 서비스 목록을 확인하고 싶을 때 사용 가능한 명령어

리눅스에서 enable 된 서비스 목록을 확인하고 싶을 때 명령어

리눅스에서 보통 서비스를 재부팅할 때도 쓰기 위해서 enable 할 때가 많은데 간혹 어떤 걸 enable 로 시켰는지 기억이 안 날 때가 있다. 그럴 때 사용할 수 있는 명령어인데... 사실 모든 리스트가 다 출력되기 때문에 웬만하면 자기가 관리하는 건 기억해두는 게 좋을 듯 하다..

systemctl list-unit-files | grep enabled

#linux 관련 작성 및 리서치 내역:

How to list all enabled services from systemctl?

[TIL] Postgresql에서 현재 날짜 추출하기 220922

에스프리터 — Thu, 22 Sep 2022 10:38:57 +0900

Today I Learned 요약 (10회차)
- Postgresql에서 현재 날짜를 추출하고 응용할 수 있다.

Postgresql에서 현재 날짜 추출하기

Postgresql에서는 now()를 통해 시스템 날짜를 추출할 수 있다.

select now();

간혹 Timezone 문제가 있을 수 있다면 아래처럼 타임존과 시간 포맷을 지정해서 출력할 수 있다.

select (to_char(now() at time zone 'Asia/Seoul', 'YYYY-MM-DD'));

이를 가지고 짝수일 홀수일을 구하고 싶다면 아래와 같이 응용할 수 있다.

select CASE WHEN cast(to_char(now() at time zone 'Asia/Seoul', 'DD') as int) %2=0 THEN '짝수일' ELSE '홀수일' END AS EvenOdd;

#SQL 관련 작성 및 리서치 내역:

[TIL] AWS cli를 사용해서 s3 파일 일괄 다운받기 220921

에스프리터 — Wed, 21 Sep 2022 08:46:03 +0900

Today I Learned 요약 (9회차)
- AWS CLI를 사용해서 s3 데이터를 일괄 다운 받을 수 있다
- 명령어는 aws cp를 사용하면 됨

AWS cli를 사용해서 s3 파일 일괄 다운받기

AWS s3에 있는 데이터를 다운 받고 싶을 때 웹 화면에서는 폴더 단위로 일괄 다운로드를 지원하지 않는다. 그래서 개별로 하나하나 들어가서 다운을 받아야 하는데 이럴 경우엔 AWS CLI를 쓰는 게 편리함.

1. AWS 홈페이지에서 CLI를 다운받고 설치

2. 터미널(명령 프롬프트)를 열고 aws configure를 입력하여 설정값 입력

aws configure
AWS Access Key ID [None]:
AWS Secret Access Key [None]: 
Default region name [None]: 
Default output format [None]:

3. aws s3 cp {s3 경로} {다운받을 로컬 경로} --recursive 를 통해서 파일 다운로드, 단일 파일 다운로드 시에는 recursive가 필요없지만, 폴더 전체를 다운받으려면 recursive 설정이 필요함.

aws s3 cp my-local-folder s3://my-s3-bucket/ --recursive

#AWS 관련 작성 및 리서치 내역:

[TIL] python에서 dataframe를 깔끔하게 Print 출력시키기 220920-3

에스프리터 — Tue, 20 Sep 2022 12:26:38 +0900

Today I Learned 요약 (8회차)
- tabulate를 이용해 Dataframe을 깔끔하게 print 할 수 있다

python에서 dataframe를 깔끔하게 Print 출력시키기

python에서 dataframe을 print 출력하면 줄 간격 등이 맞지 않아 알아보기 힘들게 출력이 된다. 그때 도움이 되는 것이 tabulate다.

from tabulate import tabulate

설치후 아래와 같이 그냥 print가 아닌 tabulate를 걸어주고 출력하면 예쁘게 출력되는 것을 볼 수 있다. 템플릿도 사용할 수 있으니 참고.

>>> from tabulate import tabulate

>>> table = [["Sun",696000,1989100000],["Earth",6371,5973.6],
...          ["Moon",1737,73.5],["Mars",3390,641.85]]
>>> print(tabulate(table))
-----  ------  -------------
Sun    696000     1.9891e+09
Earth    6371  5973.6
Moon     1737    73.5
Mars     3390   641.85
-----  ------  -------------

#tabulate 관련 작성 및 리서치 내역:

tabulate 0.8.10

[TIL] Grafana CLI를 사용한 관리자 비밀번호 초기화 220920-2

에스프리터 — Tue, 20 Sep 2022 12:15:53 +0900

Today I Learned 요약 (7회차)
- Grafana cli 를 통해서 관리자 비밀번호 초기화가 가능

Grafana CLI를 사용한 관리자 비밀번호 초기화

Grafana 비밀번호를 까먹었을 경우, 아래와 같이 linux 상에서 grafana cli를 사용하여 초기화가 가능

grafana-cli admin reset-admin-password [new password]

#Grafana 관련 작성 및 리서치 내역:

[Grafana] admin 계정 패스워드 초기화

[TIL] Docker로 wireguard VPN 서버 실행하기 220920-1

에스프리터 — Tue, 20 Sep 2022 12:07:12 +0900

Today I Learned 요약 (6회차)
- Docker(도커)를 사용해서 wireguard vpn 서버를 구축할 수 있다

Docker로 wireguard VPN 서버 실행하기

VPN 서버인 Wireguard를 도커에서 구현하기 위한 참고 문서는 배틀필드를 돌리기 위해 오라클 클라우드를 사용해서 VM을 구성하고, 거기에 도커 - Wireguard를 돌리기 위한 방법을 수행하였으나 나 같은 경우는 장난감으로 돌리고 있는 우분투 서버가 있기 때문에 명령어 부분만 정리. 필요하신 분들은 아래 리서치 내역을 참고하면 될 듯.

# apt update 하기
sudo apt-get update;sudo apt-get -y upgrade;sudo apt-get -y dist-upgrade;

# 도커 준비
curl -sSL https://get.docker.com | sh
sudo usermod -aG docker $(whoami)

# 도커 run (ip와 비밀번호는 각자 취향대로..)
docker run -d --name=wg-easy -e WG_HOST=1.2.3.4 -e PASSWORD="1q2w3e4r!" -v ~/.wg-easy:/etc/wireguard -p 51820:51820/udp -p 51821:51821/tcp --cap-add=NET_ADMIN --cap-add=SYS_MODULE --sysctl="net.ipv4.conf.all.src_valid_mark=1" --sysctl="net.ipv4.ip_forward=1" --restart unless-stopped weejewel/wg-easy

# 도커 도는지 확인
docker ps

정상적으로 도커가 실행되는지 확인한 후 아래와 같이 접속하면 된다.

http://[공용 IP 주소]:51821

#VPN 관련 작성 및 리서치 내역:

[공략/팁] [VPN] 3. 인스턴스 접속 및 wg-easy 설치 및 설정

[TIL] AWS Athena에서 기존 파티션 drop하고, 신규 파티션 생성 220920

에스프리터 — Tue, 20 Sep 2022 10:48:54 +0900

Today I Learned 요약 (5회차)
- AWS Athena에서 파티션이 잘못 생성되었을 경우 alter table을 사용해서 기존 파티션을 삭제하고, 새로운 파티션 생성 가능

AWS Athena에서 기존 파티션 drop하고, 신규 파티션 생성

Athena에서 실수로 파티션을 잘못 생성한 경우(s3 경로를 잘못 입력했다던가 하는 이유로) 기존 파티션을 삭제하고, 신규 파티션을 생성할 수 있음.

-- 기존 파티션 삭제 
ALTER TABLE {테이블명}
DROP IF EXISTS PARTITION ({파티션 키} = {파티션 값});
-- 파티션 키 대체
ALTER table {테이블명} ADD IF NOT EXISTS
PARTITION ({파티션 키} = {파티션 값}) LOCATION {s3 경로 값};

-- 예제 쿼리
ALTER TABLE database.table_name
DROP IF EXISTS PARTITION (partition_key = '2022-09-03');

ALTER table database.table_name ADD IF NOT EXISTS
PARTITION (partition_key = '2022-09') LOCATION 's3://data/2022/09/03';

#aws 관련 작성했던 것:

#aws 관련 리서치한 것:

ALTER TABLE DROP PARTITION

[TIL] 리눅스에서 log 없이 백그라운드 프로세스 실행 20220919

에스프리터 — Tue, 20 Sep 2022 00:24:49 +0900

Today I Learned 요약 (4회차)
- nohub을 쓰면 백그라운드 실행 가능

리눅스에서 log 없이 백그라운드 프로세스 실행

보통 리눅스에서 sh 등을 실행하면 터미널이 열려 있을 동안에만 프로세스가 실행된다. 하지만 백그라운드에서 상시 돌아가게 만들려면 nohup 명령어를 사용해서 백그라운드에서 실행시킬 수 있다.

nohup example.sh 1> /dev/null 2>&1 &

만일 백그라운드 프로세스를 중지하고 싶다면, ps -ef | grep 프로세스 명을 사용하고, kill 명령어로 중지하면 된다.

#nohup 관련 리서치한 것:

nohup 명령어 .log 파일없이 실행

[TIL] RTL-SDR 서버 구축을 위한 자료 리서치 220915

에스프리터 — Thu, 15 Sep 2022 09:56:11 +0900

Today I Learned 요약 (2회차)
- RTL_TCP를 사용해서 RTL-SDR을 원격으로 제어할 수 있음
- Git Repo에서 구성 가능
- 외부 접근을 허용하려면 rtl_tcp -a 0.0.0.0 으로 실행해야 함

RTL-SDR 서버 구축을 위한 자료 리서치

RTL-SDR USB 수신기와 안테나를 가지고 놀던 중 안테나를 들고다닐 필요 없이, 고정 장소에 설치해두고 원격으로 조작할 수 있는 방법에 대해 찾게됨. 다른 RTL-SDR 커뮤니티에서 원격으로 주파수를 제어하는 것도 있었으니 기술적으로는 가능하단 얘기.

찾아본 결과 rtl_sdr_server 라는 Repo가 git에 있는 것을 확인. 별로 어렵진 않으나 원격지에서 접속하려면 예시처럼 그냥 실행하는 것이 아닌 아래처럼 Listening 주소를 지정해줄 필요가 있음.

rtl_sdr -a 0.0.0.0

rtl_tcp를 통해서 접근하려면 SDR 수신 프로그램 중에서 지원하는 걸 찾아야 하는데, windows에서는 airspy를 썼고, mac에서는 sdr++를 사용하여 접근 테스트함. 아래 리서치 중에 지원 소프트웨어 목록이 있으니 그걸 참고해서 실행하면 될 듯함.

#rtl_sdr 관련 리서치한 것:

[TIL] 라즈비안 한글 폰트 설치하기 220914

에스프리터 — Wed, 14 Sep 2022 18:10:17 +0900

Today I Learned 요약 (1회차)
- 라즈비안은 한글을 지원하지 않음
- apt install을 통해 나눔고딕 폰트를 설치해야 함

라즈비안에 한글 폰트 설치하기

라즈비안(raspbian) 운영체제는 한글이 사전 설치되어 있지 않기 때문에 인터넷으로 네이버를 들어간다던가 하면 에러가 발생한다.

아래와 같이 명령어를 순차적으로 입력하고 재부팅을 누르면 이후 부터는 한글이 정상 출력되는 것을 확인할 수 있다. 다만 한글 출력과 한글 입력은 별개이기 때문에 한글이 입력되지는 않는다는 것에 주의할 필요가 있음.

# APT 패키지 업데이트
sudo apt update
sudo apt upgrade

# 나눔고딕 설치
sudo apt install fonts-nanum
sudo apt install fonts-nanum-extra

# 재부팅
sudo reboot

#라즈비안 관련 리서치한 것:

라즈베리파이 : 설치 후 한글 폰트 설치 및 한글 입력기 설정 방법

OpenBLAS WARNING - could not determine the L2 cache size on this system, assuming 256k 와 같은 에러가 발생했을 때

에스프리터 — Tue, 23 Aug 2022 15:51:51 +0900

lambda를 실행하면서 아래와 같은 로그와 함께 에러가 발생하는 경우가 있다.

OpenBLAS WARNING - could not determine the L2 cache size on this system, assuming 256k

이럴 경우, 아래처럼 Lambda 구성 - 메모리 용량을 늘려주면 대부분 해결된다.

AWS Athena 쿼리 실행 시 일부 쿼리에서 Limit 무시하는 현상에 대해

에스프리터 — Sun, 21 Aug 2022 17:57:31 +0900

AWS Athena

AWS Athena에서 쿼리를 실행할 때 쿼리에 Limit을 추가할 때 limit을 무시하고 쿼리가 출력되거나 의도하지 않은 값이 리턴되는 경우가 있어서 찾아본 결과. 아래와 같은 답변이 보여서 공유합니다.

예컨대 Athena는 쿼리 실행 시, 쿼리 동작을 계획할 동안 파티션된 파일을 목록화(list) 하는데 이 시점에서 파일의 Row 개수를 정확히 알지 못하기 때문에 쿼리를 실행해서 관련 된 모든 데이터를 읽은 다음 10개 째의 Row가 출력되는 시점에 작업을 중단하는 방식을 취하고 있는 듯 합니다.

따라서 Limit 형태보다는 where 조건으로 Athena가 쿼리해야 될 대상을 명확하게 하는 게 좀 더 효율적입니다.

Athena plans a query and then executes it. During planning it lists the partitions and all the files in those partitions. However, it does not know anything about the files, how many records they contain, etc.
When you say LIMIT 10 you're telling Athena you want at most 10 records in the result, and since you don't have any grouping or ordering you want 10 arbitrary records.
However, during the planning phase Athena can't know which partitions have files in them, and how many of those files it will need to read to find 10 records. Without listing the partition locations it can't know they're not all empty, and without reading the files it can't know they're not all empty too.
Therefore Athena first has to get the list of partitions, then list each partition's location on S3, even if you say you only want 10 arbitrary records.
In this case there are so many partitions that Athena short-circuits and says that you probably didn't mean to run this kind of query. If the table had fewer partitions Athena would execute the query and each worker would read as little as possible to return 10 records and then stop – but each worker would produce 10 records, because the worker can't assume that other workers would return any records. Finally the coordinator will pick the 10 records out of all the results form all workers to return as the final result.
Athena는 쿼리를 계획한 다음 실행합니다. 계획하는 동안 파티션과 해당 파티션의 모든 파일을 나열합니다. 그러나 파일, 파일에 포함된 레코드 수 등에 대해서는 알지 못합니다.
'LIMIT 10'이라고 말하면 Athena에 결과에 최대 10개의 레코드가 포함되기를 원하고 그룹화 또는 정렬이 없기 때문에 임의의 레코드 10개를 원한다고 말하는 것입니다.
그러나 계획 단계에서 Athena는 파일이 있는 파티션과 10개의 레코드를 찾기 위해 읽어야 하는 파일의 수를 알 수 없습니다. 파티션 위치를 나열하지 않고 모두 비어 있지 않다는 것을 알 수 없으며 파일을 읽지 않고는 모두 비어 있지 않다는 것을 알 수 없습니다.
따라서 Athena는 10개의 임의 레코드만 원한다고 해도 먼저 파티션 목록을 가져온 다음 S3에 각 파티션의 위치를 나열해야 합니다.
이 경우 파티션이 너무 많아서 Athena는 단락을 하고 이러한 종류의 쿼리를 실행할 의도가 없었다고 말합니다. 테이블에 파티션이 더 적은 경우 Athena는 쿼리를 실행하고 각 작업자는 가능한 한 적게 읽고 10개의 레코드를 반환한 다음 중지합니다. 그러나 작업자는 다른 작업자가 어떤 레코드도 반환할 것이라고 가정할 수 없기 때문에 각 작업자는 10개의 레코드를 생성합니다. . 마지막으로 코디네이터는 모든 작업자의 모든 결과에서 10개의 레코드를 선택하여 최종 결과로 반환합니다.

Ref.

Athena ignore LIMIT in some queries

SELECT

AWS lambda에서 계층 추가 시 ‘Layers consume more than the available size of 262144000 bytes’ 오류가 뜰 경우 대처 방안

에스프리터 — Fri, 19 Aug 2022 16:13:18 +0900

AWS Athena

AWS Athena에서 python 함수를 실행할 때 pandas 같은 기본 미지원 패키지를 추가하기 위해 계층(layer)를 추가할 때가 있는데 아래와 같이 메시지가 뜰 때가 있습니다.

원인은 말 그대로 계층 한계 용량 (약 262mb) 보다 많은 계층 용량을 적용하기 위해 발생합니다. 이럴 경우 아래 3가지 정도 대응 방안이 있습니다.

계층에 추가된 패키지 중 불필요하고, 용량 많이 잡아먹는 python 패키지를 처음부터 제외하기
Python 버전 여러 개에 대응하도록 설정되어있다면 Lambda에서 실제 사용하는 python 버전만 사용
기존에 이미 추가된 Layer 중 불필요한 layer가 있는지 조회해서 삭제하기

저 같은 경우 2번 항목으로, lambda에서 실제 사용하는 python 버전에 맞게 패키지를 구성하니 불필요한 용량이 줄어들었습니다.

p.s

lambda 용량 한계는 250mb지만 임시 스토리지 용량은 10gb 까지 사용 가능하도록 변경되었습니다.

Ref:

Node.js - AWS Lambda 용량 줄이기(Layer를 사용하자)

Why is there a size difference when using the AWS Lambda layers vs AWS SAM deployment package

소니 WF-1000XM3 이어폰 배터리 교체 후기

에스프리터 — Sun, 7 Nov 2021 17:10:04 +0900

문제의 시작

소니의 이어폰 WF-1000XM3를 사용하고 있었는데 배터리가 30~40분 정도로 줄어들었습니다. 여기까지는 그럴 수 있죠. 문제는 유료 A/S를 받아보려고 소니 A/S 센터에 연락을 해보니 부품 교체가 아니라 리퍼만 되어서 교체할 경우 사실상 새로 사는 게 이득일 정도의 비용이 발생하는 겁니다. 그래서 찾아보니까 맨 아래 참고 링크처럼 교체하셨던 분이 계시더라구요. 그래서 용기를 얻고 저도 한번 야매로 수리해보기로 했습니다. 결론부터 말하면 충전 확인 LED 1개를 제물로 바치고 성공했습니다. 그래서 저처럼 배터리가 노후화 된 분들이 참고하실만한 글입니다. 다만 양면 테이프 붙어있는 부분이 2개나 되어서 잘못하면 그냥 이어폰 날려먹을 수 도 있습니다. 본 글을 읽고 신중히 판단하시기 바랍니다.

준비물 구매

준비물은 당연히 이어폰 본체는 필요하고, 그 외에 필요한 게 아래의 3가지 입니다. 본글 맨 아래에 구매 링크가 있습니다.

오프닝 픽은 이어폰 뚜껑을 따기 위한 거고, 배터리는 교체용, 다이소 미니 드라이버는 내부의 십자 나사를 빼기 위한 용도입니다.

오프닝 픽
CP1254 배터리 2개 (알리익스프레스 구매인데 현재는 더 이상 판매하지 않아서 검색 글로 대체합니다)
다이소 미니 드라이버 세트

이렇게 준비를 합니다. (드라이버는 카메라에 안 찍혔네요...)

오프닝 픽으로 이어폰 뚜껑을 따봅시다. 측면에서부터 살살 열어가면서 돌리다 보면 따입니다. 깊숙히 넣지 않고 주변부를 딴다는 생각으로 진행해주세요. 깊숙히 넣으면 내부가 손상됩니다.

뚜껑을 따면 아래와 같은 모습입니다. 뚜껑 쪽의 검정색 동그라미 스펀지 같은게 크게 손상되지 않아야 합니다. 어느 한쪽엔 온전히 붙어야 하는데 크게 손상되면 향후 이어폰 터치가 제대로 되지 않습니다.

그리고 이어폰 내부에 보면 아래와 같이 2개의 나사가 고정되어 있습니다. 그것을 드라이버로 살살 풀어줍니다.

나사를 분리하고 살살 들어보면(혹은 1자 드라이버로 살살 들어올려보면 아래와 같이 조개 열리듯 분리가 되는데요. 배터리와 아래 전극이 양면 테이프로 붙어 있습니다. 이 부분을 살살 들어서 분리를 해줍니다.

그러면 아래와 같이 분리되는 데 전극을 분리해서 새로 구매한 배터리로 교체해줍니다. +- 잘 맞춰서 끼우시기 바랍니다. 안 그러면 쇼트나서 홀라당 날려 먹습니다. 그리고 전극 쪽에 구멍이랑 부품이랑 딱 맞게 물려주시기 바랍니다. 안 그러면 제대로 충전이 안되는 경우가 있더라구요.

그리고 역순으로 다시 조립해서 충전기에 넣고 5분여 정도 충전을 시켜보고 이어폰을 뽑아서 정상적으로 사용이 되면 교체에 성공한 것입니다!!

저는 1개가 작동을 안해서 망했나 이러면서 배터리 다시 끼워서 해봤는데 결론은 방전때문에 생긴 이슈였습니다. 충전기에 넣어서 일단 빨간불이 들어오면 지켜보시다가 테스트해보시기 바랍니다. 저는 LED 1개 날려먹은 것치곤 멀쩡하게 끝나서 다행이라고 생각했습니다 ㅎㅎ 손 기술 좋은 와이프에게 엄청난 감사를 드립니다... ( _ _ )

참고 링크

다른 분의 배터리 교체 후기
중년 아빠의 세상도 아름다워야 한다. : 네이버 블로그
해외의 배터리 교체 후기
How to Replace SONY WF-1000XM3 TWS Earbuds Battery?
오프닝 픽 구매 링크
아이픽스잇 오프닝 픽 1개 아이폰 맥북 아이패드 갤럭시 다용도 수리공구 iFixit : 파트스캐너
CP1254 배터리 검색 링크
cp1254 - AliExpress 에서 cp1254 구매하고 무료로 배송받자 version
다이소 미니 드라이버 소개
quecn : 네이버 블로그

PowerToys 수정이나 삭제, 업데이트가 안 될 경우 대처

에스프리터 — Mon, 1 Nov 2021 18:20:15 +0900

PowerToys를 사용하고 있다가 설치나 업데이트가 안 될 경우가 있습니다.

현재까지 유력한 경우는 Temp 폴더에 보관 중이던 powertoys 설치 파일은 디스크 정리나 다른 프로그램이 지워버렸을 경우에 발생하는 듯 합니다.

SQLD 2과목 2장 정리

에스프리터 — Wed, 14 Jul 2021 17:06:03 +0900

2장 1절 - 서브 쿼리

서브쿼리란?
- 하나의 SQL문 안에 포함되어 있는 또다른 SQL문을 의미한다.

서브쿼리 사용 시 주의 사항
- 서브 쿼리는 괄호로 감싸서 기술
- 서브 쿼리는 단일행(single row) 또는 복수 행(multiple row) 비교 연산자와 함께 사용 가능.
- 단일행 비교 연산자는 서브쿼리 결과가 반드시 1건 이하여야 하고, 복수행 비교 연산자는 서브 쿼리의 결과 건수와 무관
- 중첩 서브 쿼리 및 스칼라 서브 쿼리에서는 order by를 사용하지 못한다.

서브 쿼리의 분류
- 동작 방식에 따른 서브쿼리 분류
- 반환 데이터 형태에 따른 서브쿼리 분류

단일 행 서브쿼리
- 서브쿼리가 단일행 비교 연산자(=, >, <, <> 등)과 함께 사용할 때는 서브쿼리 결과 건수가 반드시 1건 이하여야 함
- 만일 2건 이상을 반환하려면 SQL문은 실행시간 오류 발생 (아래 예시 기준, 김남일의 동명이인이 있다면 오류가 발생)

다중 행 서브쿼리
- 서브 쿼리의 결과가 2건 이상 반환될 수 있다면, 반드시 다중 행 비교 연산자(IN, ALL, ANY, SOME)과 함께 사용
- 다중 행 비교 연산자는 아래와 같음.

다중 칼럼 서브 쿼리
- 다중 컬럼 서브쿼리는 서브 쿼리의 결과로 여러개의 칼럼이 반환돼 메인 쿼리의 조건과 동시에 비교하는 것을 의미. SQL Server에서는 미지원
- 예로 소속팀 별 키가 가장 작은 사람들의 정보를 출력하고자 할 때 아래와 같이 작성 가능

연관 서브 쿼리
- 연관 서브 쿼리는 서브 쿼리 내에 메인 쿼리 칼럼이 사용된 서브 쿼리.
- 예를 들어 선수 자신이 속한 팀의 평균키보다 작은 선수들의 정보를 출력하는 SQL문을 아래와 같이 작성 가능

그 밖의 위치에서 사용하는 서브 쿼리
- SELECT 절에 서브 쿼리 사용
- FROM 절에서 서브 쿼리
- HAVING 절에서 서브 쿼리 사용
  
  "/>

뷰
- 테이블은 실제로 데이터를 가진 반면 뷰는 실제 데이터를 가지고 있지 않음.
- 다만 뷰 정의(View Definition)만을 가지고 있음.
- 뷰의 장점은 아래와 같음.
- 뷰의 생성은 아래와 같이 CREATE VIEW로 생성 가능
- 뷰를 사용할 경우 DBMS가 내부적으로 SQL문을 다시 재작성
- 뷰를 삭제하기 위해선 DROP VIEW를 사용

2장 2절 - 집합 연산자

정의
- 2개 이상의 테이블에서 조인을 사용하지 않고 연관 데이터를 조회하는 방법
- 조인은 조인 조건을 사용해 여러 테이블의 행과 행을 연결하는 반면 집합 연산자는 여러개의 결과 집한 간의 연산을 통해 결합하는 방식
- 즉, 2개 이상의 질의 결과를 하나의 결과로 반환

집합연산자 종류

UNION과 UNION ALL 을 사용했을 때 결과가 달라짐
- UNION은 중복값을 제외 / UNION ALL은 전체 표기

2장 3절 - 그룹 함수

그룹 함수 종류
1. AGGREGATE FUNCTION
  - COUNT, SUM, AVG, MAX, MIN 등의 집계함수 포함
1. GROUP FUNCTION
  - 결산 개념의 업무가 있을 경우, 여러개의 테이블을 1개로 묶기 위해 GROUPING 함수와 CASE 함수를 사용
  - ROLLUP, CUBE, GROUPING SETS 함수가 있음
1. WINDOW FUNCTION
  - 분석함수 내지 순위 함수로도 알려진 윈도우 함수는 데이터 웨어하우스에서 발전한 기능

ROLL UP 함수
- 일반적인 GROUP BY SQL 문장에 사용 가능

CUBE 함수
- ROLLUP에서는 가능한 SubTotal만을 생성하지만 CUBE에서는 결합 가능한 모든 값에 대해 다차원 집계 생성
- 가능한 모든 경우의 수에 대해 SUB TOTAL을 생성할 때는 CUBE를 사용하는 것이 바람직하나 부하가 걸리기 때문에 주의 필요

GROUPING SETS 함수
- GROUPING SETS 함수를 이용해 GROUP BY를 여러번 반복하지 않고도 원하는 결과 획득 가능
- GROUPING SETS에 표시된 인수들에 대해 개별 집계를 구할 수 있으며, 이때 표시된 인수 간에는 계층 구조인 ROLLUP과 달리 평등한 관계이므로 인수의 순서가 바뀌어도 결과는 동일

2장 4절 - 윈도우 함수

행과 행간의 관계를 쉽게 정의하기 위한 함수

윈도 함수 종류
- 그룹 내 순위(RANK) 관련 함수 → RANK, DENSE_RANK, ROW_NUMBER
- 그룹내 집계(AGGREGATE) 관련 함수 → SUM, AMX, MIN, AVG, COUNT
- 그룹 내 행 관련 함수 → FIRST_VALUE, LAST_VALUE, LAG, LEAD
- 그룹 내 비율 관련 함수 CUME_DIST, PERCENT_RANK_ NTILE, RATIO_TO_REPORT

윈도우 함수에는 OVER 문구가 키워드로 필수 포함

RANK 함수 → RANK는 ORDER BY 를 포함한 QUERY문에서 특정 항목에 대한 순위를 구하는 함수다. 이때 특정 범위 내에서 순위를 구할 수도 있고, 전체 데이터에 대한 순위를 구할 수도 있다. 동일한 값에 대해서는 동일한 순위 부여

DENSE_RANK 함수 → DENS_RANK 함수는 RANK와 유사하나 동일한 순위를 하나의 건수로 취급

일반 집계함수
- SUM 함수
- MAX 함수
- MIN 함수
- AVG 함수
- COUNT 함수

FIRST_VALUE 함수 → FIRST_VALUE 함수를 이용해 파티션 별 윈도우에서 가장 먼저 나온 값을 구한다. SQL SERVER에서는 지원하지 않는다. MIN 함수와 동일한 값을 얻을 수도 있다.

LAST_VALUE 함수 → LAST_VALUE 함수를 이용해 파티션 별 윈도우에서 가장 나중에 나온 값을 구한다. MAX와 같은 결과를 얻을 수도 있다.

LAG 함수 → LAG 함수를 이용해 파티션 별 윈도우에서 이전 몇번째의 행의 값을 가져올 수 있다. SQL SERVER에서는 지원하지 않는다.

LEAD 함수 → LEAD 함수를 이용해 파티션 별 윈도우에서 이후 몇번째 행의 값을 가져올 수 있다. SQL SERVER 미지원

그룹 내 비율 함수
- RATIO_TO_REPOSRT → 파티션 내 전체 SUM 값에 대한 행별 칼럼 값의 백분율을 소수점을 구할 수 있다. 결과값은 >0 & ≤ 1의 범위를 가진다. 전체 RATIO의 합은 1일다.
- PERCENT_RANK 함수 → 파티션 별 윈도우에서 제일 먼저 나오는 것을 0으로, 제일 늦게 나오는 것을 1로 해서 행의 순서 별 백분율을 구한다.
- CUME_DIST 함수 → 파티션 별 윈도우의 전체 건수에서 현재 행보다 작거나 같은 건수에 대한 누적 백분율을 산출
- NTILE 함수 → NTILE 함수를 이용해 파티션 별 전체 건수를 ARGUMENT 값으로 N 등분한 결과를 구할 수 있다.

2장 5절 - TOP N 쿼리

ROWNUM 슈도 칼럼
- SQL 철 ㅣ결과 집합의 각 행에 대해 임시로 부여되는 일련번호다. 테이블이나 집합에서 원하는 만큼 행만 가져오고 싶을 때 WHERE 절에서 행의 개수를 제한하는 목적으로 사용한다.

TOP 절
- TOP 절을 사용해 집합으로 출력되는 행의 수를 제한 가능

ROW LIMITING 절
- ROW LIMITING 절로 TOP N 쿼리 작성 가능

2장 6절 - 계층형 질의와 셀프 조인

정의
- 테이블에 계층형 데이터가 존재하는 경우 데이터를 조회하기 위해서 계층형 질의를 사용

셀프 조인
- 셀프 조인이랑 동일 테이블 사이의 조인을 의미함. 따라서 FROM 절에 동일 테이블이 2번 이상 타나탐. 동일 테이블 사이의 조인을 사용하면 테이블과 칼럼이 동일하기 때문에 Alias를 사용해야 함

3. 계층형 질의

계층형 데이터 조회는 DBMS 벤더와 버전에 따라 다른 방법으로 지원한다. 여기서는 Oracle과 SQL Server 기준으로 설명한다.

오라클

SQL SERVER

2장 7절 - PIVOT 절과 UNPIVOT 절

개요
- PIVOT은 회전시킨다는 의미를 가지고 있다. PIVOT 절은 행을 열로 회전시키고, UNPIVOT 절은 열을 행으로 회전시킨다

PIVOT 절
- PIVOT절은 행을 열로 전환

UNPIVOT 절
- UNPIVOT 절은 PIVOT 절과 반대로 동작하여 열이 행으로 전환된다.

2장 8절 - 정규 표현식

개요
- 정규 표현식(regular expression)은 문자열의 규칙을 표현하는 검색 패턴으로 주로 문자열 검색과 치환에 사용

POSIX 연산자
- 정규 표현식의 POSIX 연산자

정규 표현식 조건과 함수
- REGEXP_LIKE 조건 → REGEXP_LIKE 조건은 source_char가 pattern과 일치하면 TRUE를 아닌 경우에는 FALSE를 반환.
- REGEXP_REPLACE 함수 → REGEXP_REPLACE 함수는 source_char에서 일치한 pattern을 replace_string으로 변경한 문자 값을 반환한다.
- REGEXP_SUBSTR 함수 → REGEXP_SUBSTR 함수는 sourc_char에서 일치한 pattern을 반환한다.
- REGEXP_IUNSTR 함수 → soucr_char에서 일치한 patternd의 시작 위치를 정수로 반환한다.
- REGEXP_COUNT 함수 → REGEXP_COUNT 함수는 source_char에서 일치한 pattern의 개수를 반환