Live Your IT

엑셀처리

leeforest — Tue, 5 Oct 2021 22:59:28 +0900

https://daewonyoon.tistory.com/383

파이썬 xlrd.biffh.XLRDError: Excel xlsx file; not supported

파이썬으로 엑셀파일을 다루는 코드가 아래와 같은 에러메시지를 발생하며 돌아가지 않았다. 에러메시지로 구글링을 하여보니 xlrd 패키지 (엑셀파일 읽기에 사용되는 패키지) 가 이제는 xls 파

daewonyoon.tistory.com

https://blog.naver.com/PostView.nhn?blogId=rising_n_falling&logNo=221622971970

Pandas - DataFrame에서 특정 행, 열 선택

안녕하세요. '라이징n폴링'입니다. 이번 글에서는 Python의 데이터 구조 중 하나인 DataFrame...

blog.naver.com

https://stackoverflow.com/questions/22089317/export-from-pandas-to-excel-without-row-names-index

Export from pandas to_excel without row names (index)?

I'm trying to print out a dataframe from pandas into Excel. Here I am using to_excel() functions. However, I found that the 1st column in Excel is the "index", 0 6/6/2021 0:00 8/6/2021 0:00 1...

stackoverflow.com

https://re-thought.com/how-to-change-or-update-a-cell-value-in-python-pandas-dataframe/

How to change or update a specific cell in Python Pandas Dataframe

Accessing a single value or updating the value of single row is sometime needed in Python Pandas Dataframe when we don't want to create a new Dataframe for just updating that single cell value. The easiest way to to access a single cell values is via Panda

re-thought.com

#-*-coding:utf-8-*-
import pandas as pd
import openpyxl
from openpyxl import load_workbook
import shutil

origin = 'test.xlsx'
res = origin.split('.')
new = res[0]+"_new."+res[1]
shutil.copy(origin,new)

data = pd.read_excel(new, engine='openpyxl')
field_info = data.columns
row_len = len(data)

print(data.at[0,field_info[0]])

for i in range(len(data)):
if pd.isnull(data.loc[i][0]) == False :
tmp = data.loc[i][0]
print(tmp)
else :
data.at[i,field_info[0]] = tmp
print(data)

print("-------------")

writer = pd.ExcelWriter("final.xlsx", engine='xlsxwriter')
data.to_excel(writer, index=False)
writer.save()

1000명대 달성! (+흔한 IT 블로그의 평일 vs 주말 방문자수 차이)

leeforest — Mon, 16 Aug 2021 17:08:28 +0900

티스토리를 1월에 시작하고, 어느새 시간이 흘러 8월이다. 1일 1포스팅의 다짐은 3개월밖에 못갔지만 그래도 작심3일로 안끝나고 작심 3개월이면 어느정도 노력했다고 생각한다...ㅋㅋ

중간에 취직을 하고나서 블로그를 거의 못봤었는데 일일 방문자 수가 거의 항상 1000명대를 유지하고 있어서 놀랐다. 처음 목표로 했던 수치가 1000명대였는데 달성해서 감격스럽다ㅠ_ㅠ 물론 다른사람에게는 아무런 숫자가 아닐 수도 있겠지만!!!

그나저나 아무래도 IT 블로그라서 그런지 평일과 주말의 방문자 수 차이가 정말 극명한 것 같다. 평일에는 아무래도 학교를 다니고 직장을 다니고 하면서 검색을 할 일이 많아서 그런지 1000명대를 유지하고 있는데 주말은 반토막도 안된다..ㅋㅋㅋㅋㅋㅋㅋㅋㅋ 진짜 극명하다.

아래 그래프를 보면, 빨간 박스를 친 부분이 주말 혹은 공휴일이다. 진짜 반토막도 안된다......

explorer.exe 코드인젝션 한글(hwp) 악성코드 분석

leeforest — Mon, 16 Aug 2021 16:53:42 +0900

악성코드 정보

MD5 ec0c543675374a0ee9a83a4d55ca1a6c
특징 hwp/EPS/코드인젝션/드로퍼/???
다운로드 https://app.any.run/tasks/496f832b-fee2-4224-8b0e-bed22d171354/

악성코드 상세분석

먼저, SSView를 사용해 악성 hwp 구조를 살펴보면 BinData 스토리지에 BIN0001.PS가 들어있다.

BIN0001.PS를 스트림 형태로 저장한 다음 zlib 압축을 풀어주면, 아래와 같이 디코딩된 eps 코드를 볼 수 있다. 이전에 분석한 한글 악성코드와 형태가 매우 유사해, get 뒤에 있는 <>가 xor 키값임을 알 수 있었다. 이번 키길이는 16바이트이다.

16바이트 키값을 활용해 직접 파이썬 코드를 짜도 되지만, 여기서는 eps 코드의 맨 마지막에 있는 exec 명령어를 print로 변경해주는 방식을 사용하도록 한다.

eps는 한글 설치 시 포함되는 gbb.exe를 사용해 돌릴 수 있다. 인자값으로 exec 명령어를 print로 변경한 eps 코드를 넘겨주면 코드가 실행되면서 마지막 xor 복호화된 cvx 변수값을 출력해준다. 결과값을 다시 eps로 저장한 후 보면, 다시 변수 Y77에 어떠한 코드가 들어있는데, 첫 바이트인 E9값을 보면 쉘코드임을 유추할 수 있다.

C:\Program Files\Hnc\HOffice9\Bin\ImgFilters\GS\gs8.71\bin\gbb.exe

해당 쉘코드를 exe로 변경한 다음, x64dbg로 쭉쭉 실행시켜 보았는데, 안티디버깅이 있는지 중간에 계속 꺼진다. 그래프뷰로 봐보면, 빨간박스를 친 0x401022 주소로 가야 retn이 안돼서 프로세스가 종료되지 않는데 [ cmp, dword ptr [ecx], 0AABBCCDDh ] 이부분에서 점프 조건 분기가 오른쪽인 0x401018 부분으로 간다. 따라서 jz 부분을 그냥 jmp로 변경해 무조건 0x4015AD0 부분이 실행될 수 있도록 해주었다.

안티디버깅인지 뭔지? 여하튼 우회하고 나서 실행시키다보면, ebp-10 에 explorer.exe 문자열이 쓰여진다.

그리고 아래와 같이 함수테이블을 구성하게 되는데 VirtualAllocEx, WriteProcessMemory와 같은 함수를 보아선, 아까 문자열로 확인한 explorer.exe를 열어서 dll 인젝션을 하거나 코드를 쓸것이라는 것을 예상해볼 수 있다.

OpenProcess에 bp를 걸고 인자값을 보면, PID가 0x15FC(5628)이고, explorer.exe가 5628 PID로 winlogon.exe라는 프로세스의 자식프로세스로 열려있는 것을 확인할 수 있다. ~~winlogon이건 언제 생겼대;;~~

WriteProcessMemory에 bp를 걸어보자. 인자값을 봐보면, 0x5860000 오프셋에 0x401000 주소에 있는 값을 쓰는데, 401000은 EP부분이다. explorer.exe에 코드인젝션을 수행해, 0x2e80000을 확인해보면 아래와 같이 EP코드가 쓰여진 것을 볼 수 있다.

몇번을 걸쳐 계속 쓴다. 쓰는 데이터들을 보면서, 처음 쉘코드를 다시 확인해보니 아래의 URL을 확인할 수 있었는데 아무래도 https://gozdeelektronik.net 은 c2서버로 확인되고, 해당 서버에서 movie.jpg라는 추가적인 악성파일을 다운받는 것으로 예상할 수 있다.

난독화된 VBScript 복호화

leeforest — Thu, 12 Aug 2021 19:00:16 +0900

악성코드 정보

md5 f61991864cc8d9a58aa573b5e6b3e3cc

악성코드 상세분석

형태를 확인해보면, 위에 EEU 변수에 난독화된 코드가 들어가 있고, 마지막에 JKL을 EXECUTE하는 형태이다.

vbs 파일 분석은 처음이라, 이것저것 구글링해보면서 난독화 해제하는 법을 찾아봤는데 대략 아래와 같은 방법이 존재하는 것 같다.

1. 비쥬얼스튜디오에서 디버깅하면서 확인

2. 변수 출력 방법 (msgbox, Wscript.Echo, Alert 등)

2번의 경우 다른 VBScript 악성코드 분석시 사용해보고 여기에 추가해보는 것으로 하고, 해당 악성코드의 경우 그리 복잡해보이지는 않으므로 여기서는 2번을 사용해보도록 한다. msgbox로 확인 시, 길이의 한계가 있어서 그런지 끝까지 확인을 할 수 없었다.

Wscript.Echo()를 사용하면, 복호화된 전체 코드를 확인할 수 있는데 복호화되기 전이랑 형태가 매우 유사하다.

거의 똑같고, 그냥 변수이름만 바뀌었다. 이번에는 ggh에 난독화된 코드가 다시 들어가있다. 마지막에 EXECUTE(df)를 수행하기 때문에 해당 부분을 다시 Wscript.Echo(df)로 변경해보자.

그러면, 아래와 같이 난독화가 해제된 VBScript 코드를 얻을 수 있다.

참고자료
[1] koromoon 네이버 블로그, 난독화된 VBScript 악성코드 분석
[2] malware.unam, VBScript obfuscated malicious code

[파이썬] 바이트 문자열을 바이트배열(byte array)로 변경

leeforest — Wed, 11 Aug 2021 23:03:42 +0900

바이트 문자열을 그대로 바이트배열로 변경하려면?

예를들어 '020b16011710' 문자열이 있다고 해보자.

이걸 \x02\x0b\x10\x01... 이렇게 바꾸고 싶은게 아니라 (hex(16)=\x10), 그대로 \x02\x0b\x16... 로 변경해 무언가 바이트 연산을 하고싶을 때가 있다.

020b16011710 -> \x02\x0b\x10\x01\x11\xa (X)
020b16011710 -> \x02\x0b\x16\x01\x17\x10 (O)

바이트 문자열을 bytearray로 변경한 후 연산 작업 수행하기

그러기 위해선 두글자씩 띄어준 후(이게 한바이트가 되겠지) 이걸 bytearray로 변경해주면 된다. 먼저 for문과 join을 사용해 두글자씩 띄어준다. 그럼 '02 0b 16 01 17 10'의 형태가 된다.

>>> data = b'020b16011710'
>>> arr_data = ' '.join([data[x:x+2] for x in range(0,len(data),2)])
>>> arr_data
'02 0b 16 01 17 10'

이걸 bytearray.fromhex() 처리를 해주면 b'\x02\x0b\x16\x01\x17\x10' 가 나온다.

>>> b_arr = bytearray.fromhex(arr_data)
>>> b_arr
bytearray(b'\x02\x0b\x16\x01\x17\x10')

그리고나서 원하는 작업을 처리하면 되는데, 예를들어 0x64와 xor을 수행해주는 코드는 아래와 같다.

data = b'020b16011710'
key = 0x64

arr_data = ' '.join([data[x:x+2] for x in range(0,len(data),2)])
b_arr = bytearray.fromhex(arr_data)

for x in b_arr:
    re = x^key
    print(hex(re),chr(re))

보통 data가 상당히 클테니까, 아래는 입출력 버전이다!

data = open("C:\\Users\\leefo\\Desktop\\en_data.txt","rt").read()
key = 0x64

arr_data = ' '.join([data[x:x+2] for x in range(0,len(data),2)])
b_arr = bytearray.fromhex(arr_data)

re = ''
for x in b_arr:
    tmp = x^key
    re += chr(tmp)

f = open("C:\\Users\\leefo\\Desktop\\de_data.txt","w")
f.write(re)
f.close()

iexplore.exe에 코드인젝션을 수행하는 한글 악성코드 분석

leeforest — Tue, 10 Aug 2021 22:21:25 +0900

악성코드 정보

MD5 f2e936ff1977d123809d167a2a51cdeb
특징 EPS/코드인젝션/드로퍼
다운로드 https://app.any.run/tasks/b4381901-3a3b-4055-8304-f0870a8d3c7c/

악성코드 상세분석

먼저, SSView로 한글 구조를 살펴봤는데, BinData 스토리지 안에 BIN0003.eps가 있다. 한글 eps코드가 어떻게 악용되어 악성코드가 동작하게 되는지는 나중에 자세하게 공부해서 포스팅해보려 한다.

eps, zlib 압축 해제

한글의 eps 코드는 zlib로 압축된 상태이므로 압축을 먼저 풀어주어야 한다. 원래는 HwpScan이라는 툴을 사용하면 decompress를 해주는 기능이 있었는데 해당 툴이 유료화가 되었다...ㅠㅠ

어쨌든, 그래서 파이썬 zlib 모듈을 사용해 아래와 같이 zlib 압축을 풀어주었다.

import zlib 

indata = open("BIN0003.eps.stream", "rb").read() 
outdata = zlib.decompress(indata,-15) 

f = open("eps_decom",'wb') 
f.write(outdata) 
f.close()

eps, xor 디코딩

압축이 해제된 eps 코드를 확인해보면, [ /ar <~~~~> def ~~~ for(~~~) ] 대충 이런 형태이다. ar은 변수 이름이고, def는 함수 정의, for은 반복문인 것 같다(?) 한글을 처음보는 건 아니라서 대략 ar 변수에 선언되어있는 데이터가 xor로 인코딩되어 있는 상태라는 것은 알고, ar을 뭐랑 xor 해야하지, get 100이면 키 100 짜리를 어디서 가져온다는거지 했는데 그냥 키가 100(0x64)이었다.

ar 변수에 들어가 있는 인코딩된 데이터와 키 0x64와 xor 디코딩을 해주는 방법은 2가지가 있다. print문을 추가시킨 다음 직접 실행시키는 방법이 있고 그냥 스크립트를 짜는 방법이다. 일단, 한번 짜놓으면 편할 것 같아서 후자를 선택했다. 첫번째 방법은 나중에 추가하겠다.

data = open("C:\\Users\\leefo\\Desktop\\en_data.txt","rt").read() 
key = 0x64 

arr_data = ' '.join([data[x:x+2] for x in range(0,len(data),2)]) 
b_arr = bytearray.fromhex(arr_data) 

re = '' 
for x in b_arr: 
	tmp = x^key 
	re += chr(tmp) 

f = open("C:\\Users\\leefo\\Desktop\\de_data.txt","w") 
f.write(re) 
f.close()

복호화를 수행해주면, 다시 아래와 같은 코드를 얻는다. label77 변수에 label77에 뭐가 또 잔-뜩 있다ㅎㅎ

쉘코드 분석

이 데이터는 xor 인코딩된 데이터가 아니라 쉘코드이다. 처음 시작이 nop(9090909090...)인 것으로 유추해볼 수 있다.(압축된 eps -> (압축해제) -> 압축해제된 eps의 ar 변수에 xor 인코딩된 데이터 -> (디코딩) -> label77에 쉘코드)

쉘코드를 분석하는 방법에도 여러가지가 있다. 일단 이 포스팅에서는 쉘코드를 exe 형태로 변경해주는 Shellcode 2 EXE라는 사이트를 사용해보기로 한다.

쉘코드를 실행해보면, 아래와 같이 한번 더 xor 복호화가 실행된다. 아래 jmp 부분에 bp를 걸고 실행시키면 아랫부분에 코드가 풀리면서 복호화된 코드를 확인할 수 있다.

쭉쭉 생각없이 실행시키다 보면.. 아래와 같이 iexplore.exe 문자열을 확인할 수 있는데 해당 프로세스를 실행시킬 확률이 매우 크므로 CreateProcess API에 bp를 걸어준다.

아래와 같이 CreateProcessA API에 bp가 걸렸고 인자값으로 iexplore.exe가 넘어왔다.

iexplore.exe가 자식프로세스로 생성되었다. 회색은 현재 프로세스의 상태가 일시정지라는 뜻이다. 일시정지된 상태라는 것만으로 쉘코드가 iexplore.exe에 코드를 쓰거나 dll을 인젝션할 것이라는 예상을 할 수 있지만, 쉘코드가 엄청 크지는 않기 때문에 일단 f8로 쭉이어서 실행을 해본다.

그러다보면 아래와 같이 코드인젝션을 수행하기 위한 VirtualAllocEx, WriteProcessMemory 등 여러 전형적 함수들을 확인할 수 있다.

각 함수들에 bp를 건 후에 WriteProcessMemory API 인자값을 보면, 0x4014F3은 쓸 코드가 있는 주소이고 0x60000는 코드를 쓸 주소이다.

Process Hacker를 통해 iexplore.exe의 0x60000 오프셋을 확인해보면, 현재 메모리가 할당되어 있고 API 실행 후 4014F3에서 확인했던 E8 00 00 00 으로 시작하는 코드가 iexplore.exe의 0x60000에 써진것(코드인젝션)을 확인할 수 있다.

인젝션된 코드 분석

해당 코드를 다시 분석해보면, 동적분석 중 C2C서버로 의심해볼만한 url이 발견된다. 해당 서버가 닫혀있어 더이상의 동적분석은 불가능하지만, 해당 서버로부터 down.php를 다운받아 추가적인 악성행위를 수행할 것으로 예상할 수 있다.

특징 및 결론 정리

1. eps에 악성코드가 숨겨져 있고, xor로 복호화되어 있음
2. xor 복호화 키값은 0x64로 복호화된 eps 코드에서 다시 쉘코드가 존재
3. 쉘코드는 iexplorer.exe에 코드인젝션을 수행함
4. 해당 코드는 악성 서버(itoassn.mireene.co.kr)에서 down.php를 다운받음

참고자료
[1] https://m.blog.naver.com/kgg1959/222037263345
[2] https://app.any.run/tasks/b4381901-3a3b-4055-8304-f0870a8d3c7c/
[3] https://www.notion.so/2-hwp-cbc93af950d745c48dc15d9b355ac6f4

한글 eps, zlib decompress 파이썬 코드

leeforest — Tue, 10 Aug 2021 21:18:48 +0900

한글 문서형 악성코드는 한글의 eps 취약점을 사용하는 경우가 많다. eps는 BinData 영역에 .eps 형태로 있는데 zlib로 압축되어 있는 상태이다. 한글 스토리지 뷰어? 툴중에 가장 많이 쓰이는게 아무래도 누리랩의 HwpScan인데 이게 유료화로 전환이 되었다.

HwpScan을 사용하면 eps 부분에 대해 zlib 압축을 해제해주는 기능이 포함되어 있어 편한데 사용할 수 없게 되어 파이썬으로 수동 압축해제를 시도하게 됐다. 정말정말 간단한데 에러 해결에 시간이 좀 걸렸기 때문에 여기에 정리해 놓는다!

eps stream 얻기

HwpScan 툴을 대신해, SSView 툴을 사용했다. BinData 영역 중 원하는 데이터 부분에 오른쪽 마우스를 클릭하면 'Save Stream' 기능이 있다.

한글 eps, zlib 압축해제 코드

코드는 정말 간단하다.

zlib를 import 해주고 zlib.decompress([bdata])를 해주면 된다. 하지만 이렇게만 하면 아래와 같은 에러가 발생한다. (zlib.error: Error -3 while decompressing data: incorrect header check)

따라서 아래와 같이, decompress 함수 두번째 인자에 -15를 넣어주자. ~~나도 이게 정확히 어떤 의미인지는...;;;~~ 아래와 같이 압축해제된 eps 코드를 확인할 수 있다.

import zlib

indata = open("BIN0003.eps.stream", "rb").read()
outdata = zlib.decompress(indata,-15)
f = open("eps_decom",'wb')
f.write(outdata)

[파이썬] 문자열 두 글자씩 띄우기

leeforest — Sun, 8 Aug 2021 21:43:54 +0900

문자열 두 글자씩 띄우기

어떤 값을 얻었는데, 다 붙어있어서 바이트 단위로 끊고 싶을 때가 있다. 꽤나 자주 사용하는 기능인데도 항상 새롭게 구글링을 했었기 때문에 이참에 여기 정리해 놓는다.

f = open("C:\\Users\\leefo\\Downloads\\test.txt","r")
txt = f.read()
f.close()

# 리스트 형태로 반환
re = [txt[i:i+2] for i in range(0, len(txt), 2)]
print(re)

# join 사용
re = ' '.join([txt[i:i+2] for i in range(0, len(txt), 2)])
print(re)

f = open("C:\\Users\\leefo\\Downloads\\test_re.txt","w")
f.write(re)
f.close()

결과값

아래와 같은 hex 값이 있다고 치자.

아래와 같이 만들고, HxD에 그대로 붙여넣어서 값을 확인하면 편하다. 문자열인지 코드인지 PE파일인지 등등을 확인할 수 있다.

[정보처리기사] 2020 NCS 기반 개정 3회 실기 시험 합격 후기

leeforest — Thu, 26 Nov 2020 00:41:05 +0900

NCS 기반 개정된 실기 준비와 시험 후기가 쓸데없이 상세하니 읽기 힘드신 분들은 포스팅 맨 하단의 요약을 확인해주시기 바랍니다..ㅎㅎ

2020 정보처리기사, NCS 기반 개정 3회 실기 준비

NCS 기반 개정 필기 1,2회차를 합격하고 나서 실기 2회차를 봤어야 했는데 도저히 공부할 시간이 나지 않아서 패스하고 3회차를 준비했다.

NCS 개정 전후 차이는 아래와 같은데 딱봐도 확연한 차이를 느낄 수 있다. 총 12과목으로 세분화되었기 때문에 하루에 1~2개 과목씩 보는 방식으로 하루에 3시간 정도씩 총 2주간 준비했다. 과목당 나름대로 정리한 요약본은 짬짬히 시간날 때마다 봤고, 시험 3일 전부터는 기출문제와 수제비 카페에 올라오는 데일리 문제를 풀었다.

개정전

1. 업무프로세스 실무응용 / 2. 데이터베이스 실무응용 / 3. 실무 알고리즘 응용
4. 신기술동향 및 IT서비스 / 5. 전산영어 실무

개정후

1. 요구사항 확인 / 2. 데이터입출력 구현 / 3. 통합 구현 / 4. 서버프로그램 구현 / 5. 인터페이스 구현

6. 화면설계 / 7. 애플리케이션 테스트 관리 / 8. SQL 응용 9. 소프트웨어 개발 보안 구축

10. 프로그래밍 언어 활용 / 11. 응용SW기초 기술 활용 / 12. 제품 소프트웨어 패키징

자격증 시험이라는게 포맷이 있는 것이고 필기 1,2회가 어느정도 바뀌긴 했지만 무난했기 때문에 실기도 뭐 비슷하려니 하고 사실 별로 크게 걱정을 안했다. 그리고 중간에 궁금해서 책에 실려있는 1회차 기출문제를 풀었는데 너무 쉬워서 더 걱정을 안하게 됐던 것도 있다.

그러다가 시험 3일전에 실기 2회차 기출문제를 풀었는데.... What the...? 채점 결과 50점이었고 진짜 어려워서 (어렵다는게 뭔가 심화적으로 어렵다기보단 너무 지엽적인 느낌) 당황하고, 카페 스텝분들이 올려주시는 문제들이랑 모의고사들을 엄청나게 풀기 시작했다. 1,2회만으로 3회가 어떻게 날 것이라고 예상하긴 힘든것도 있었는데 애초에 1회랑 2회랑 문제 형식이랑 느낌 자체가 너무 극명했고 책만 봤다고 쳤을 때 맞출 수 있는 문제 수에 한계가 있었다.

어쨌든 그렇게 2주가 흐르고.. 공부 내용의 홍수속에서 허우적거리다가 공부한 내용을 100% 확률로 맞추자는 생각으로 시험 당일 아침에 일찍 일어나 그동안 정리했던 35페이지 짜리 요약본을 다시 정독했다. 다시 보니까 토할 것 같다...

2020 정보처리기사, NCS 기반 개정 3회 실기 시험 후기

확실히 개정 전 실기는 개껌이었다면, 후의 실기는 훨~씬 어렵다.

시험지를 처음 딱 받고 첫페이지를 보고 나서 든 생각은, '아... 시험장 없어서 강릉까지 왔는데 완전 헛걸음했네 망했다 내시간 내돈' 이었다. 첫페이지만 그렇겠지 하고 뒤로 넘기는데 이건 백퍼 불합격이라는 확신이 서기까지 했다. 진짜 그 많은 범위에서 이런걸 낸다고....?ㅎㅎ...이런느낌... 그리고 진짜 거짓말 안하고 사람들이 전부 시험지 뒤적거리면서 한숨을 내뱉었다. 나만 거지같은 기분이 아니라는 묘한 동질감에 안심이 되기까지 했다.

약술형이 너무 많았고 많은 약술형 중에서도 1번문제가 리팩토링의 목적이어서 어처구니가 없었다. 그래도 이건 양호했던게 '헝가리안 표기법'도 있었다. 게다가 코딩이나 SQL 문제를 제외한 단답형이 무슨 '기술적 은어'라던가...

그래도 2주간 준비한게 있는데 대충볼 수는 없었다. 일단 확실한 것부터 풀기 시작했는데 아래 작성한 문제들이 확실히 맞출 수 있는 문제였고 실제로 맞았다. 시험을 칠때는 아래 문제들이 확실히 맞았다는 가정 하에 9문제, 45점이므로 3문제를 더 맞추어야 했다. ICMP 문제는 책에 따로 설명되었던 내용은 아니었지만 정보보안기사 준비했을 때 공부했던 기억이 남아있어서 맞출 수 있었다. 코드 문제는 무난했지만 그래도 개정 전에 비해선 함정?같은 것들이 있었다.

2번 : C언어 코드문제 (정답 : 0, 맞음)

3번 : 다익스트라 알고리즘을 사용하는 대규모 네트워크에 적용하는 라우팅 프로토콜 (정답 : OSPF, 맞음)

6번 : IP 패킷 처리 시 발생되는 문제 알려주는 프로토콜 (정답 : ICMP, 맞음)

9번 : 튜플 삭제 SQL문 작성 (정답 : DELETE FROM 학생 WHERE 이름=‘민수’;, 맞음)

12번 : 동치 분할 테스트, 경계값 테스트 등의 종류가 있는 테스트 종류 (정답 : 블랙박스 테스트, 맞음)

14번 : C언어 코드문제 (정답 : 234, 맞음)

15번 : 자바 코드문제 (정답 : 30, 맞음)

17번 : EAI 유형 단답형 문제 (정답 : Point-to-Point, Hub&Spoke, 맞음)

18번 : UI 직관성 약술형 문제 (정답 : 누구나 쉽게 이해하고 사용할 수 있어야 함, 맞음)

그 다음은 100% 확실하진 않치만 맞을 확률이 어느정도 높은 문제를 풀었다. 8번은 SQL문 공부하면서 자세히 안나오겠지하고 안넘기고 자세히 봐서 맞출 수 있었다. 천만다행이다. 그리고 10번 DB에 칼럼 추가하는 ALTER문 문제는, 옛날에 웹서버 만들어서 이것저것 할 때 DB 구조 여러번 바꿨던게 겨우 기억이 나서 적었는데 다행히 맞았다.

1번 : 리팩토링의 목적 약술형 (맞았는지 모름)

5번 : 형상통제 약술형 (맞았는지 모름)

8번 : SQL, MIN/MAX/AVG/GROUP BY/HAVING 사용문제 (정답 : SELECT 과목이름, MIN(점수) AS 최소점수, MAX(점수) AS 최대점수 FROM 성적 GROUP BY 과목이름 HAVING AVG(점수) >= 90;, 맞음)

20번 : DB에 칼럼 추가하는 SQL문 괄호 채우기 (정답 : ALTER TABLE ~ ADD ~, 맞음)

그리고 밑에는 버렸던 문제이고 이외에도 약술형 2문제와 자바코드 문제 1개가 더 있는데 확실치 않았다. 그러니까 정리하자면 확실한 9문제가 있고 맞을 확률이 어느정도 높은 4문제와 확실치는 않치만 풀긴 푼 3문제 중에서 3개를 맞으면 합격이었다.

4번 : 톰마릴 기술적 은어 (정답 : 프로토콜)

7번 : 분기 커버리지 경로 작성하는 문제

8번 : 릴레이션 관계대수 문제 (정답 : ÷)

11번 : 헝가리안 표기법 약술형

시험이 끝나고 나서 가채점 결과 8/20번을 맞아서 확실히 맞은 문제가 11문제가 됐고 남은 약술형 4개 중에 한개만 맞으면 합격인 상황이었다. 사람들 정답을 비교해본 결과 리팩토링과 형상통제 약술형은 맞을 확률이 높아보여서, 하나는 맞겠지 하는 생각으로 맘편히 결과를 기다릴 수 있었다.

2020 정보처리기사, NCS 기반 개정 3회 실기 시험 결과 및 느낀점

떨어지면 다시 공부해야 한다고 생각하니 끔찍했는데, 합격해서 다행이었다 :) 이번 3회차 실기 합격률은 18%라고 한다.

이번 시험 문제 구성을 살펴보면 코드문제가 4개, SQL 문제가 3문제, 약술형이 5문제, 책기반으로 공부를 했다면 충분히 맞을 수 있는 문제가 (주관적으로) 4개 정도이다.

4회차에 시험 구성이 또 어떻게 바뀔지 예상할 수는 없으나 일단 3회차로만 보면, 카페 여론도 그렇고, 안전한 합격을 위해선 코드문제와 SQL문제, 충분히 맞을 수 있는 문제를 다 맞춰야 한다. 그리고 약술형에서 1~2개 이상 맞는 것을 기대하거나 평소 알고있던 지식으로 정답 수를 높이는 방식이어야 합격에 근접할 수 있다.

나의 경우는 코드문제, SQL문제 7개 중 하나를 틀렸지만, 다행히도 책기반으로 풀 수 있는 문제 4개를 틀리지 않았고 여기에 평소에 그냥 알고있던 지식으로 푼 문제 (ICMP) 하나와 약술형에서 2개정도 추가로 맞아서 합격을 할 수 있었다.

요약

헝가리안 표기법, 기술적 은어같은 문제처럼 버리는 문제가 나옴

너무 지엽적인 문제가 많음

코드 문제는 무난했으나 그래도 개정 전 문제에 비해선 까다로운 문제가 많았음

그동안은 SQL 문제가 간단한 SELECT문을 작성하거나 괄호를 채우는 정도의 문제가 나왔다면 3회차에는 SQL 구문이 꽤나 어렵게 출제됨

난해한 문제가 꽤나 있어서 안전하게 합격하려면 코드 문제와 SQL 문제는 무조건 다 맞춰야 함

확실히 기출문제 몇번 돌리면 쉽게 합격할 수 있었던 그동안의 시험과는 달라짐

3회차 실기 합격률은 18%

[네트워크] 프록시 서버란? 원리와 사용 목적

leeforest — Sat, 27 Jun 2020 22:35:46 +0900

프록시(Proxy) 서버란?

프록시 서버란 클라이언트가 자신을 거쳐 다른 네트워크에 접속할 수 있도록 중간에서 대리해주는 서버를 말한다. 서버와 클라이언트 사이에서 대리로 통신을 수행해주는 것을 프록시라고 하고 그 기능을 하는 서버를 프록시 서버라 부르게 되는 것이다.

프록시 서버 (출처: 구글 무료이미지 검색, 위키피디아)

즉, 프록시 서버는 서버와 클라이언트 사이에서 요청과 응답을 처리해주게 되는 것이다.

클라이언트에서 프록시 서버로 데이터 전송
프록시 서버에서 다시 웹 서버로 웹 요청
웹 서버에서 프록시 서버로 웹 응답
프록시 서버에서 클라이언트로 데이터 전송

버프스위트, 파로스, 피들러와 같은 웹 프록시 툴을 사용해본 사람이라면 아마 대부분 웹 요청이나 응답 값을 중간에 가로채기 위해서 사용했을 것이다. 해당 툴에서 사용하는 웹 프록시 서버 주소와 포트 설정을 해주면 브라우저에서 보낸 웹 요청이 프록시 서버를 경유하게되기 때문에 중간에 패킷을 가로챌 수 있게 되는 것이다.

예를들어 버프스위트 툴의 경우 아래와 같이 프록시 서버 포트로 8080포트를 사용한다.

그리고 브라우저(클라이언트)에서 해당 주소(localhost)와 8080 포트를 설정해주게 되면 브라우저에서 보내는 패킷은 전부 8080 포트를 경유하게 되기 때문에 원래 서버로 가야 할 패킷을 중간에 가로챌 수 있게 되는 것이다.

프록시 서버의 사용 목적(이유)

프록시 서버를 사용하는 목적과 이유에는 여러가지가 있을 수 있는데 대표적으로 아래와 같은 것들이 있다.

첫번째는 캐시 데이터를 사용하기 위함이다. 프록시 서버 중 일부는 프록시 서버에 요청된 내용을 캐시를 사용해 저장해둔다. 그러면 캐시에 저장되어있는 내용에 대한 재요청은 서버에 따로 접속할 필요가 없이 저장된 내용을 그대로 돌려주면 되기 때무네 전송 시간을 절약할 수 있고 외부 트래픽을 줄임으로써 네트워크 병목 현상도 방지할 수 있다.

두번째는 보안 목적이다. 프록시 서버가 중간에 경유되게 되면 IP를 숨기는 것이 가능하기 때문이다. 또한 프록시 서버를 방화벽으로 사용하기도 한다(프록시 방화벽).

프록시 방화벽 (출처: 구글 무료이미지 검색)

세번째는 접속 우회이다. 간혹 한국에서는 접속이 제한이 되는 사이트가 있다. IP를 검사해 한국에서의 접속임을 감지하기 때문인데 이런 경우 프록시 서버를 사용하면 접속을 다른나라로 우회할 수 있게 된다. 우회에 사용할 서버 주소와 포트를 구한 후 '인터넷옵션>연결>LAN설정>프록시서버'에서 서버 주소와 포트를 설정해주면 설정해준 서버에서 접속한 것처럼 속일 수 있기 때문에 접속 제한을 우회할 수 있다.

참고자료
[1] 위키백과, 프록시 서버
[2] 안경잡이개발자, 웹 프록시 (Proxy)의 개념과 도구 (SwitchyOmega)

[웹해킹] Webhacking.kr Challenge old 3번 문제 풀이

leeforest — Fri, 26 Jun 2020 23:47:13 +0900

Webhacking.kr Challange old 3번 문제 풀이

Nonogram이라는 게임으로 시작하는 문제이다. 아래와 같이 블록을 선택하면 검정색으로 변하는 것을 확인할 수 있다.

solved 버튼을 누르면 get 변수로 _1, _2, ... 값들이 넘어가는 것을 볼 수 있는데 첫번째 칸이 칠해졌으면 _1=1이되고 칠해지지 않았으면 _1=0 이 되는 방식이다. 처음에는 여기서 SQL 인젝션을 해야한다고 생각해서 URL 창에 인젝션을 계속 했는데 되지 않아서 그냥 게임을 풀어주었다.

webhacking.kr/challenge/web-03/index.php?_1=1&_2=0&_3=1&_4=0&_5=0&_6=0&_7=0&_8=0&_9=0&_10=0&_11=0&_12=0&_13=0&_14=0&_15=0&_16=0&_17=0&_18=0&_19=0&_20=0&_21=0&_22=0&_23=0&_24=0&_25=0&_answer=1010000000000000000000000 || true

정답은 아래와 같다.

노노그램을 풀고나면 아래와 같이 Clear! 라는 문구와 함께 name을 입력하라는 입력창이 보이게 된다.

아무값이나 넘겨보면 아래와 같이 로깅이된다.

여기서 name 값에 이것저것 인젝션을 계속 수행해보는데 로깅만 계속 남을 뿐 뭔가 나오는게 없다.

name 외에 다른 POST 변수가 있는지 버프 스위트를 사용해 패킷을 잡아본다. 앞에서 풀어주었던 answer 값이 함께 넘어간다.

따라서 이번엔 answer 값에 인젝션을 시도해본다. 이것저것 전부 시도해보다 보면 [ ' or 1=1-- ] 에서 query error가 뜨는데 쿼리 에러가 떴다는 건 어쨌든 인젝션을 해준 것이 무시되거나 필터링되지 않고 실제로 쿼리가 행해진 후 정상적이지 않아 에러가 난 것이므로 answer 부분에 인젝션을 해주는 것이 맞는 것으로 추측할 수 있다.

하지만 왜 에러가 뜨는지 모르겠어서 다른 분의 풀이를 찾아보니 -- 뒤에 공백이 필요하다고 한다. 정확한 이유는 모르겠고 추후에 이유를 알게되면 추가해보려 한다. ~~그건 그렇고 버프 스위트 공식 홈에서 커뮤니티 버전을 다운로드한 것인데 왜이렇게 저화질인지 모르겠다ㅠㅠ~~

쿼리 에러를 해결해주면 아래와 같이 solved 창을 볼 수 있다.

or 1=1 로 인해 쿼리문이 참이 되었고 뒤의 --로 인해 뒷부분 id=aaaa 가 무시가 되어버리게 되기 때문에 다른 로깅 정보도 볼 수 있게 되었다. admin의 answer에 우리가 보던 answer 값이 아닌 새로운 값이 나와있다. 해당 값을 인증해주면 된다.

[웹해킹] Webhacking.kr Challenge old 1번 문제 풀이

leeforest — Thu, 25 Jun 2020 23:08:07 +0900

옛날에 webhacking.kr 정말 열심히 풀었던 기억이 난다. 오늘은 또 어떤 포스팅을 올려야 할지 고민하던 참에 생각나서 페이지를 들어가봤는데 기존의 운영진?이 사이트를 다른 사람에게 인수한 모양이다. 로그인도 안되고 비밀번호를 찾으려고 아무리 시도해도 인증 메일이 오지 않았다.

그렇다고 따로 컨택을 하기도 애매해서 어쩔 수 없이 새로 가입한 후 문제를 확인했다. 옛날에 사용하던 블로그에 올려놓은 풀이와 비교를 해보니 문제 순서가 변경된건지 전부 변경된건지 문제가 살짝살짝 다르다. 문제 풀이 방식은 동일한데 소스만 다른것도 있는 것 같고 정확한건 한문제씩 보면서 확인해봐야할 것 같다.

스멀스멀 시간나는대로 문제를 풀어가보기로 했다.

Webhacking.kr Challenge old-01 문제 풀이

1번 문제 페이지에서 view-source를 클릭하면 해당 페이지의 소스를 확인할 수 있다.

소스를 차근차근 확인해보자. 사실 윗부분의 php 소스는 중요한게 없는데, user_lv 쿠키값이 존재하지 않으면 SetCookie를 사용해 쿠키값을 설정해주고 있다.

밑의 빨간 네모박스의 소스가 문제풀이의 핵심이다. user_lv 쿠키값이 6 이상이면 쿠키값을 다시 1로 설정하게 되고 5보다 크면 solve(1)이 실행되게 된다. solve(1)이 실행되야 함을 직감적으로 알 수 있으므로 자연스럽게 쿠키값은 5와 6 사이의 값이어야 함을 알 수 있다.

쿠키값을 5.5 정도로 설정해보기 위해 크롬 확장프로그램 EditThisCookie을 사용했다. 해당 링크를 통해 설치하면 되는데 설치하는데 1분도 안걸린다. 아래와 같이 값에 5.5를 설정해준다.

실제 php 소스가 동작하는 페이지는 문제 페이지이므로 쿠키 설정 후 문제 페이지로 돌아가보면 문제가 풀린 것을 확인할 수 있다.

[암호학] DES vs AES 암호화 알고리즘, 방식 및 차이

leeforest — Tue, 23 Jun 2020 23:28:50 +0900

DES(Data Encryption Standard)란?

DES는 이전 포스팅에서 살펴본 페이스텔 구조의 블록 대칭키 암호화 방식 중 하나이다. 16라운드로 구성되어 있기 때문에 16번의 페이스텔 암호를 수행하게 된다.

DES 암호화 알고리즘의 구조 및 암호화 방식

DES의 암호화는 아래 그림에서 볼 수 있듯이 2개의 전치(P-박스), 16개의 페이스텔 라운드 함수로 구성된다. P-박스 2개는 라운드 함수가 시작되기 전 암호화 시작 부분에 초기 전치(Initial permutation)와 라운드 함수가 전부 끝난 후인 암호화 끝 부분 최종 전치(Final permutation)이다.

56비트의 암호화 키는 라운드키 생성기 (Round-key generator)에 의해 각 라운드마다 48비트의 16개의 서브키가 생성된다. 그리고 이 서브키는 각 라운드에 라운드 키로 사용된다.

라운드 함수 및 DES 함수(F)

DES에서 중요한 것은 바로 라운드 함수에서 사용되는 DES 함수(F) 이다. 아래 그림에서 Input, Initial Permutation 다음이 라운드 함수인데 위에 있는 그림의 Round1, Round2,... 부분이 상세하게 대체됐다고 보면 된다. 그리고 이고 f가 DES 함수이다. 이전 포스팅에서 살펴본 페이스텔 구조와 동일한 것을 볼 수 있다.

그럼 DES함수(f)를 좀 더 자세히 봐보자. DES 함수는 P-박스가 2번(확장 P-박스, 단순 P-박스), XOR 연산 한번, S-boxs가 쓰이는 것을 볼 수 있다. 제일 먼저, 입력값으로 들어온 32비트를 48비트로 확장한 후 라운드 함수 키 48비트와 xor을 한다. 그다음 8개의 S-박스를 거치는데 S-박스로 인해 혼돈과 확산 성질이 충족된다. S-박스는 비선형 함수이기 때문에 DES 암호화 알고리즘의 안전성은 주로 비선형 함수로 구성된 8개의 S-박스에 의존하게 된다.

DES는 56비트 키길이를 가지기 때문에 전수조사에 매우 취약하다. 이 때문에 이중 DES, 삼중 DES가 등장하게 된다.

AES(Advanced Encryption Standard)란?

위에서도 설명했다시피, DES는 56비트의 키를 사용하기에 더이상 안전하지 않게 되었고 이중, 삼중 DES 또한 여러 문제가 있었기에 NIST는 DES를 대체할 새로운 암호 알고리즘을 공모하기에 이른다. 최종적으로 레인달이 개발한 알고리즘이 AES 알고리즘으로 채택되었다. AES 선정 기준은 안전성, 비용, 구현 효율성이라고 한다.

AES는 DES와 동일하게 블록 대칭키 암호화 방식이다. 하지만 그 외의 것은 전부 다른데, 128비트 평문을 128비트로 암호화하며 DES와는 다르게 비페이스텔 알고리즘에 속한다. 또한 고정된 라운드 수와 키길이를 가졌던 DES와는 다르게 AES는 10/12/14 라운드 수와 이에 대응해 128/192/256비트의 키길이를 갖는다. 각각 AES-128/AES-192/AES-256 이다.

AES 암호화 알고리즘의 구조 및 암호화 방식

AES 암호화 방식은 나무위키를 인용하겠다.

Rijndael 알고리즘은 크게 보아 네 단계로 이루어진다.
- KeyExpansion : key schedule(키 스케줄)이라고도 부른다. 128, 192 또는 256비트 길이인 하나의 주 암호화 키를 받아서 아래 라운드들에서 사용할 여러 개의 128비트 라운드 키를 생성한다.
- 0 라운드 : 위의 단계에서 생성한 라운드 키 중 첫번째 키를 사용, AddRoundKey를 한 번 실행한다.
- 1~(9, 11, 13) 라운드 : SubBytes, ShiftRows, MixColumns, AddRoundKey를 순서대로 실행한다. 이것을 AES-128, 192, 256에 따라 각각 9번, 11번, 13번 반복한다.
- 마지막 (10, 12, 14)번째 라운드 : SubBytes, ShiftRows, AddRoundKey를 순서대로 실행한다.

여기서 AES는 충분한 분산 효과를 주기 위해 상태의 각 열을 비트단위로 섞는 MixColumns을 사용하게 된다.

AES vs DES 암호화 알고리즘의 차이

DES와 AES 암호화 알고리즘의 차이를 표로 정리해보면 아래와 같다.

	DES	AES
페이스텔	페이스텔	비페이스텔
블록크기	64bits	128bits
키길이	56bits	128/192/256bits
암호화 프리미티브	치환, 전치	치환, 쉬프트, 비트혼합(분산)

[안드로이드 스튜디오] 키스토어 생성 / 앱에 서명 / 서명된 apk 획득

leeforest — Sun, 21 Jun 2020 23:00:59 +0900

앱을 배포하기 위해선 (플레이스토어에 등록하기 위해선) apk 에 꼭 서명을 해야한다. 키스토어를 생성, 앱에 서명을 해 서명된 apk와 jks 파일을 획득하는 과정과 keytool을 사용해 서명된 앱과 키스토어 파일에서 서명값을 확인하는 방법을 알아본다.

키스토어 생성 / 앱에 서명 / 서명된 apk 획득

안드로이드 스튜디오의 Build>Generate Signed Bundle / APK... 를 클릭한다.

그리고 APK를 체크한 후 Next를 클릭한다.

키스토어를 생성하기 위해 Create new를 클릭한다. 키스토어 파일은 인증서라고 생각하면 된다.

Key store path에서 아래 네모박스의 열기버튼을 클릭한다.

키스토어를 생성할 경로를 선택한 뒤 FileName에 파일명을 입력해준다.

그리고 나머지 항목들을 채워준 후 OK를 눌러준다. 특히 키스토어 파일도 마찬가지이긴 하지만 비밀번호는 절대 잊어버리면 안되므로 꼭 기억해둔다.

그럼 아래와 같이 이전 화면으로 돌아오고 필요한 항목들은 자동으로 다 채워진다. Next를 클릭한다.

realse를 선택한 후 Signature Versions에서 V1과 V2를 전부 체크해 Jar와 APK에 전부 서명할 것임을 명시하고 Finish를 눌러준다.

몇분정도 지나면 'Generate Signed APK' 창이 뜬다.

그리고 아래와 같이 서명된 app-relase apk 파일을 볼 수 있다.

앱 서명 / 키 서명 확인

앱에 서명하는 과정을 진행해보았는데, 반대로 서명된 앱을 구했을 때 앱의 서명을 확인하고 싶을 수도 있을 것이다. (자바 jdk가 설치되어 있고 자바 환경변수도 등록되어 있다는 가정 하에 진행하자면) %JAVA_HOME%bin 에 keytool.exe가 있다.

앱의 서명값을 확인하려면 아래와 같이 keytool을 사용한다.

keytool.exe -printcert -jarfile [apk]

키의 서명값을 확인하려면 아래와 같이 keytool을 사용한다.

keytool.exe -list -v -keystore [jks]

[파이썬] zip으로 반복문에 리스트 여러개 같이 돌리기

leeforest — Fri, 19 Jun 2020 22:31:21 +0900

2개의 리스트를 반복문에 같이 돌려?야 할 때 보통 아래와 같은 방법을 사용하곤 했다. 하나의 리스트를 기준으로 반복문을 돌고 다른 하나의 리스트는 인덱스를 사용하는 방법이다.

list1=[1,2,3,4,5]
list2=[6,7,8,9,10]

for i,v in enumerate(list1):
	print(v,list2[i])

하지만 zip을 사용하면 좀 더 깔끔하게 다수의 리스트에 대해 동시에 반복문을 돌릴 수 있다.

list1=[1,2,3,4,5]
list2=[6,7,8,9,10]

for v1,v2 in zip(list1,list2):
	print(v1,v2)

이러한 방식을 알았다면 아래와 같은 응용도 가능하다. [1,2,3,4,5]라는 리스트가 있을 때 1,2 / 2,3 / 3,4 와 같이 다음 요소를 연속으로 사용하는 방법이다. 물론 인덱스 i와 i+1을 사용해도 되지만 zip을 사용하는 것이 좀더 깔끔한 것 같다.

list=[1,2,3,4,5]
for v_first,v_next in zip(list,list[1:]):
	print(v_first,v_next)

그리고 zip도 enumerate로 감쌀 수 있기 때문에 값과 인덱스 전부 얻을 수 있다.

list1=[1,2,3,4,5]
list2=[6,7,8,9,10]

for i,(v1,v2) in enumerate(zip(list1,list2)):
	print(i,v1,v2)

[파이썬] collections 모듈, 리스트 요소별 개수 쉽게 구하기

leeforest — Thu, 18 Jun 2020 22:30:44 +0900

리스트 ["a","b","a","c","d","e","c","c"]가 있다고 해보자. 각 요소별 갯수를 구해야 할 때, 아래와 같이 딕셔너리에는 키 값이 하나만 존재한다는 특징을 사용해 구할 수 있을 것이다.

dict={}
test=["a","b","a","c","d","e","c","c"]

for v in test:
	if dict.get(v): dict[v]+=1
	else: dict[v]=1

print(dict)

{'a': 3, 'b': 2, 'c': 4, 'd': 2, 'e': 2}

위와 같은 방식으로도 구할 수는 있지만 collections 모듈의 Count를 사용하면 손쉽게 구할 수 있다.

import collections

dict={}
test=["a","b","a","c","d","e","c","c"]

dict=collections.Counter(test)
print(dict)

Counter({'c': 3, 'a': 2, 'b': 1, 'd': 1, 'e': 1})

또한 Counter로 얻은 딕셔너리끼리는 뺄셈도 가능하다.

import collections

test1=["a","b","a","c","d","e","c","c"]
test2=["a","b","a","c","d","e","c"]

dic1=collections.Counter(test1)
dic2=collections.Counter(test2)

print(dic1-dic2)

Counter({'c': 1})

알아두면 유용한 구글 고급 검색 명령어 사용법

leeforest — Tue, 16 Jun 2020 23:28:23 +0900

구글 고급 검색 명령어

우리는 원하는 정보를 검색하기 위해 검색엔진을 사용한다. 하지만 단순 키워드 검색만 가지고는 원하는 결과를 얻지 못하는 경우가 많은데, 이럴 때 구글의 고급 검색 명령어(기법)을 사용해보면 좋다. 명령어 사용법이 단순해서 익히기 쉬우니 한번 익혀놓으면 검색할 때 상당히 효율적이다.

특정 단어/문장 반드시 포함시키기 ( "" )

코딩을 하다가 에러가 발생하면 보통 구글링을 하게된다. 한 예로 크롤링을 하다가 Connection ResetError 에러가 발생했다고 가정해보자. 해당 에러에 대해 검색을 하는데 crawling이라는 단어가 꼭 포함됐으면 하는 경우, crawling을 ""로 감싸주면 된다.

"" 없이 검색했을 경우

""를 활용해 검색한 경우

제목에 특정 단어/문장 포함시키기 ( intitle: )

위에서 살펴본 ""는 제목 포함 내용에 특정 단어/문장을 포함시키는 것이었다면 intitle: 은 제목에 특정 단어/문장을 포함시키는 명령어이다. 예를 들어 내 블로그 이름은 "Live Your IT"를 검색해본다고 해보자. 구글에 그냥 검색하면 절대로 내 블로그를 찾을 수 없지만 intitle: 로 검색하면 바로 상위에 블로그가 검색되는 것을 확인할 수 있다.

intitle: 없이 검색했을 경우

intitle: 을 활용해 검색한 경우

검색할 사이트를 지정해주기 ( site: )

요즘 자주쓰는 검색 명령어 중 하나가 site: 이다. stie: 다음에 검색할 사이트의 주소를 지정해준 후 뒤에 검색어를 작성하면 해당 검색어에 대한 검색을 지정해준 사이트 내에서만 수행해준다. 학교 페이지의 경우 검색 알고리즘이 좀 이상하거나 해서 결과가 제대로 안나오는 경우가 종종 있는데 이럴 때 차라리 구글에 site: 명령어를 사용하면 편리하게 검색이 가능하다.

아래는 검색하고 싶은 에러를 stackoverflow 사이트에서만 검색하도록 한 결과이다. 아니면 문법이나 코드를 검색하는데 깃허브 페이지에서만 검색하고 싶을 수도 있다.

stackoverflow 사이트에서만 검색되도록 site: 사용

특정 검색어 제외 ( - )

검색어 앞에 -를 붙이면 해당 검색어를 제외시킬 수 있다. 예를 들어, "노트북 추천"을 검색하는데 그램을 제외하고 싶으면 "노트북 추천 -그램"을 검색하면 된다. 이 -는 다른 명령어 앞에도 붙일 수 있는데 "[내블로그주소] -site:[내블로그주소]"를 검색하면 내 블로그를 제외하고, 내 블로그 포스팅을 참조했거나 내가 댓글을 쓴 포스팅을 검색할 수 있다.

-site 명령어 활용하기

특정 파일 타입만 검색하기 ( filetype: )

특정 파일 타입만 검색하고 싶을 때는 filetype: 명령어를 사용하면 된다. 예를 들어 데이터3법을 검색하는데 pdf 파일로된 문서만 검색하고 싶을 경우 "데이터3법 filetype:pdf"로 검색하면 된다.

filetype 없이 검색했을 경우

filetype을 활용해 검색한 경우

[파이썬] pandas, csv 특정 열 값을 리스트로 변경하기

leeforest — Mon, 15 Jun 2020 00:05:42 +0900

아래와 같은 데이터가 있을 때 특정 열 값을 얻은 후 타입을 리스트로 변경하는 방법을 알아보자.

csv 파일 읽기

pandas 모듈을 사용할 것이기 때문에 먼저 pandas를 임포트해준 후 read_csv를 사용해 csv 파일을 읽어준다. read_csv를 사용해 읽는데 names=[]를 사용해 각 열의 이름을 지정해주고 한글 데이터의 경우 그냥 읽으면 깨지기 때문에 encoding='CP949'로 인코딩을 설정해준다.

import pandas as pd

csv = pd.read_csv('test.csv',\
		names=['gu','dong','name','category','microReview','commonAddr','addr'], \
		encoding='CP949')

특정 열 값을 리스트로 변경하기

그 다음, 속성 이름으로 특정 열을 선택해준다. 출력해보면, 객체 타입임을 알 수 있다.

cat = csv['category']

values를 사용해 선택해준 특정 열의 값만을 추출한다.

cat_val = cat.values

마지막으로, 추출한 값의 타입을 리스트로 변경하기 위해 tolist()를 수행해준다.

cat_list = cat_val.tolist()

당연히, values와 tolist()를 합쳐서 cat.values.tolist()를 해줘도 된다.

특정 열 값을 리스트로 변경하기, 전체 코드

전체 코드는 아래와 같다.

import pandas as pd

csv = pd.read_csv('test.csv',\
		names=['gu','dong','name','category','microReview','commonAddr','addr'], \
		encoding='CP949')

cat = csv['category']
print(cat.values.tolist())

[파이썬] pandas로 csv에서 특정 값을 가진 행 찾기

leeforest — Sun, 14 Jun 2020 21:27:51 +0900

많은 양의 데이터를 저장하고 있는 csv에서, 특정 값을 행만 선별해 찾고 싶을 때가 있다. 이럴 때, 파이썬 pandas 모듈을 사용하면 특정 값을 가진 행을 손쉽게 얻을 수 있다. 참고로, 파이썬 pasndas는 'pip install pandas'로 쉽게 할 수 있다.

파이썬 pandas 모듈 설치

데이터 및 찾을 행 선정

naver_place.csv는 네이버 플레이스의 서울시 음식점 정보가 저장되어 있는 csv이다. 해당 csv 파일에서 구와 동이 '동대문구 회기동'인 행을 찾아보자.

cvs 파일 읽기 (read_csv)

특정 값을 가진 행을 찾기 위해 먼저 read_csv를 사용해 csv 파일을 읽어들인다. 각 열(columns)의 이름은 names=[]로 지정해줄 수 있고, 한글 데이터인 경우 인코딩 없이 그냥 읽으면 깨질 수 있기 때문에 encoding='CP949'로 지정해준다.

#-*-coding:utf-8-*-
import pandas as pd

gu = "동대문구"
dong = "회기동"

csv = pd.read_csv('naver_place.csv', \
	names = ['gu','dong','name','category','microReview','commonAddr','addr'], \
	encoding = 'CP949')
    
print(csv)

csv 출력 결과는 아래와 같다.

csv 에서 특정 값을 가진 행 찾기

특정 값을 가진 행을 찾기 위한 여러 방법이 있겠지만, 아래와 같이 loc을 사용해 행을 인덱싱한 후 내부에 조건문을 써주는 방법이 있다. csv['gu']가 '동대문구'이고 csv['dong']이 '회기동'인 행을 찾는 조건문을 작성했다. 그리고 열은 iloc를 사용해 4개까지만 출력하도록 iloc를 사용해주었다. 참고로, loc는 값을 사용해 검색하고 iloc는 인덱스를 사용해 검색하는 기능을 제공한다.

#-*-coding:utf-8-*-
import pandas as pd

gu = "동대문구"
dong = "회기동"

csv = pd.read_csv('naver_place.csv', \
	names = ['gu','dong','name','category','microReview','commonAddr','addr'], \
	encoding = 'CP949')

# 특정 값(동대문구, 회기동)을 가진 행 찾기
find_row = csv.loc[(csv['gu'] == gu) & (csv['dong'] == dong)]

# 열은 4개까지만 출력되도록
find_row = find_row.iloc[:,:4]
print(find_row)

결과는 아래와 같다.

[파이썬] 네이버 플레이스, 맛집 (JSON 데이터) 크롤링 (2)

leeforest — Sat, 13 Jun 2020 23:40:26 +0900

+) 제가 크롤링에 사용한 URL 서비스 자체(store.naver.com)가 중단되고 새롭게 개편된 것으로 확인됩니다. 따라서 아래 코드에 사용된 URL로는 현재 크롤링이 불가하니 JSON 응답값을 주는 사이트의 크롤링 코드 작성 방법, 방식 위주로만 확인 부탁드립니다!

저번 포스팅에서 서울시의 구/동 별로 카테고리를 나누어 크롤링하기 위해 서울시 행정구역 정보를 저장했고, 크롤링 URL을 구성하기 위한 작업을 선행했다. 그리고 해당 URL 요청을 통해 응답을 받았고 응답 코드 500이 나오는 경우에 대한 처리까지 마쳤다.

이번 포스팅에서는 저번 내용에 이어서, 응답으로 받은 값을 파이썬 json 모듈을 사용해 파싱하고 저장하는 코드를 작성해보자. 이전 포스팅에서 내용과 코드가 모두 이어지므로 필요한 사람은 이전 포스팅을 확인하거나 포스팅 하단부의 전체코드를 확인하길 바란다.

/* 추가적으로 크롤링 중간에 막히는 문제가 해결되었습니다 */

이전포스팅

2020/06/12 - [프로그래밍/파이썬] - [파이썬] 네이버 플레이스, 맛집 (JSON 데이터) 크롤링 (1)

[파이썬] 네이버 플레이스, 맛집 (JSON 데이터) 크롤링 (1)

빅데이터 관련 수업을 들은 적이 있는데 뭔가 데이터 처리를 하기 전에 일단 데이터를 크롤링해와야 했던 과제가 있었다. 네이버 플레이스에서 맛집을 크롤링해보기로 해서 약 12만건? 정도 크��

liveyourit.tistory.com

JSON 데이터, 파이썬 객체로 변환

먼저, JSON 데이터를 파이썬 객체로 변환하기 위해 json 모듈의 loads()를 사용한다.

# start crawling
def crawling(self):
	
    # 코드...
    
    self.data = json.loads(data.text,encoding = 'utf-8')

파싱할 JSON 데이터 선정

JSON 데이터 중 어떤 키-값 을 파싱할지 정해야 한다. 크롤링하고 있는 JSON 데이터를 확인해보면, 음식점 정보가 items 내에 리스트 형태로 쭉 나열되어있다. 그리고 각 음식점마다 id, name, businessCategory 등 여러 값들이 저장되어 있는데 이 중에서 name, category, microReview, commonAddr, addr 데이터를 선정해서 파싱하도록 하겠다. 물론 당연하게도 본인이 원하는 값들을 정해서 파싱하면 된다.

JSON 데이터 파싱

이제 원하는 데이터를 파싱해서 저장하는 일만 남았다. 먼저, 각 음식점 정보가 items 내에 있었기 때문에 items에 먼저 접근해보겠다. items에 접근하려면 data["items"]를 해주면 된다.

# start crawling
def crawling(self):
	
    # 코드...
    
    self.data = json.loads(data.text,encoding = 'utf-8')
    print(self.data["items"])

파싱하기로 선정한 데이터에 접근하려면, data["items"][인덱스][키]를 해주면 된다. items 결과가 여러 개이기 때문에 꼭 인덱스를 지정해주어야 한다. 한 페이지 당 display를 100으로 설정해주었기 때문에 모든 값을 파싱하려면 인덱스 값을 0부터 증가시키는 과정이 필요하다.

# start crawling
def crawling(self):
	
    # 코드...
    
    self.data = json.loads(data.text,encoding = 'utf-8')
    print(self.data["items"][0]["name"])
    print(self.data["items"][0]["category"])
    print(self.data["items"][0]["desc"])
    print(self.data["items"][0]["microReview"])
    print(self.data["items"][0]["commonAddr"])
    print(self.data["items"][0]["addr"])

CRAWL 클래스 내의 crawling 함수에서는 display 길이만큼 반복문을 돌며 인덱스 값을 증가시키고, 실제 값을 파싱하는 코드는 get_json_value 함수에 작성하려 한다. 먼저 crawling 함수 코드를 보자. 참고로, 주석에 이전 코드들은 포스팅 상단에 링크해놓은 이전 포스팅에서 확인할 수 있고, 아니면 해당 포스팅 하단에 첨부해놓은 전체 코드를 확인하길 바란다.

diaplay 값만큼 반복문을 도는데 먼저 구와 동 정보를 self.write에 저장한다. self.write 변수는 리스트인데 구, 동, name, category, microReview, commonAddr, addr을 저장한 후 test.csv 파일에 저장해 줄 것이다. 구와 동 정보를 먼저 리스트에 추가한 후 self.get_json_value('키', '인덱스')를 호출하고 있다.

# start crawling
def crawling(self):

    print('[*] Start Crawling...')
    f = open('test.csv','w',encoding='utf-8-sig', newline='')
    f.close()
    
    # 코드...
    
	#parsing data from json 
	for i in range(display):

		self.write.append(gu)
		self.write.append(dong)
						
		self.get_json_value('name',i)
		self.get_json_value('category',i)
		self.get_json_value('microReview',i)
		self.get_json_value('commonAddr',i)
		self.get_json_value('addr',i)

self.get_json_value는 실제 json 값 파싱 기능을 하는 함수로 따로 작성해주었다. 넘어온 i 인덱스 값이 없을 수도 있기 때문에 (IndexError: list index out of range) try, except 구문을 사용했다. self.data["items"][i]에 key 가 들어있으면 value에 self.data["items"][i][key] 값을 저장한 후 self.write 리스트에 추가해준다.

#parsing json data using items
def get_json_value(self,key,i):
		
	try:
		if key in self.data["items"][i]:
			value = self.data["items"][i][key]
			self.write.append(value)
		else:
			self.write.append("None")
	except:
		self.stop = 1

에러가 발생하면 self.stop 변수를 1로 설정해주는데, 이 변수가 1이 되면 반목문을 break하게 된다.

# start crawling
def crawling(self):

    print('[*] Start Crawling...')
    f = open('test.csv','w',encoding='utf-8-sig', newline='')
    f.close()
    
    # 코드...
    
	#parsing data from json 
	for i in range(display):
    
            # 코드...
            
            if self.stop == 1: break

크롤링 데이터 (JSON) csv 파일에 저장

이제 크롤링 및 파싱을 모두 완료했기 때문에 저장하는 일만 남았다. 앞서 crawling 함수 시작 지점에서 test.csv 파일을 생성해주었는데 csv에 한글을 저장 시, 깨지는 이슈가 있어 encoding='utf-8-sig' 옵션을 추가해주었다. 해당 파일을 열고, 파이썬 csv 모듈을 사용해 데이터(self.write)를 저장해준다. csv 파일을 열때는 개행이 두 번 들어가지 않도록, newline='' 옵션을 지정해준다.

# start crawling
def crawling(self):

    print('[*] Start Crawling...')
    f = open('test.csv','w',encoding='utf-8-sig', newline='')
    f.close()
    
    # 코드...
    
	#parsing data from json 
	for i in range(display):
    
            # 코드...
            
            with open ('test.csv','a',newline='') as f:
            	writer = csv.writer(f)
                writer.writerow(self.write)
                
            self.write = []

저장 결과는 아래와 같다.

크롤링 중간에 막히는 이슈 해결

크롤링을 하다 보니 어느샌가 크롤링이 막히는 이슈가 발생했다. 일정 데이터 이상 크롤링하고 나면, 존재하는 페이지인데도 내부 서버 500 에러가 발생해 더 이상 크롤링이 안 되는 것이다. 해당 이슈는 오늘 해결을 해보다가 해결이 되지 않아서 다음 포스팅 과제로 남겨놔야 할 것 같다고 했는데, 생각보다 빨리 해결이 됐다.

request를 하기 전에 sleep을 1이 아닌 5 정도로 주니, 중간에 막히는 문제가 완벽히 사라졌다.

# request url
time.sleep(5)
data = requests.get(url)

네이버 플레이스, 맛집 크롤링 전체 코드

전체 코드는 아래와 같다. 길다고 하면 긴 과정?을 마무리했는데, 약 10만 건 정도는 거뜬히 크롤링이 가능하니 크롤링한 데이터를 사용해 이다음에 다른 포스팅에서 이것저것 깨작깨작 해볼 예정이다.

#-*-coding:utf-8-*-
import os
import sys
import csv
import json
import time
import requests

class CRAWL:
	
	def __init__(self):
		
		self.seoul_dict = {}
		self.tmp_list = []
		self.data = []
		self.write = []
	
	# seoul_code.xlsx -> dictionary
	def get_seoul_code(self):
		
		dong_list = []
		with open("seoul_code.txt","rt",encoding='UTF8') as f:
			for line in f:
				if line == '\n':
					self.seoul_dict[key] = dong_list
					dong_list = []
					continue

				tmp = line.split(",")
				gu = tmp[0]
				dong = tmp[1].replace("\n","")

				dong_list.append(dong)
				key = gu		


	# parsing json data using items
	def get_json_value(self,key,i):
		
		try:
			if key in self.data["items"][i]:
				value = self.data["items"][i][key]
				self.write.append(value)
			else:
				self.write.append("None")
		except:
			self.stop = 1

	# start crawling
	def crawling(self):
		
		print('[*] Start Crawling...')
		f = open('test.csv','w',encoding='utf-8-sig', newline='')
		f.close()

		#loop for gu/dong
		for gu,dong_list in self.seoul_dict.items():
			print('-'+gu)

			for dong in dong_list:
				print('  -'+dong)

				gu_dong = gu+'+'+dong+'+'+u'맛집'
				display = 100
				
				self.stop = 0
                
				# send query
				for start in range(1,6):
					url = 'https://store.naver.com/sogum/api/businesses?start='+str(start) \
					+'&display='+str(display) \
					+'&query='+gu_dong \
					+'&sortingOrder=reviewCount' \

					time.sleep(5)
					#get data and check status code
					data = requests.get(url)
					if data.status_code == 500:
						break
					
					self.data = json.loads(data.text)
					
					#parsing data from json 
					for i in range(display):

						self.write.append(gu)
						self.write.append(dong)
						
						self.get_json_value('name',i)
						self.get_json_value('category',i)
						self.get_json_value('microReview',i)
						self.get_json_value('commonAddr',i)
						self.get_json_value('addr',i)
						
						if self.stop == 1:
							break

						with open ('test.csv','a',newline='') as f:
							writer = csv.writer(f)
							writer.writerow(self.write)

						self.write = []

			print('--------------------------------------')
            
if __name__ == "__main__":
	
	# gu = sys.argv[1]
	# dong = sys.argv[2]
	
	cr = CRAWL()
	cr.get_seoul_code()
	cr.crawling()

[파이썬] 네이버 플레이스, 맛집 (JSON 데이터) 크롤링 (1)

leeforest — Fri, 12 Jun 2020 22:21:45 +0900

+) +) 제가 크롤링에 사용한 URL 서비스 자체(store.naver.com)가 중단되고 새롭게 개편된 것으로 확인됩니다. 따라서 아래 코드에 사용된 URL로는 현재 크롤링이 불가하니 JSON 응답값을 주는 사이트의 크롤링 코드 작성 방법, 방식 위주로만 확인 부탁드립니다!

빅데이터 관련 수업을 들은 적이 있는데 뭔가 데이터 처리를 하기 전에 일단 데이터를 크롤링해와야 했던 과제가 있었다. 네이버 플레이스에서 맛집을 크롤링해보기로 해서 약 12만 건? 정도 크롤링했었다. 이번 포스팅에서는 네이버 플레이스에서 서울시 맛집을 구/동별로 크롤링하는 코드를 소개해보려 한다.

서울시 구/동 정보, 파일에 저장해놓기

서울시의 구/동 정보를 먼저 탐색하는 이유는 두가지이다. 첫 번째는 크롤링할 때, URL 매개변수로 구/동을 전달하기 위함인데 구/동 기준으로 크롤링하기 위함이라고 보면 된다. 두번째는 나중에 크롤링된 데이터를 활용할 때, 구/동으로 검색이 가능하도록 GUI를 구성하도록 하기 위함이다.

크롤링할 때, URL 매개변수로 구/동을 전달하기 위해
나중에 구/동으로 검색 시, 크롤링된 데이터에서 결과를 찾아주는 시스템으로 만들기 위해 (GUI)

어쨌든 그러기 위해선 정확한 서울시의 행정구역 정보가 필요한데 서울 공공포털에서 다운받은 공공데이터를 활용했다. 아래 링크에 나와있는 서울 열린데이터광장의 데이터셋에서 동별을 검색하면 서울시 동별 관련 통계자료를 여러 개 볼 수 있다.

서울 열린데이터광장, 공공 데이터셋(동별)

서울 열린데이터광장, 공공 데이터셋 (동별)

그중 아무거나 다운로드하여서 아래 사진과 같이 구/동 정보만 따로 txt에 저장해놓았다. 나중에 엑셀파일(seoul_code.txt)에서 구/동정보를 긁어서 파이썬 딕셔너리에 저장할 것이다.

서울시 구/동 행정구역 정보

서울시 구/동 정보 얻어오기

seoul_code.txt 파일을 읽어 구/동 정보를 seoul_dict 딕셔너리에 저장한다. 행 단위로 읽으면서 ","를 기준으로 구와 동을 나누고, 동은 dong_list에 추가시키고 딕셔너리의 key는 구로 설정한다. 그리고 '\n'을 만나면 하나의 구가 끝났다는 것이므로 추가해온 dong_list를 딕셔너리에 추가해준다.

딕셔너리에 넣든, 이중 리스트에 넣든, 어찌 됐든 구와 동을 편한 대로 자료구조에 저장하면 된다. 본격적인 크롤링 시, 각 구/동을 기준으로 루프를 돌게 된다. 참고로, 이 다음부터의 CRAWL 클래스 내부의 함수는 탭이 너무 많아져서 함수만 따로 분리해 작성한다. ~~탭간격 조정이 되면 좋을 텐데.. 탭 간격이 너무 크다ㅠㅠ~~

class CRAWL:
	
	def __init__(self):
		
		self.seoul_dict = {}
	
	# seoul_code.txt -> dictionary
	def get_seoul_code(self):
		
		dong_list = []
		with open("seoul_code.txt","rt",encoding='UTF8') as f:
			for line in f:
				if line == '\n':
					self.seoul_dict[key] = dong_list
					dong_list = []
					continue

				tmp = line.split(",")
				gu = tmp[0]
				dong = tmp[1].replace("\n","")

				dong_list.append(dong)
				key = gu

크롤링 대상 페이지 선정 : 네이버 플레이스

맛집 정보를 어디서 크롤링할까 하다가 네이버 플레이스를 활용하기로 했다. 네이버 플레이스는 그냥 검색창에 검색을 해보니 '네이버 MY플레이스', '네이버 스마트플레이스' 이것밖에 안 나오던데... 이 2개는 다른 페이지이다. 네이버 검색창에 예를 들어 '신림동 맛집'을 검색하면 아래와 같이 검색 결과가 뜨고, 검색 결과 중 하나를 클릭하면, 네이버 플레이스 페이지가 나온다.

네이버 플레이스, 맛집 검색 (1)

네이버 플레이스, 맛집 검색 (2)

크롤링 URL 매개변수 구성 및 요청

URL을 보면, "store.naver.com/restaurants/detail?id=XXXXX" 이런 식인데 이 URL 형식으로는 구/동별로 크롤링하기가 당연히 힘들기 때문에 아래 URL을 사용했다. 아래 URL은 네이버 플레이스 크롤링해봤던 연구실 친구가 크롤링하기 편하다고 해서 알려줬는데 진짜 편하다.

"store.naver.com/sogum/api/businesses?start=1&display=100&query=관악구+신림동+맛집&sortingOrder=reviewCount"

매개변수가 3개인데, start는 페이지 수를 넘기는 부분이고 display는 페이지 당 보여지는 수이고 query는 검색 쿼리를 입력하면 된다. display는 100으로 고정해놓을 것이고, start는 일단 코드가 전체적으로 잘 돌아가는 것을 확인하는 것이 먼저이므로 10까지 할 것인데 10까지 검색이 안 되는 경우를 따로 처리를 해주어야 한다.

query는 "[구]+[동]+맛집"으로 구성할 것이다. 여기서 구/동은 위에서 저장해놓은 seoul_dict을 이용하면 된다. sortingOrder는 reviewCount로 리뷰 수가 많은 순대로 정렬되도록 했는데 단순히 '리뷰 수가 많은 음식점은 맛집으로 생각하자'라고 전제했기 때문이다. 사실, 각 구/동 별 크롤링하는 음식점 수가 많기 때문에 상위 몇 개의 음식점을 제외하곤 맛집이라고 생각하기 곤란할 수 있다. 맛집을 구체적으로 선별하기 위해선 이다음 포스팅에서 파싱하는 데이터 중 리뷰수를 파싱해서 직접 절대적인 리뷰수를 조건으로 설정해놓던가, 아니면 다른 방식을 생각해서 적용하던가 해야 할 듯하다.

아래 코드에서 볼 수 있듯이, 딕셔너리/동리스트/start변수 해서 총 3중 for문을 돌게 되는데 이 방법 말고 현재로써는 딱히 떠오르는 게 없어서 의식의 흐름대로 작성했다. ~~혹시 이것보다 좀 더 시간효율적인 방법이 있다면 댓글로 남겨주시면 감사하겠습니다.~~ 또한, 혹시 몰라 request.get(url) 앞에 sleep을 주었다. 이다음 포스팅에서 언급하는데, 처음에는 seep을 1 정도로 주었었는데 중간에 크롤링이 막히는 문제가 있어 5 정도로 주니 해결이 되었다.

# start crawling
def crawling(self):

	print('[*] Start Crawling...')
	f = open('test.csv','w',encoding='utf-8-sig', newline='')
	f.close()
        
	# loop for gu/dong
	for gu,dong_list in self.seoul_dict.items():
		print('-'+gu)

		for dong in dong_list:
			print('  -'+dong)

			gu_dong = gu+'+'+dong+'+'+u'맛집'
			display = 100
				
			#send query(start:1,display:100->start:101,display:100 ...)
			for start in range(1,11):
				url = 'https://store.naver.com/sogum/api/businesses?start='+str(start) \
				+'&display='+str(display) \
				+'&query='+gu_dong \
				+'&sortingOrder=reviewCount' \

				time.sleep(5)
				data = requests.get(url)

위 URL을 직접 확인해보면, 아래와 같이 json 데이터임을 확인할 수 있다. json 데이터이기 때문에 파이썬의 json 모듈을 사용해서 파싱해줄 것이다.

네이버 플레이스, JSON 데이터 (query)

위 데이터는 query 부분이고 아래부터 각 음식점 별 정보가 저장되어 있는 items가 리스트 형태로 쭉 나열되어 있는 구조이다.

네이버 플레이스, JSON 데이터 (items)

참고로, json 데이터는 그냥 보면 가독성이 매우 떨어지기 때문에 크롬일 경우 JSONView와 같은 확장 프로그램을 설치해놓는 것이 좋다. 관련 내용은 아래 포스팅을 확인하길 바란다.

[크롬 확장프로그램] JSONView로 json 데이터 가독성있게 보기

크롬 확장프로그램, JSONView 크롤링을 하거나 기타 등의 작업을 하다보면 JSON 데이터를 마주하게될 때가 있는데 이 때 추천하는 크롬 확장프로그램 중 하나가 바로 JSONView이다. 프로그램 이름으로

liveyourit.tistory.com

보통 페이지가 1000까지 가는 경우는 당연히 없을 것이기 때문에 상태 코드가 어떻게 나오는지 좀 확인을 해보면, 상태코드가 500으로 찍힌다.

네이버 플레이스 크롤링, 상태코드 확인

따라서 상태 코드를 체크해주어 500일 경우 반복문을 끝내는 구문을 추가해야 한다.

# start crawling
def crawling(self):
    
	# 코드...
    
	# get data and check status code
	if data.status_code == 500: break

네이버 플레이스, 크롤링 전체 코드 (일부)

여기까지의 전체 코드는 아래와 같다. 코드를 보면 알겠지만, 결국 각 구의 각 동별로 위에서 봤던 쿼리를 날리는 방식이다.

#-*-coding:utf-8-*-
import os
import sys
import json
import time
import requests
import csv

class CRAWL:
	
	def __init__(self):
		
		self.seoul_dict = {}
		self.tmp_list = []
		self.data = []
		self.write = []
	
	# seoul_code.xlsx -> dictionary
	def get_seoul_code(self):
		
		dong_list = []
		with open("seoul_code.txt","rt",encoding='UTF8') as f:
			for line in f:
				if line == '\n':
					self.seoul_dict[key] = dong_list
					dong_list = []
					continue

				tmp = line.split(",")
				gu = tmp[0]
				dong = tmp[1].replace("\n","")

				dong_list.append(dong)
				key = gu		


	# parsing json data using items
	def get_json_value(self,key,i):
		
		try:
			if key in self.data["items"][i]:
				value = self.data["items"][i][key]
				#self.tmp += value
				self.write.append(value)
			else:
				#self.tmp += "N"
				self.write.append("None")
		except:
			self.stop = 1

	# start crawling
	def crawling(self):
		
		print('[*] Start Crawling...')
		f = open('test.csv','w',encoding='utf-8-sig', newline='')
		f.close()

		#loop for gu/dong
		for gu,dong_list in self.seoul_dict.items():
			print('-'+gu)

			for dong in dong_list:
				print('  -'+dong)

				gu_dong = gu+'+'+dong+'+'+u'맛집'
				display = 100
				
				self.stop = 0
                
				# send query
				for start in range(1,6):
					url = 'https://store.naver.com/sogum/api/businesses?start='+str(start) \
					+'&display='+str(display) \
					+'&query='+gu_dong \
					+'&sortingOrder=reviewCount' \

					# request url
					time.sleep(5)
					data = requests.get(url)

					#get data and check status code
					if data.status_code == 500: break
                
        # 코드...


if __name__ == "__main__":
	
	# gu = sys.argv[1]
	# dong = sys.argv[2]
	
	cr = CRAWL()
	cr.get_seoul_code()

생각보다 포스팅이 길어져서 크롤링한 데이터를 파이썬 json 모듈을 사용해 파싱하고 저장하는 내용과 코드는 아래 다음포스팅에서 이어서 작성하도록 하겠다.

다음포스팅

[파이썬] 네이버 플레이스, 맛집 (JSON 데이터) 크롤링 (2)

저번 포스팅에서 서울시의 구/동 별로 카테고리를 나누어 크롤링하기 위해 서울시 행정구역 정보를 저장했고, 크롤링 URL을 구성하기 위한 작업을 선행했다. 그리고 해당 URL 요청을 통해 응답을

liveyourit.tistory.com

[크롬 확장프로그램] JSONView로 json 데이터 가독성있게 보기

leeforest — Thu, 11 Jun 2020 22:57:35 +0900

크롬 확장프로그램, JSONView

크롤링을 하거나 기타 등의 작업을 하다보면 JSON 데이터를 마주하게될 때가 있는데 이 때 추천하는 크롬 확장프로그램 중 하나가 바로 JSONView이다. 프로그램 이름으로도 기능을 쉽게 유추할 수 있는데, 바로 JSON 데이터를 가독성있게 볼 수 있도록 해주는 확장프로그램이다.

JSON이란? (출처: 위키백과)
JSON(JavaScript Object Notation)은 "속성-값" 쌍 또는 "키-값 쌍"으로 이루어진 데이터 오브젝트를 전달하기 위한 개방형 표준 포맷이다. 본래는 자바스크립트 언어로부터 파생되어 자바스크립트의 구문 형식을 따르지만 언어 독립형 데이터 포맷이다.

JSONView 설치

크롬 확장프로그램이기 때문에 설치는 매우 쉽다. 크롬 웹스토어의 해당 링크에서 'Chrome에 추가'를 클릭한다.

크롬 확장프로그램, JSONView

'Chrome에 추가' 클릭 후 뜨는 아래의 창에서 '확장 프로그램 추가'를 클릭해준다.

크롬 확장프로그램, JSONView 추가

제대로 설치가 됐으면 아래와 같이 크롬 오른쪽 윗부분에 JSONView가 추가된 것을 확인할 수 있다.

크롬 확장프로그램, JSONView 추가됨

JSONView 설치 전후 비교

그럼 실제로 JSONView 설치 전후가 어떻게 다른지 확인해보자. 아래는 JSONView를 설치하기 전 쌩자? 그대로 JSON 데이터를 본 경우이다. 딱봐도 한눈에 보기 굉장히 힘들다. 특히나 크롤링을 하는 경우에는 정확히 어떤 부분이 무엇을 의미하고 구조가 어떻게 되는지 확인을 해야하는데 이런식이면 빠르게 파악하기가 아무래도 힘들다.

JSONView 설치 전의 JSON 데이터

그렇다면, JSONView를 설치하고난 후의 JSON 데이터는 어떻게 보여질까. 아래 보는 것처럼 키:값 쌍대로 JSON 포맷을 정렬해서 보여주기 때문에 가독성이 좋아지게 된다 :)

KISA, 침해사고 분석 절차 안내서

leeforest — Wed, 10 Jun 2020 21:39:31 +0900

해당 포스팅은 KISA의 <침해사고 분석 절차 안내서>와 <침해사고 대응 절차>에서 필요한 부분을 추출해 요약한 내용 +a 를 담고 있습니다. ~~혹시 문제가될 시 즉시 삭제하겠습니다.~~

서론

인터넷 침해사고를 일으키는 해킹 기법이 지능화됨에 따라 침해사고에 대한 분석도 어려워지고 있다. 홈페이지 악성코드 은닉사고의 경우도 다양한 방법으로 악성코드를 숨기고 있으며, 악성 Bot도 탐지가 어려운 루트킷과 결합되어 탐지가 어려워지고 있다.

본 안내서에서는 해킹피해 기관이나 개인이 침해사고를 당했을 때 이에 대응하기 위한 분석절차와 기술을 제시한다.

단계별 침해사고 분석 절차

사고대응 방법론

사고 탐지, 초기 대응, 대응전략 체계화, 사고 조사, 보고서 작성, 해결의 순으로 이루어진다.

사고 탐지 : 정보보호 및 네트워크 장비에 의한 이상 징후 탐지. 관리자에 의한 침해 사고의 식별
초기 대응 : 초기 조사 수행, 사고 정황에 대한 기본적인 세부사항 기록, 사고대응팀 신고 및 소집, 침해사고 관련 부서에 통지
대응 전략 체계화 : 최적의 전략을 결정하고 관리자 승인을 획득, 초기 조사 결과를 참고하여 소송이 필요한 사항인지를 결정하여 사고 조사 과정에 수사기관 공조 여부를 판단
사고 조사 : 데이터 수집 및 분석을 통하여 수행. 언제, 누가, 어떻게 사고가 일어났는지, 피해 확산 및 사고 재발을 어떻게 방지할 것인지를 결정
보고서 작성 : 의사 결정자가 쉽게 이해할 수 있는 형태로 사고에 대한 정확한 보고서를 작성
해결 : 차기 유사 공격을 식별 및 예방하기 위한 보안 정책의 수립, 절차 변경, 사건의 기록, 장기 보안 정책 수립, 기술 수정 계획수립 등을 결정

사고탐지

사고 탐지는 시스템 및 네트워크 사용자 또는 관리자에 의해 탐지되며, 침입탐지 시스템, 방화벽과 같은 정보보호 장비들에 의해 그 세부 기록을 확인할 수 있다. 사고 징후로는 아래와 같은 것들이 있다.

IDS가 탐지한 원격 접속
여러번의 로그인 실패
관리자가 생성하지 않은 계정 발견
유휴 상태 및 디폴트 계정의 로그인 시도
서비스 미 제공시간 동안의 시스템 활동
출처 불명의 파일 또는 프로그램 발견
설명할 수 없는 권한 상승
웹서버의 경고 페이지
로그 파일, 내용의 삭제
시스템 성능 저하, 시스템 충돌
이메일 도청 증거 발견
음란 사진 및 동영상

초기대응

조사의 초기 단계는 적절한 대응을 위한 충분한 정보를 얻는 것이다. 초기 대응은 침해사 고 대응팀을 소집하고, 네트워크와 시스템의 정보들을 수집하며, 발생한 사건의 유형 식별 과 영향 평가를 포함한다.

사건의 기술적인 내용을 통찰할 수 있는 시스템 관리자와 면담
사건 분석을 위한 정황을 제공해 줄 수 있는 인원들과의 면담
침입 탐지 로그와 데이터 식별을 위한 네트워크 기반 로그의 분석
공격 경로와 수단을 알아내기 위한 네트워크 구조와 접근 통제 리스트의 분석

대응전략 수립

공격 환경과 대응능력을 고려해 다양한 대응 전략을 수립해야 한다. 예를 들어, DDoS 공격의 경우 Flooding 효과를 최소화하기 위해 라우터를 재설정할 수 있고 ISP, 수사기관과 협력해 공격자를 밝혀 법적 조치를 강구해야 한다.

사고조사

사고조사는 누가, 무엇을, 언제, 어디서 그리고 어떤 정보가 사고와 관련된 것인지를 확인하기 위한 과정으로 데이터 수집과 자료 분석 단계로 나뉜다.

데이터를 수집하는 동안 수집한 정보는 기본적으로 호스트 기반 정보, 네트워크 기반 정보와 그밖에 일반적인 정보로 나뉠 수 있다. 호스트 기반 정보는 네트워크에서 얻어진 것이 아니라 시스템에서 얻어진 로그, 레코드, 문서 그리고 또 다른 정보들을 포함한다. 예를 들면, 호스트 기반 정보는 특정기간 동안 증거를 보관하고 있었던 시스템 백업일 수도 있다. 호스트 기반 데이터 수집은 일단 휘발성 데이터를 우선 수집한 후 포렌식 이미징 작업을 통해서 정보를 모아야 한다.

다음은 수집해야 할 휘발성 데이터의 종류이다.

시스템 날짜와 시간
시스템에서 현재 동작 중인 어플리케이션
현재 연결이 성립된 네트워크 상황
현재 열려진 소켓(포트)
열려진 소켓 상에서 대기하고 있는 어플리케이션
네트워크 인터페이스의 상태
메모리 정보
현재 열려진 파일
시스템 패치 상황

네트워크 기반 증거는 다음의 정보를 포함하고 있다.

IDS 로그
관련자의 허락을 득한 네트워크 모니터링의 기록
ISP 가입자 이용 기록 장치/감시 장치의 로그
라우터 로그
방화벽 로그
인증 서버 로그

데이터 분석은 모든 수집된 정보의 전체적인 조사를 의미한다. 이것은 로그 파일, 시스템 설정 파일, 웹 브라우저 히스토리 파일, 이메일 메시지와 첨부파일, 설치된 어플리케이션 그리고, 그림파일 등을 포함한다. 소프트웨어 분석, 시간/날짜 스탬프 분석, 키워드 검색, 그외의 필요한 조사과정을 수행한다.

보고서 작성

복구 및 해결 과정

컴퓨터 보안사고 대응의 마지막 단계는 현재 발생한 사고로 인해 제 2, 제 3의 피해를 막고 재발을 방지하기 위한 조치들이 이루어져야 한다. 이를 위해 다음과 같은 조치들을 취해야 한다.

조직의 위험 우선순위 식별
사건의 본질을 기술 : 보안 사고의 원인과 호스트, 네트워크의 복원시 필요한 조치
사건의 조치에 필요한 근원적이고 조직적인 원인 파악
침해 컴퓨터의 복구
네트워크, 호스트에 대해 밝혀진 취약점에 대한 조치(IDS, Access control, firewall)
시스템을 개선할 책임자 지명
시스템 개선이 이루어지고 있는지 추적
모든 복구 과정이나 대책의 유용성 검증
보안 정책 개선

침해사고 분석기술

다음의 내용들은 KISA의 공식 배포 자료들에 있는 내용이 아닌, 개인적으로 정리해놓은 내용이기에 공식적?인 절차나 내용은 아님을 밝힌다.

초기대응 - 사고 정황 확인 (휘발성 정보 수집)

초기대응의 휘발성 정보 수집에서 아래와 같은 명령어들을 통해 사고 정황을 확인한다.

의심 프로세스의 PID 확인

$ ps -ef | grep X

의심 프로세스의 경로 확인 (ps 바이너리가 변조된 경우)

$ lsof

부모 프로세스가 존재하는지 확인

$ pstree -H

root 권한으로 열려있는 pty가 있는지 확인

$ w

열려있는 포트와 연결된 IP 확인

$ netstat -anp

외부 PC에서 nmap으로 열려있는 포트 확인

$nmap -sT -p -65535 [서버IP]

열린 포트를 어떤 프로세스가 사용하는지 확인

$ fuser [포트/tcp]

루트킷 탐지

// Rootkit Hunter 사용

웹쉘 탐지

// WHISTL 사용

보안솔루션 로그 확인

// 웹쉘 솔루션, IPS, 백신 등 로그 확인

초기 대응 - 긴급 대응

사건 유형을 식별 후 그에 맞는 긴급 대응을 수행한다.

백업

상세 분석을 위한 프로세스 백업

웹서버, DB (고객정보) 백업

중요 설정파일 백업

프로세스 (백도어) 삭제 및 계정 제한

root 권한으로 돌고있는 백도어 삭제

권한 상승 계정 삭제 혹은 계정 권한 제한

관리자 계정 패스워드 변경

정책 재설정

방화벽에 해당 포트 차단 정책을 적용

사고조사 (데이터 수집 및 분석)

로그 상세 분석을 수행한다.

로그 파일의 정보를 확인

웹로그 (/user/local/apache/logs)

이벤트로그 (/var/log/secure)

웹로그 확인 (최초 공격 대상이 웹인 경우)

어떤 웹 취약점을 사용해 어떻게 공격했는지 파악

IPS 로그 확인

권한 상승 발생 시점 확인으로 어떤 취약점이 악용됐는지 파악

방화벽 로그 확인

추후 방화벽 정책 업데이트를 위함

프로세스 상세 분석을 수행한다.

웹쉘의 경우 웹쉘 코드 확인 및 행위를 분석

...GET /image/X.asp Action=CmdShell 200

...GET /image/X.asp Action=UpFile 200

악성코드의 경우 정적/동적 분석

레지스트리 조작, 파일 전송 등 시스템에 어떤 영향을 미쳤는지 파악

백도어의 경우 백도어로 수행된 행위 파악

마지막으로 복구 및 대응을 수행한다.

웹취약점 제거

입력값 필터링, 업로드 디렉토리의 실행 권한 제거

화이트리스트 기반 확장자 검사 등

취약한 OS 및 소프트웨어 최신 버전 유지

악성코드 유포 방지를 위한 원데이 취약점 제거

웹쉘/악성코드 등 패턴 추가

고유한 특징을 나타내는 패턴 추출 후 등록

방화벽 등 정책 추가

앞선 보안솔루션들을 통과할 수 있었던 원인 분석

방화벽 등 정책 추가 (IP 차단 등)

[프로그래머스] 탐욕법(Greedy) - 체육복 (파이썬)

leeforest — Tue, 9 Jun 2020 21:07:41 +0900

프로그래머스 탐욕법(Greedy) - 체육복, 문제 확인

1차원적으로 문제를 이해해서는 테스트케이스 중 여러 문제를 통과할 수 없다. 테스트케이스를 알 수 없어 대체 뭐가 문제인지 난항에 빠졌었는데 '질문하기'를 이것저것 찾아보다가 겨우 해결할 수 있었다. 실전에서는 스스로 모든 예외를 생각해봐야 할텐데 아직 그런 스킬이 많이 부족한 것 같다.

문제 설명은 아래와 같다.

일부 학생의 체육복이 도난당함

여벌 체육복이 있는 학생이 체육복을 빌려줄 수 있음

하로 앞번호 학생이나 뒷번호 학생에게만 체육복을 빌려줄 수 있음

최대한 많은 학생이 체육수업을 들을 수 있게 해야 함

여벌 체육복을 가져온 학생이 체육복을 도난당했을 경우 하나만 도난당했다고 가정, 다른 학생에게 빌려줄 수 없음

n: 전체 학생 수

lost : 체육복을 도난당한 학생들의 번호가 담긴 배열

reserve: 여벌의 체육복을 가져온 학생들의 번호가 담긴 배열

수업을 들을 수 있는 학생의 최댓값을 리턴

프로그래머스 탐욕법(Greedy) - 체육복, 문제 풀이 (파이썬)

처음에 문제를 풀고나서 테스트케이스를 확인해보니 3,7,10만 틀렸었다. 이 경우 "여벌 체육복을 가져온 학생이 체육복을 도난당했을 경우 하나만 도난당했다고 가정, 다른 학생에게 빌려줄 수 없음"를 고려하지 않았기 때문이다. 제일 먼저 lost와 reserve 간의 중복을 제거해주어야 한다. 3,7,10 테스트케이스만 계속 틀리게 나오는 사람은 ( n=5, lost=[1,2], reserve=[2,3], return=4 / n=5, lost=[5,4,2], reserve=[2,4], return=4) 와 같은 테스트케이스를 추가해보길 바란다.

n=5, lost=[1,2], reserve=[2,3], return=4
n=5, lost=[5,4,2], reserve=[2,4], return=4

중복을 제거하는 방법에는 여러가지가 있지만, 구글링하다가 set과 intersection을 사용하는 신박한 방법을 찾아서 이 방법을 썼다. 아래와 같이 set(list1).intersection(list2) 를 사용하면 list1과 list2 간의 중복되는 요소에 대한 리스트를 얻을 수 있다. 그리고 중복 요소를 구했으니 해당 요소값을 lost와 reserve에서 제거해준다.

def solution(n, lost, reserve):
    common = set(lost).intersection(reserve) # lost,reserve 간 중복 요소 구하기
    for v in common:
        reserve.pop(reserve.index(v)) # 중복 제거
        lost.pop(lost.index(v)) # 중복 제거 
    answer = n-len(lost) # 수업을 들을 수 있는 학생은 일단 n-len(lost)

이제 lost를 기준으로 체육복을 빌릴 수 있는 상태인지 확인해주는 것이 필요하다. lost 리스트에 대해 반복문을 돌면서 앞번호(v-1)가 reserve 배열에 존재하는지 확인하고 존재한다면 해당 학생은 수업을 들을 수 있게 되는 것이므로 answer를 +1 해주고 빌려준 학생은 이제 다른 학생에게는 빌려주지 못하므로 reserve에서 pop을 해준다. 뒷번호(v+1)가 존재하는 경우도 마찬가지로 수행해준다.

    for i,v in enumerate(lost):
        if v-1 in reserve: # 앞번호가 reserve 배열에 존재하는지 확인
            answer+=1
            reserve.pop(reserve.index(v-1)) 
            continue # 이미 빌렸으므로 다음으로 넘어가기
        if v+1 in reserve: # 뒷번호가 reserve 배열에 존재하는지 확인  
            answer+=1
            reserve.pop(reserve.index(v+1)) # 뒷번호가 reserve 배열에 존재하는지 확인  

    return answer

전체 코드는 아래와 같다.

def solution(n, lost, reserve):
    common = set(lost).intersection(reserve) # lost,reserve 간 중복 요소 구하기
    for v in common:
        reserve.pop(reserve.index(v)) # 중복 제거
        lost.pop(lost.index(v)) # 중복 제거 
    answer = n-len(lost) # 수업을 들을 수 있는 학생은 일단 n-len(lost)
    
    for i,v in enumerate(lost):
        if v-1 in reserve: # 앞번호가 reserve 배열에 존재하는지 확인
            answer+=1
            reserve.pop(reserve.index(v-1)) 
            continue # 이미 빌렸으므로 다음으로 넘어가기
        if v+1 in reserve: # 뒷번호가 reserve 배열에 존재하는지 확인  
            answer+=1
            reserve.pop(reserve.index(v+1)) # 뒷번호가 reserve 배열에 존재하는지 확인  

    return answer

아래와 같이 모든 테스트케이스를 통과하게 된다.

[앱리뷰] 기프티콘 판매 어플 니콘내콘 사용법 (판매/정산)

leeforest — Sun, 7 Jun 2020 21:26:01 +0900

기프티콘 판매 어플 니콘내콘

니콘내콘은 모바일 쿠폰 중고거래 서비스를 제공하는 대표적인 앱 중 하나로 모바일 쿠폰에는 우리가 흔히 사용하는 카카오톡 기프티콘을 예로 들 수 있다. 남아있는 기프티콘이 있어 '니콘내콘'을 사용해보았는데, 기프티콘 판매/정산을 어떻게 하는지 사용법을 살펴보자.

참고로 판매 중간중간 생각날 때 캡쳐를 하고 중간에 반려된 것이 있어서 기프티콘 종류나 판매중인 수가 뒤죽박죽인데 양해해주길 바란다.

기프티콘 판매 어플, 니콘내콘

니콘내콘 사용해 기프티콘 판매/정산하기

니콘내콘, 회원가입 및 로그인

제일 먼저 회원가입이 필요하다. 회원가입 후 로그인을 하면 '기프티콘 판매하기'가 활성화되어 있다. '기프티콘 판매하기'를 클릭해 들어간다.

니콘내콘 회원가입 / 기프티콘 판매하기

니콘내콘, 기프티콘 등록

'+ 쿠폰판매하기'를 클릭하면 카테고리를 선택할 수 있다. 카테고리에는 카페, 편의점/마트, 빵/아이스크림, 피자/햄버거/치킨, 문화/게임/영화, 외식/분식, 백화점/주유/뷰티, 휴대폰데이터가 존재한다.

니콘내콘, 쿠폰판매하기 / 카테고리 설정

예를 들어, 스타벅스 기프티콘을 판매한다고 하면 카페를 들어간 후 원하는 카페 브랜드를 선택, 매입중인 상품을 선택하면 된다. 상품검색에 검색해서도 찾을 수 있다. 아쉽게도 재고가 아직 많다던가 하는 등의 이유로 매입중이 아닌 상품은 판매를 할 수 없다. 판매할 상품을 클릭하면 쿠폰을 추가할 수 있게된다.

니콘내콘, 상품검색 / 쿠폰추가

참고로, 쿠폰을 추가할 때 기프티콘을 직접 캡쳐해서 넣으면 안된다. 이렇게되면 아래와 같이 반려가 되는 것을 볼 수 있으니 선물함의 기프티콘 하단에 '교환권 저장'을 클릭해서 오른쪽과 같이 저장한 이미지파일을 사용해야 한다.

니콘내콘, 기프티콘 판매 반려

니콘내콘, 판매수락 및 판매금/정산금 확인

'+쿠폰 추가'에서 저장된 기프티콘 이미지 파일을 추가하면, 하단에 '리뷰 신청하기'가 있다. 리뷰를 신청해 높으면 '리뷰 중 쿠폰'에서 리뷰가 진행중인 쿠폰을 확인할 수 있고, 그 중 리뷰가 끝난 상품은 아래와 같이 '거절/판매수락'을 선택할 수 있게 된다. 당연히 판매가 목적이므로 판매수락을 클릭한다.

니콘내콘, 리뷰신청하기 / 판매수락

판매가 완료되면 판매금이 들어온 것을 볼 수 있고 정산에서 정산금을 확인할 수 있다. 참고로, 판매금과 정산금은 판매수락을 했다고 바로 정산되는 것이 아니라 얼마정도의 시간이 지난 후에 정산이 된다. 그리고 이렇게 판매된 금액을 '정산금 출금신청하기'를 클릭해 출금할 수 있다 :)

니콘내콘, 판매 완료 및 정산

[정보처리기사] 2020 NCS 기반 개정 첫 필기 시험 후기

leeforest — Sat, 6 Jun 2020 21:51:06 +0900

NCS 기반 개정된 내용을 공부하면서 느낀 내용과 이 뒤에 나오는 시험 후기가 쓸데없이 상세하니 읽기 힘드신 분들은 포스팅 맨 하단의 요약을 확인해주시기 바랍니다..ㅎㅎ

2020 정보처리기사, NCS 기반 개정...?

코로나19로 인해 계속 밀리던 정보처리기사 시험을 오늘 보고왔다. 정보보안 전공이기에 정보보안기사는 2016년 7회차를 합격해 취득한 상태여서 정보처리기사는 봐야겠다는 생각을 못하다가.. 취업준비를 알뜰하게 보내고 싶기도 했고 공백기에 뭐라도 더하자 싶어서 시험을 치루기로 했다.

2020년부터는 정보처리기사가 NCS 기반으로 전면 개정됐다. 그래도 이 직종(?)에 있었던 기간도 기간이고 기출문제 위주로 보면 쉽게 합격할 수 있을 것이라 생각했는데 하필 시험을 보려 마음먹었을 때 알아보니 전면 개정됐다고 해서 걱정이 많았던게 사실이다.

개정 전에는 [1.데이터베이스 / 2.전자계산기구조 / 3.운영체제 / 4.소프트웨어공학 / 5.데이터통신] 이렇게 5과목이있는데 개정 후에는 [1.소프트웨어설계 / 2.소프트웨어개발 / 3.데이터베이스구축 / 4.프로그래밍언어활용 / 5.정보시스템구축관리]로 과목이 변경됐다.

개정전

1.데이터베이스 / 2.전자계산기구조 / 3.운영체제

4.소프트웨어공학 / 5.데이터통신

개정후

1.소프트웨어설계 / 2.소프트웨어개발 / 3.데이터베이스구축

4.프로그래밍언어활용 / 5.정보시스템구축관리

어떤 변화인지 과목명만 봐서는 쉽게 체감을 하기 힘들었는데 개정후의 책을 사서 좀 비교를 해보니, 확실히 (책 상으로는) 변화가 많긴 했다. 일단 제일 눈에 띄는 것은 전자계산기구조가 없어졌고, 소프트웨어공학으로 있던 내용들이 소프트웨어설계와 개발로 흩어지면서 개인적으로는 좀... 이런게 시험에 진짜 나오는건가 싶을정도로 실무와는 너무 상관없어보이는 개념들이 많이 생긴 느낌이었다. 운영체제는 대부분 '4.프로그래밍언어활용'에 포함되어 있었다. 어쨌든 작년에 전공 필기를 준비하면서 개정전의 정보처리기사도 잠깐 공부해본 입장으로 진짜 많이 바뀌었고 외워야할 것도 훨씬 많은 느낌이었다.

'3.데이터베이스구축'이나 '4.프로그래밍언어활용', '5.정보시스템구축관리'는 별로 어려운 느낌은 없었다. 데이터베이스구축 과목은 기존의 정보처리기사와도 상당히 내용이 유사했고 프로그래밍언어활용 과목 또한 프로그래밍 언어를 어느정도 접해봤으면 쉽게 풀 수 있었고 운영체제 내용도 같이 있는데 문제 자체도 기존 정보처리기사와 유사했다.

'5.정보시스템구축관리'는 주로 네트워크와 정보보안 관련 내용인데 정보보안기사 내용이랑 상당부분 겹치고 보안관련된 내용은 그냥 봐도 자신있었기 때문에 공부하는 데에 별로 어려움은 없었다. 처음 생각대로 '1.소프트웨어설계'와 '2.소프트웨어개발'이 좀 뭐가 나올지도 잘 모르겠는데 이것저것 무작정 외우느라 조금 힘들었다.

한 2주~3주? 전부터 기출빈도가 계속 높았던 대표적인 개념들(소프트웨어 생명주기나 페이징 기법 등등) 위주로 간간히 공부했고, 시험치기 전 이틀전에 완전 집중해서 전체적인 1회독을 시전했다. 이해하면 되는 과목은 공부하는게 나름 재밌었는데 소프트웨어설계나 개발 이런 과목은 진짜 꾸역꾸역 개념들을 머리에 집어넣느라 힘들었다. 예를 들면, ~~~의 3대개념, ~~~의 핵심목표 5가지, ~~~의 절차 이런 것들 말이다ㅠㅠ... 하..

2020 정보처리기사, NCS 기반 개정 첫 필기 시험 후기

어찌됐든 수험자 입장에서는 의지할만한 것이 책밖에 없기 때문에 시XX 책으로 공부하고 가끔 개정전의 기출문제도 풀면서 공부했고 6.6 토요일에 집앞 학교에서 시험을 치뤘다.

1과목(소프트웨어설계)를 처음 풀면서 느낌 그 당혹감은...ㅋㅋㅋㅋ 뭐라고 설명해야할지 모르겠다. 일단 내가 이걸 공부했었나 싶은 느낌의 UML 확장모델과 GoF 디자인패턴의 세부내용을 묻는 문제에 좌절했다. 그래도 책에는 없었지만 기출문제를 풀 때, 럼바우 객체지향 분석 절차나 CASE 같은 개념을 접했던 기억이 떠올라서 다행이었다. 소프트웨어 개발 모형에 기존에 없었던 애자일이 추가됐는데 그 중 XP가 시험문제에 나와서 나름 반가웠는데 틀렸다. XP의 5가지 가치를 묻는 내용이었는데 당연히 '용기'는 아닐꺼라고 생각했지만 아니었다.. 1과목은 딱, 이런것까지 나온다고? 하는 느낌의 문제가 반이고 무난히 맞출 수 있는 문제가 반이었다.

2과목(소프트웨어개발)은 이런것까지 외우기는 힘들것 같아서 그냥 넘어갔던 인터페이스 구현 검증도구와 같은 문제를 빼면 무난했다. 책에 없던 내용, 예를 들면 정렬 알고리즘의 시간복잡도나 전위순회(preorder)같은 것이 나왔는데 이것도 기출문제를 안풀어봤으면 틀릴뻔 했다.

3과목(데이터베이스구축)은 상당히 쉬워서 하나만 틀렸다. 아마 시험을 본 대부분의 사람들이라면 3과목이 제일 쉽다고 분명히 느꼈을 것인데 애초에 문제 자체가 개정전 기출문제와 상당히 유사했다. 데이터 무결성 제약조건이나 DDL 분류, 관계대수와 같은 개념이 등장했다. 자꾸 이전 기출문제를 언급하게 되는데, 개정 후 책으로 공부하면서 데이터베이스 병행제어 부분에 로킹(Locking)이 빠져있길래 왜 빠졌지 안나오네보네 했는데 로킹문제가 나왔다. 기출문제 풀면서 정리해놨던 것이 기억나서 맞출 수는 있었는데 개정된 첫시험이라 그런지 책만 전적으로 믿기엔 확실히 부족한 느낌이다.

4과목(프로그래밍언어활용)은 운영체제나 네트워크 내용은 어렵진 않았는데 내기준 IEEE 80.211a/b/g/e 같이 정답이 확실하게 기억나지 않는 것이 좀 있었다. TCP/IP, 논리연산자, OSI7계층,스케쥴링, 페이지교체 기법 등 자주 등장하는 큰 개념?들은 전부 나온 느낌이다. 의외로 프로그래밍언어 활용이 따로 생기면서 코드문제가 엄청 주를 이룰 줄 알았고 책도 그런느낌이었는데 한개도 안나왔다.

5과목(정보시스템구축관리)에서 백도어탐지, 스택가드, RSA 등 보안문제는 전공분야이다 보니 어렵지 않았다. 그리고 전날에 급히 책으로 프로젝트 비용 산정기법을 봤는데 Putnam, COCOMO, LOC가 전부 나와서 기분이 좋았다ㅋㅋㅋㅋ 신기술 용어는 하둡, Wi-SUN 두개가 출제됐다.

자격증 관련 카페를 확인해보니 사람 다 비슷하다고, 1과목 과락을 걱정하는 사람이 많았다. 나도 다른건 걱정이 안됐는데 1과목이 좀 걱정됐었다. 좀 걱정하면서 큐넷에 정답이 뜨길 기다렸다가 채점을 해봤는데 가채점 결과, [60 / 85 / 95 / 70 / 85]로 다행히도 합격권이었다. 가답안은 큐넷의 '합격자/답안발표>가답안/확정답안'에서 확인 가능하다.

큐넷, 정보처리기사 필기 가답안

요약

첫시험이라 그런지 1과목 빼곤 쉽게나온 느낌
1과목이 난해하다는 평이 많았음 (좀 뭔가 너무 지엽적인 느낌)

2,3,4과목은 무난했고 5과목은 보안문제가 많았음

개정 첫 시험이라 그런지 기존 정보처리기사 기출문제와 유사한 문제도 좀 있었음

기존 정보처리기사 기출만 봤거나, 혹은 개정된 책만 봤으면 1과목에서 과락이 뜰 가능성도 있었을 것 같음
프로그래밍언어 과목이 따로생겨서 코드문제가 많을줄 알았는데 거의안나옴

기존 정보처리기사 문제와 형식이나 유형은 비슷한 것 같음

실기 시험 기간이 되면 열심히 실기 준비를 하자

[정보처리기사] 프로세스 선점/비선점 스케줄링 기법 (FCFS/SJF/HRN/RR/SRT/MLQ/MLFQ)

leeforest — Fri, 5 Jun 2020 23:07:03 +0900

프로세스 스케줄링이란

프로세스가 생성되어 실행될 때 필요한 시스템의 여러 자원을 해당 프로세스에 할당하는 작업을 말한다.

- 프로세스가 생성되어 완료될 때까지 프로세스는 여러 종류의 스케줄링 과정을 거침

- 장기, 중기, 단기 스케줄링이 존재함

문맥교환 : 하나의 프로세스에서 다른 프로세스로 CPU가 할당되는 과정에서 발생하는 것으로 운영체제에서 오버헤드의 발생 요인 중 하나

프로세스 스케줄링의 목적

스케줄링은 CPU나 자원을 효율적으로 사용하기 위한 정책으로 다음과 같은 목적을 가짐

- 공정성

- 처리율 증가

- CPU 이용률 증가

- 우선순위 제도

- 오버헤드 최소화

- 응답시간 최소화

- 반환시간 최소화

- 대기시간 최소화

- 균형있는 자원의 사용

- 무한 연기 회피

프로세스 스케줄링 기법 - 비선점

이미 할당된 CPU를 다른 프로세스가 강제로 빼앗아 사용할 수 없는 스케줄링 기법이다.

- 프로세스 응답시간 예측이 용이, 일괄 처리 방식에 적합

- 중요하지 않은 작업 때문에 중요한 작업이 기다리는 경우가 발생할 수 있음

- FCFS, SJF, HRM 등

FCFS (First Come First Service) 혹은 FIFO

- 준비상태 큐에 도착한 순서에 따라 차례로 CPU를 할당

- 공평성은 유지되지만 중요한 작업이 중요하지 않은 작업을 기다리게 되는 경우 발생

SJF (Shortest Job First)

- 실행시간이 짧은 프로세스에 먼저 CPU 할당

- 가장 적은 평균 대기시간을 제공함

HRN (Higtest Response-ratio Next)

- 실행시간이 긴 프로세스에 불리한 SJF 기법을 보완하기 위한 기법

- 대기시간과 실행시간을 이용함

- 우선순위 계산 결과값이 높은 것부터 우선순위를 부여, 대기시간이 긴 프로세스일 경우 계산 결과값이 높게 나옴

HRN 우선순위 계산공식 = (대기시간+서비스(실행)시간)/서비스시간

프로세스 스케줄링 기법 - 선점

하나의 프로세스가 CPU를 할당받아 사용하고 있을 때 우선순위가 높은 다른 프로세스가 CPU를 강제로 빼앗아 사용할 수 있는 스케줄링 기법이다.

- 우선순위가 높은 프로세스를 빠르게 처리 가능

- 빠른 응답시간을 요구하는 대화식 시분할 시스템에서 사용

- 많은 오버헤드를 초래

- 선점이 가능할도록 인터럽트용 타이머 클록이 필요

- RR, SRT, MLQ(다단계큐), MLFQ(다단계피드백큐) 등

RR (Round Robin)

- FCFS를 선점 형태로 변형한 기법

- 시분할 시스템을 위해 고안됨

- 준비상태 큐에 먼저 들어온 프로세스가 먼저 CPU를 할당받는 것은 FCFS와 동일

- 각 프로세스는 할당된 시간 동안만 실행한 후 실행이 완료되자 않으면 다음 프로세스에 CPU를 넘겨주고 큐의 가장 뒤로 배치됨

- 할당되는 시간이 클 경우 FCFS와 같아지고 작을 경우 문맥교환 및 오버헤드가 자주 발생되게 됨

SRT (Shortest Remaining Time)

- SJF 알고리즘을 선점 형태로 변형한 기법

- 현재 실행중인 프로세스의 남은 시간과 준비상태 큐에 새로 도착한 프로세스의 실해 시간을 비교

- 가장 짧은 실행 시간을 요구하는 프로세스에 CPU를 할당함

MLQ (Multi Level Queue, 다단계큐)

- 프로세스를 특정 그룹으로 분류할 수 있을 경우 그룹에 따라 각기 다른 준비상태 큐를 사용

MLFQ (Multi Level Feedback Queue, 다단계 피드백큐)

- 특정 그룹의 준비상태 큐에 들어간 프로세스가 다른 준비상태 큐로 이동할 수 없는 다단계큐 기법을 이동할 수 있도록 개선한 기법

[정보처리기사] 기억장치 계층구조 및 관리전략 (반입/배치/교체)

leeforest — Thu, 4 Jun 2020 12:00:01 +0900

기억장치 계층 구조의 특징

기억장치는 레지스터, 캐시 기억장치, 주기억장치, 보조기억장치로 계층 구조를 분류할 수 있다. 주기억장치는 처리용으로 용량이 작고, 속도가 빠른 RAM이라고 생각하면 되고, 보조기억장치는 저장용으로 용량이 크고, 속도가 느린 하드디스크라고 기억하자.

- 주기억장치: 처리용, 용량작음, 속도빠름 (RAM, ROM)

- 보조기억장치: 저장용, 용량큼, 속도느림 (하드디스크)

계층 구조에서 상위의 기억장치일수록 기억용량이 적지만 접근속도/시간이 빠르고 비용적으로 고가이다. 하위의 기억장치일수록 기억용량은 크지만 접근속도/시간이 느리고 비용적으로 저가이다.

- 레지스터, 캐시, 주기억장치에는 CPU가 직접 엑세스 가능

- 보조기억장치에 있는 프로그램이나 데이터는 직접 액세스할 수 없고 데이터가 주기억장치에 적재된 후에야 가능함

기억장치의 계층구조

기억장치 관리전략

기억장치 관리전략은 보조기억장치의 프로그램이나 데이터를 주기억장치에 적재시키는 시기, 위치 등을 지정해 한정된 주기억장치의 공간을 효율적으로 사용하기 위한 전략을 말한다.

반입(Fetch) 전략

보조기억장치에 저장중인 프로그램이나 데이터를 언제 주기억장치로 적재할 것인지를 결정하는 전략이다.

- 요구반입 : 참조를 요구할 때 적재

- 예상반입 : 참조될 것을 미리 예상하여 적재

배치(Placement) 전략

새로 반입되는 프로그램이나 데이터를 주기억장치의 어디에 위치시킬 것인지를 결정하는 전략이다.

- 최초적합 : 들어갈 수 있는 크기의 빈 영역 중에서 첫번째 영역에 배치

- 최적적합 : 들어갈 수 있는 크기의 빈 영역중에서 단편화를 가장 작게 남기는 영역에 배치

- 최악접합 : 들어갈 수 있는 크기의 빈 영역중에서 단편화를 가장 많이 남기는 영역에 배치

교체(Replacement) 전략

주기억장치의 모든 영역이 이미 사용중인 상태에서 새로운 프로그램이나 데이터를 주기억장치에 배치하려 할 때, 이미 사용되고 있는 영역 중 어느 영역을 교체해 사용할 것인지를 결정하는 전략이다.

- FIFO, LRU, LFU, NUR 등 존재

- 교체 전략에 대해선 [정보처리기사] 페이지 교체 알고리즘 (FIFO/LRU/LFU/NUR)에서 다룸

[정보처리기사] 페이지 교체 알고리즘 (FIFO/LRU/LFU/NUR)

leeforest — Wed, 3 Jun 2020 23:36:12 +0900

페이지 교체 알고리즘

페이지 교체 알고리즘은 페이지 부재가 발생했을 때 가상기억장치의 필요 페이지를 주기억장치에 적재해야 하는데 어떤 페이지 프레임을 선택해 교체할 것인지를 결정하는 기법이다.

참고로, '교체'는 기억장치 관리 정책의 반입/배치/교체 정책 중 교체정책을말하며 교체 정책이란 어떤 프로그램이나 자료를 주기억장치로부터 제거할 것인가를 결정하는 정책으로 주기억장치에서 제거할 페이지를 선택하는 정책을 말한다.

페이지 부재 : CPU가 엑세스한 페이지가 주기억장치에 없는 경우로, 페이지 부재 발생 시 해당 페이지를 주기억장치로 가져와야 함

FIFO (First In First Out)

- 가장 먼저 들어와서 가장 오래 있었던 페이지를 교체하는 기법

- 각 페이지가 주기억장치에 들어올 때마다 타임스탬프를 찍어 기억하는 방식

ex-1) 다음의 참조 페이지를 세개의 페이지 프레임을 가진 기억장치에서 FIFO 알고리즘을 사용해 교체했을 시 페이지 부재수는 ?

사용할 페이지 프레임이 없을 경우 가장 먼저 들어와 오래 있었던 페이지를 제거하기 때문에 아래 표처럼 진행하면 총 페이지 부재수는 6번이 된다.

참조페이지	2	3	2	1	5	2	3	5
					2를 제거	3을 제거	1을 제거
프레임			(2)	2	(2)	2	(5)	5	5	(5)
	(3)	3	3	3	(2)	2	2
			(1)	1	1	(3)	3
페이지부재	V	V		V	V	V	V

LRU (Least Recently Used)

- 최근에 가장 오랫동안 사용하지 않은 페이지를 교체하는 기법

- 각 페이지마다 카운터나 스택을 두어 현 시점에서 가장 오랫동안 사용하지 않은 (가장 오래전에 사용된) 페이지를 교체함

ex-2) 다음의 참조 페이지를 세개의 페이지 프레임을 가진 기억장치에서 LRU 알고리즘을 사용해 교체했을 시 페이지 부재수는 ?

사용할 페이지 프레임이 없을 경우 가장 오래전에 사용된 페이지를 제거하기 때문에 아래 표처럼 진행하면 총 페이지 부재수는 5번이 된다.

참조페이지	2	3	2	1	5	2	3	5
					제거		제거
프레임			2	2	(2)	2	2	(2)	2	2
	3	3	3	(5)	5	5	(5)
			(1)	1	1	(3)	3
페이지부재	V	V		V	V		V

LFU (Least Frequently Used)

- 사용 빈도가 가장 적은 페이지를 교체하는 기법

- 즉, 호출된 횟수가 가장 적인 페이지를 교체

- 바로 불러온 페이지가 교체될 수 있다는 단점이 존재함

NUR (Not Used Recently)

- LRU와 비슷한 방식으로, 최근에 사용하지 않은 페이지를 교체

- LRU 교체의 단점인 시간 오버헤드를 적게하는 방법

- 최근 사용여부를 확인하기 위해 각 페이지마다 두개의 비트 (참조비트/변형비트)를 사용

- 참조비트 : 페이지가 호출되었을 때는 1, 호출되지 않았을 때는 0

- 변형비트 : 페이지 내용이 변경되었을 때는 1, 변경되지 않았을 때는 0

[정보처리기사] 가상기억장치의 구현기법 (페이징, 세그멘테이션)

leeforest — Tue, 2 Jun 2020 18:57:14 +0900

가상기억장치의 개요

가상기억장치는 보조기억장치(하드디스크)의 일부를 주기억장치처럼 사용하는 것을 말한다.

- 주기억장치의 용량보다 큰 프로그램을 실행시키기 위해 사용됨

- 이러한 가상기억장치의 일반적인 구현 방법에는 페이징 기법과 세그멘테이션 기법이 존재함

주기억장치: 처리용, 용량작음, 속도빠름 (RAM, ROM)
보조기억장치: 저장용, 용량큼, 속도느림 (하드디스크)

가상기억장치 구현기법

페이징(Paging) 기법 - 내부단편화

페이징 기법은 가상기억장치에 보관되있는 프로그램과 주기억장치의 영역을 동일한 크기로 나눈 후, 나눠진 프로그램(페이지)을 동일하게 나눠진 주기억장치의 영역(페이지 프레임)에 적재시켜 실행하는 기법을 말한다.

- 프로그램을 일정한 크기로 나눈 단위 : 페이지

- 페이지 크기대로 일정하게 나누어진 주기억장치의 단위 : 페이지 프레임

- 외부 단편화는 발생하지 않으나 내부 단편화가 발생할 수 있음

- 주소변환을 위해 페이지 위치 정보를 가지고 있는 페이지 맵 테이블이 필요함

- 페이지 맵 테이블로 인해 비용이 증가되고 처리속도가 감소됨

내부 단편화 : 분할을 사용하고 남은 일부분으로, 페이지크기가 4KB이고 프로그램 크기가 17KB라면 마지막 페이지의 크기가 1KB가 되고 이것이 주기억장치에 적재되면 3KB의 내부단편화가 발생하게 된다.

세그멘테이션(Segmentation) 기법 - 외부단편화

세그멘테이션 기법은 가상기억장치에 보관되어있는 프로그램을 다양한 크기의 논리적 단위로 나눈 후 주기억장치에 적재시켜 실행시키는 방법이다.

- 프로그램을 논리적 크기로 나눈 단위 : 세그먼트

- 각 세그먼트는 고유한 이름과 크기를 갖음

- 세그멘테이션 기법을 이용하는 이유는 기억공간을 절약하기 위함

- 주소변환을 위해 세그먼트가 존재하는 위치 정보를 갖고있는 세그먼트 맵 테이블이 필요함

- 세그먼트가 주기억장치에 적재될 때 다른 세그먼트가 침범할 수 없고, 이를 위해 기억장치 보호키가 필요함

- 내부단편화는 발생하지 않으나 외부단편화가 발생함

[정보처리기사] 운영체제 운용 기법 및 발달 과정

leeforest — Mon, 1 Jun 2020 14:39:40 +0900

뭔가 이 부분도 개정된 2020 정보처리기사 책에서는 찾아볼 수 없었는데, 이전에는 나름 출제 빈도가 높았기 때문에 혹시 몰라 일단 포스팅해둔다.

운영체제 운용 기법 및 발달 과정

일괄처리 시스템 (Batch Processing)

- 초기의 컴퓨터 시스템에서 사용된 형태

- 일정량의 데이터를 모아 한꺼번에 처리하는 방식

- 컴퓨터 시스템을 효율적으로 관리할 수 있음

- 사용자 측면에서는 반환 시간이 늦지만 하나의 작업이 모든 자원을 독점하므로 CPU 유휴 시간이 줄어듦

다중프로그래밍 시스템 (Multi-Programming)

- 하나의 CPU와 주기억장치를 이용해 여러 개의 프로그램을 동시에 처리함

시분할시스템 (Time Sharing)

- 라운드로빈 방식이라고도 함

- 여러명의 사용자가 사용하는 시스템에서 컴퓨터가 사용자들의 프로그램을 번갈아 처리해줌으로써 각 사용자에게 독립된 컴퓨터를 사용하는 느낌을 줌

- CPU는 같은 시점에 여러 개의 작업을 동시에 수행할 수 없기 때문에 CPU의 전체 사용시간을 작은 작업 시간량으로 나누어서 그 시간량 동안만 번갈아 가면서 CPU를 할당함

다중처리 시스템 (Multi-Processing)

- 여러 개의 CPU와 하나의 주기억장치를 이용해 동시에 처리

- 하나의 CPU가 고장나도 다른 CPU를 이용할 수 있으므로 신뢰성이 높음

실시간처리시스템 (Real Time Processing)

- 데이터 발생 즉시 처리해 결과를 산출

- 시간에 제어를 두고 수행되어야 하는 작업에 사용됨

다중모드처리 (Multi Mode Processing)

- 일괄처리,시분할,다중처리,실시간처리 시스템을 모두 제공하는 방식

분산처리스시스템 (Distributed Processing)

- 여러 개의 컴퓨터를 통신 회선으로 연결해 하나의 작업을 처리함

- 각 단말장치나 컴퓨터 시스템은 고유의 운영체제, CPU, 메모리를 가지고 있음

[정보처리기사] 운영체제의 개념 (정의/목적/기능/종류)

leeforest — Sun, 31 May 2020 20:15:11 +0900

운영체제(OS; Operation System) 정의

- 컴퓨터 시스템의 자원들을 효율적으로 관리

- 사용자가 컴퓨터를 편리하고 효과적으로 사용할 수 있도록 환경을 제공하는 여러 프로그램의 모임

*자원 : CPU, 주기억장치, 보조기억장치, 파일 및 정보들을 의미

운영체제 목적

- 처리능력, 반환시간, 사용가능도, 신뢰도는 운영체제 성능 평가의 기준이 됨

처리능력(Throughput)	일정 시간 내에 시스템이 처리하는 일의 양
반환시간(Turn Around Time)	시스템에 작업을 의뢰한 시간부터 완료까지 걸린 시간
사용가능도(Availability)	시스템을 사용할 필요가 있을 때 즉시 사용 가능한 정도
신뢰도(Reliability)	시스템이 주어진 문제를 정확히 해결하는 정도

운영체제 기능

- 프로세서, 주기억장치, 보조기억장치, 입출력장치, 파일 및 정보 등의 자원 관리

- 자원을 효율적으로 관리하기 위한 스케줄링 기능 제공

*스케줄링 : 어떤 자원을 누가, 언제, 어떤 방식으로 사용할지 결정해주는 것

- 사용자와 시스템 간 인터페이스 제공

- 시스템의 각종 하드웨어, 네트워크 관리 및 제어

- 데이터 관리, 데이터 및 자원의 공유 기능 제공

- 시스템 오류 검사 및 복구

- 자원 보호 기능

- 입출력 보조 기능 제공

- 가상 계산기 기능 제공

운영체제 종류

- Windows, UNIX, LINUX, MacOS, MS-DOS 등

운영체제	특징
Windows	마이크로소프트 사가 개발한 운영체제
UNIX	- AT&T 벨 연구소, MIT, General Electric이 공동 개발한 운영체제 - 시분할 시스템을 위해 설계된 대화식 운영체제 - 소스가 공개된 개방형 시스템 - 대부분 C언어로 작성되어 이식성이 높고,장치 및 프로세스 간 호환성이 높음 - 다중 사용자, 다중 작업을 지원 - 트리 구조의 파일시스템
LINUX	- 리누스 토발즈가 UNIX를 기반으로 개발한 운영체제 - 소스코드가 공개되어 있음 - UNIX와 완벽히 호환되며 대부분 특징이 동일함
MacOS	애플 사가 UNIX를 기반으로 개발한 운영체제
MS-DOS	윈도우 이전에 사용되던 운영체제

[정보처리기사] 주요 정렬 알고리즘의 이해 (삽입/버블/선택정렬)

leeforest — Sat, 30 May 2020 20:21:32 +0900

내가 못찾는 것일 수도 있지만 시나공 기준으로 개정된 2020 정보처리기사에서 '주요 정렬 알고리즘'에 대한 부분은 제외된 것 같다(?) 그래도 기출도가 높았던 부분이었기에 해당 포스팅에 정리해본다.

삽입정렬

초기상태인 아래의 8,5,6,2,4를 삽입정렬을 사용해 정렬시키면 아래와 같은 과정을 거치게 된다.

1) 1회전 : 두번째 값을 첫번째 값과 비교해 첫번째 자리에 삽입, 8을 뒤로 한칸 이동

2) 2회전 : 세번째 값을 5,6과 비교해 삽입, 8을 뒤로 한칸 이동

3) 3회전 : 네번째 값을 5,6,8과 비교해 삽입, 5,6,8을 뒤로 한칸 이동

4) 4회전 : 다섯번째 값을 2,5,6,8과 비교해 삽입, 5,6,8을 뒤로 한칸 이동

버블정렬

초기상태인 아래의 8,5,6,2,4를 버블정렬을 사용해 정렬시키면 아래와 같은 과정을 거치게 된다.

1) 1회전 : 첫번째 값 8을 두번째 값인 5와 비교해 교환, 두번째 값 8을 세번째 값인 6과 비교해 교환, 세번째 값 8을 네번째 값인 2와 비교해 교환, 다섯번째 값인 4를 네번째 값인 8과 비교해 교환 (가장 큰 값이 가장 끝으로 가게 되므로 다음 회전부터는 맨 끝 값은 비교할 필요 없음)

2) 2회전 : 첫번째 값 5를 두번째 값인 6과 비교해 교환X, 두번째 값인 6을 세번째 값 2와 비교해 교환, 세번째 값인 6을 네번째 값인 4와 비교해 교환

3) 3회전 : 첫번째 값 5를 두번째 값인 2와 비교해 교환, 두번째 값인 5를 세번째 값 4와 비교해 교환

4) 4회전 : 첫번째 값 2를 두번째 값인 4와 비교해 교환X

선택정렬

초기상태인 아래의 8,5,6,2,4를 버블정렬을 사용해 정렬시키면 아래와 같은 과정을 거치게 된다.

1) 1회전 : 첫번째 값 8을 두번째 값 5과 비교해 교환, 첫번째 값 5를 세번째 값 6과 비교해 교환X, 첫번째 값 5를 네번째 값 2와 비교해 교환, 첫번째 값 2를 다섯번째 값 4와 비교해 교환X

2) 2회전 : 두번째 값 8을 세번째 값 6과 비교해 교환, 두번째 값 6을 네번째 값 5와 비교해 교환, 두번째 값 5를 다섯번째 값 4와 비교해 교환

3) 3회전 : 세번째 값 8을 네번째 값 6과 비교해 교환, 세번째 값 6을 다섯번째 값 5와 비교해 교환

4) 4회전 : 네번째 값 8을 다섯번째 값 6과 비교해 교환

[정보처리기사] DML - SELECT문 형식 (SELECT/FROM/WHERE/GROUP BY/HAVING절)

leeforest — Fri, 29 May 2020 17:28:14 +0900

SELECT문 일반 형식

SELECT [PREDICATE] [테이블명.]속성명 [AS 별칭]...
[, 그룹함수(속성명) [AS 별칭]]
[, Window함수 OVER ...]

FROM 테이블명1, 테이블2,...

[WHERE 조건]

[GROUP BY 속성명1, 속성명2,...]

[HAVING 조건]

[ORDER BY 속성명 [ASC | DESC]];

SELECT절

PREDICATE

- All

- DISTINCT : 중복된 튜플이 있으면 그 중 첫번째 한개만 검색

- DISTINCTROW

SELECT DISTINCT 주소 FROM 사원;

속성명

- 두개 이상의 테이블을 대상으로 검색할 때는 테이블명.속성명으로 표현

그룹함수

- GROUP BY절에 지정된 그룹별로 속성의 값을 집계할 함수를 기술

- 그룹 함수 : COUNT, SUM, AVG, MAX, MIN, STDDEV(표준편차), VARIANCE(분산), ROLLUP, CUBE

SELECT 부서, AVG(상여금) AS 평균
FROM 상여금
GROUP BY 부서;

WINDOW 함수

- GROUP BY 절을 사용하지 않고 속성의 값을 집계할 함수를 기술

- 윈도우 함수 : ROW_NUMBER(일련번호 반환), RANK(순위반환), DENSE_RANK(순위반환, 공동순위 무시)

ex. 상여금 테이블에서 상여내역별로 상여금에 대한 일련 번호를 구하기 (순서는 내림차순, 속성명은 NO)

SELECT 상여내역, 상여금,
ROW_NUMBER() OVER (PARTITION BY 상여내역 ORDER BY 상여금 DESC) AS NO
FROM 상여금;

FROM절

- 검색될 데이터들을 포함하는 테이블명을 기술

WHERE절

- 검색할 조건을 기술

- LINK 연산자 : %(모든 문자), _(문자 하나), #(숫자 하나)

ex. 사원 테이블에서 성이 '김'인 사람의 튜플을 검색
SELECT *
FROM 사원
WHERE 이름 LIKE "김%";

GROUP BY절

- 특정 속성을 기준으로 그룹화하여 검색할 때 사용

- 일반적으로 그룹 함수와 함께 사용함

ex. 상여금 테이블에서 부서별 튜플 수를 검색

SELECT 부서, COUNT(*) AS 사원수
FROM 상여금
GROUP BY 부서;

HAVING절

- GROUPT BY와 함께 사용됨, 그룹에 대한 조건을 지정

ex. 상여금 테이블에서 상여금이 100 이상인 사원이 2명 이상인 부서의 튜플수를 구하기

SELECT 부서, COUNT(*) AS 사원수
FROM 상여금
WHERE 상여금>=100
GROUP BY 부서
HAVING COUNT(*) >= 2;

[정보처리기사] SQL 분류 (DDL/DML/DCL)

leeforest — Thu, 28 May 2020 23:39:37 +0900

SQL의 분류

DDL(데이터 정의어)

- 스키마, 테이블, 뷰 등을 정의하거나 변경, 삭제할 때 사용하는 언어

- 데이터베이스 관리자 혹은 설계자가 사용함

- 유형 : CREATE / ALTER / DROP

명령어	기능
CREATE	스키마, 테이블, 뷰 등을 정의
ALTER	테이블에 대한 정의를 변경
DROP	스키마, 테이블, 뷰 등을 삭제

DML(데이터 조작어)

- 데이터베이스 사용자가 저장된 데이터를 처리할 때 사용하는 언어

- 데이터베이스 사용자와 관리 시스템 간의 인터페이스를 제공함

- 유형 : SELECT / INSERT / DELETE / UPDATE

명령어	기능
SELECT	테이블에서 조건에 맞는 튜플을 검색
INSERT	테이블에서 새로운 튜플을 삽입
DELETE	테이블에서 조건에 맞는 튜플을 삭제
UPDATE	테이블에서 조건에 맞는 튜플의 내용을 변경

DCL(데이터 제어어)

- 데이터의 보안, 무결성 등을 정의하는데 사용되는 언어

- 데이터베이스 관리자가 데이터 관리를 목적으로 사용함

- 유형 : COMMIT / ROLLBACK / GRANT / REVOKE

명령어	기능
COMMIT	명령에 의해 수행된 결과를 실제 물리적 디스크에 저장, 완료됨을 관리자에게 알림
ROLLBACK	데이터베이스 조작 작업이 비정상적으로 종료되었을 때 원래의 상태로 복구
GRANT	데이터베이스 사용자에게 사용 권한을 부여
REVOKE	데이터베이스 사용자의 사용 권한을 취소

[정보처리기사] 분산 데이터베이스 정의/목표(투명성)/장단점/설계

leeforest — Thu, 28 May 2020 21:39:01 +0900

분산 데이터베이스 정의

논리적으로는 하나의 시스템에 속하지만 물리적으로는 네트워크를 통해 연결된 여러개의 사이트에 분산되어 있느 데이터베이스를 말한다.

분산 데이터베이스 목표

분산 데이터베이스의 4대 목표는 위치 투명성, 중복 투명성, 병행 투명성, 장애 투명성이다.

투명성	설명
위치 투명성 (Location Trasparency)	데이터베이스의 실제 위치를 알 필요없이 단지 데이터베이스의 논리적인 명칭만으로 엑세스할 수 있음
중복 투명성 (Replication Transparency)	데이터가 여러 곳에 중복되어 있더라도 사용자는 마치 하나의 데이터만 존재하는 것처럼 사용 가능, 시스템은 자동으로 여러 자료에 대한 작업 수행
병행 투명성 (Concurrency Transparency)	다수의 트랜잭션이 동시에 실현되더라도 그 결과는 영향을 받지 않음
장애 투명성 (Failure Transparency)	트랜잭션, DBMS, 네트워크, 컴퓨터 장애에도 트랜잭션을 정확히 처리함

분산 데이터베이스 장단점

분산 데이터베이스의 장단점은 아래와 같다.

장점

단점

지역 자치성이 높음

자료의 공유성이 향상됨

분산 제어 가능

시스템 성능 향상

중앙 컴퓨터의 장아개 전체 시스템에 영향 X

효용성, 융통성, 신뢰성, 가용성

용량 확장이 용이함

DBMS가 수행할 기능이 복잡

설계가 어려움

개발, 처리 비용 증가

잠재적 오류 증가

분산 데이터베이스 설계

분산 데이터베이스의 설계는 어플리케이션이나 사용자가 분산되어 저장된 데이터에 접근하게 하는 것을 목적으로 한다.

- 전역 관계망을 논리적 측면에서 소규모 단위로 분할

- 분할된 결과를 복수의 노드에 할당하는 과정으로 진행

- 노드에 할당된 소규모 단위를 분할(Fragment)라 함

- 분산 설계 방법에는 테이블 위치 분산, 분할, 할당(Allocation)이 존재

테이블 위치 분산

- 데이터베이스의 테이블을 각기 다른 서버에 분산시켜 배치하는 방법

분할 (Fragment)

- 테이블의 데이터를 분할하여 분산시키는 방법

- 분할 규칙 : 완전성/재구성/상호중첩배제

- 분할 방법 : 수평분할/수직분할

할당 (Allocation)

- 동일한 분할을 여러 서버에 생성하는 방법

- 할당 방법 : 중복없는할당/중복있는할당

[정보처리기사] 자동 반복 요청 (ARQ), 오류 검출 방식(패리티/CRC/해밍)

leeforest — Thu, 28 May 2020 00:57:05 +0900

자동 반복 요청 (ARQ)

ARQ란, 오류발생 시 수신측은 오류 발생을 송신측에 통보하고 송신측은 오류 발생 블록을 재전송하는 절차를 의미한다.

- 수신측 : 오류 발생 탐지, 통보

- 송신측 : 재전송

정지-대기 (Stop-and-Wait) ARQ

- 송신측에서 한개의 블록을 전송한 후 수신측으로부터 응답을 기다리는 방식

- 구현 방법은 단순하지만, 전송 효율이 떨어짐

Go-Back-N ARQ

- 연속적으로 데이터 블록을 보내는 연속 ARQ 중 하나

- 오류가 발생한 블록 이후의 모든 블록을 재전송

선택적 재전송 (Selective Repeat) ARQ

- 연속적으로 데이터 블록을 보내는 연속 ARQ 중 하나

- 오류가 발생한 블록만을 재전송하는 방식

- 수신측에서 원래 순서대로 조합해야 하므로 복잡해짐

적응적 (Adaptive) ARQ

- 데이터 블록의 길이를 채널의 상태에 따라 동적으로 변경

- 전송 효율이 제일 좋음

- 하지만 제어회로가 복잡하고 비용이 많이 들어 거의 사용되지 않음

오류 검출 방식

패리티 검사

- 전송 비트에 1비트의 검사 비트인 패리티 비트를 추가해 오류검출

- 간단하지만 2개 비트에 동시에 오류 발생 시 검출이 불가능

- 오류 검출만 가능, 수정은 불가능

순환 중복 검사 (CRC)

- 다항식 코드를 사용해 오류를 검출

- 동기식 전송에서 주로 사용

- HDLC 프레임의 FCS를 만드는데 사용

- 집단오류를 검출할 수 있고 검출률이 높아 가장 많이 사용함

해밍 (Hamming) 코드

- 수신측에서 오류가 발생한 비트를 검출, 직접 수정하는 방식

- 1비트의 오류만 수정 가능, 정보 비트 외에 잉여비트가 필요함

- 전송 비트 중 1,2,4,8,... 번째를 패리티 비트로 사용

- 해밍 거리 : 송신 비트와 수신 비트중 서로 다른 비트의 수 (오류 비트 수)

상승 코드

- 순차적 디코딩과 한계값 디코딩을 사용해 오류 수정

- 여러 비트의 오류 수정 가능

[정보처리기사] 데이터베이스 트랜잭션의 정의/특성/연산

leeforest — Thu, 28 May 2020 00:05:16 +0900

트랜잭션이란

데이터베이스의 상태를 변환시키는 하나의 논리적 기능을 수행하기 위한 작업의 단위, 일련의 연산을 의미한다.

- 하나의 트랜잭션은 Commit되거나 Rollback된다.

- Commit : 트랜잭션이 행한 연산이 완료된 것을 관리자에게 알리는 연산

- Rollback : 하나의 트랜잭션이 비정상 종료됐을 때, 일부가 정상적으로 처리됐더라도 트랜잭션의 원자성을 구현하기 위해 모든 연산을 취소시키는 연산

트랜잭션의 특성

원자성 (Atomiciry)

- 트랜잭션의 연산은 데이터베이스에 모두 반영되든지, 전혀 반영되지 않아야 함

- 트랜잭션 내의 모든 명령은 완벽히 수행되어야 함

- 어느 하나라도 에러가 발생하면 트랜잭션의 전부가 취소되어야 함 (롤백)

일관성 (Consistency)

- 트랜잭션이 그 실행을 성공적으로 완료하면 언제나 일관성있는 데이터베이스 상태로 변환함

- 시스템의 고정 요소가 트랜잭션 전후에 상태가 같아야 함

독립성, 격리성 (Isolation)

- 둘 이상의 트랜잭션이 동시에 병행 실행되는 경우 중간에 끼어들 수 없음

- 수행중인 트랜잭션은 완전히 완료될 때까지 참조 불가능

영속성, 지속성 (Durability)

- 성공적으로 완료된 트랜잭션의 결과는 영구적으로 반영되어야 함

[정보처리기사] 데이터베이스 병행제어 (문제점/목적/로킹/기법)

leeforest — Wed, 27 May 2020 22:41:40 +0900

데이터베이스 병행제어(Concurrency Control)

병행제어란 다중 프로그램의 이점을 활용해, 동시에 여러 트랜잭션을 병행 수행할 때, 동시에 실행되는 트랜잭션들이 데이터베이스의 일관성을 파괴하지 않도록 트랜잭션 간의 상호작용을 제어하는 것을 말한다.

데이터베이스 병행제어 문제점

이러한 병행제어에는 아래와 같은 문제점이 있다.

갱신분실 (Lost Update)

- 갱신 결과의 일부가 없어짐

비완료 의존성 (Uncommitted Dependency)

하나의 트랜잭션 수행이 실패하고 회복되기 전 다른 트랜잭션이 참조하는 현상

모순성 (Inconsistency)

두 트랜잭션이 병행 수행될 때, 원치 않는 자료를 이용함으로써 발생

연쇄복귀 (Cascading Rollback)

병행 수행되던 트랜잭션들 중 어느 하나에 문제가 생겨 롤백하는 경우 다른 트랜잭션도 함께 롤백되는 현상

병행제어 목적

- 데이터베이스의 공유를 최대화

- 시스템 활용도를 최대화

- 데이터베이스의 일관성을 유지

- 사용자에 대한 응답시간을 최소화

로킹(Locking)이란

- 주요 데이터의 액세스를 상호 배타적으로 하는 것

- 트랜잭션들이 어떤 로킹 단위를 액세스하기 전에 Lock을 요청해서 Lock이 허락되어야만 그 로킹 단위를 액세스할 수 있도록 하는 기법

로킹단위 (Locking Granularity)

- 병행 제어에서한꺼번에 로킹할 수 있는 데이터 단위

- 데이터베이스, 파일, 레코드, 필드 등이 로킹 단위가 될 수 있음

- 로킹 단위가 크면 로크수가 작아 관리하기가 쉽지만 병행성 수준이 낮아짐 (=오버헤드가 적지만 공유도 저하)

- 로킹 단위가 작으면 로크수가 많아 관리하기 복잡하지만 병행성 수준이 높아짐 (=오버헤드가 크지만 공유도 증가)

병행제어 기법의 종류

2단계 잠금 규약

- 트랜잭션 스케줄의 직렬성을 보장하는 대표적인 잠금 기법

- 직렬성은 보장하지만 교착상태를 예방할 수는 없음

*교착상태 : 어떤 한 트랜잭션이 사용하기 위해 잠가놓은 자원을 사용하기 위해 기다리므로 모든 트랜잭션들이 실행을 진행하지 못하고 무한정 기다리고 있는 상태

타임스탬프 순서 기법

- 트랜잭션이 시스템으로 들어오면 그 때의 시간 값이 트랜잭션의 타임스탬프가 됨

- 교착상태가 발생하지 않음

[정보처리기사] 데이터베이스 뷰(View) 정의/특징/장점/단점

leeforest — Wed, 27 May 2020 10:36:40 +0900

데이터베이스 뷰(View)란?

뷰는 사용자에게 접근이 허용된 자료만을 제한적으로 보여주기 위해 하나 이상의 기본 테이블로부터 유도된 가상 테이블을 말한다. 뷰 이름을 질의어에서 활용할 경우 질의어가 실행될 때 뷰에 정의된 기본테이블로 대체되어 기본 테이블에 대해 실행되게 된다.

- 뷰는 임시적인 작업을 위한 용도로 활용됨

- 뷰는 사용상의 편의성을 최대화함

데이터베이스 뷰의 특징

- 기본 테이블에서 유도된 테이블이기 때문에 기본 테이블과 구조가 같음

- 가상 테이블로 물리적으로 구현되어 있지 않음

- 데이터의 논리적 독립성을 제공함

- 필요한 데이터만 뷰로 정의해 처리 가능하기 때문에 관리가 용이함

- 뷰에 나타나지 않은 데이터를 안전하게 보호 가능

- 기본 테이블의 기본키를 포함한 속성 집합으로 뷰를 구성해야만 삽입, 삭제, 갱신이 가능함

- 뷰가 정의된 기본테이블이 삭제되면 뷰도 자동으로 삭제됨

데이터베이스 뷰의 장점/단점

뷰의 장점

- 논리적 데이터 독립성을 제공

- 동일 데이터에 대해 동시에 여러 사용자의 요구를 지원해줌

- 사용자의 데이터 관리를 간단하게 해줌

- 접근 제어를 통한 자동 보안 제공

뷰의 단점

- 독립적 인덱스를 가지지 못함

- 뷰의 정의 변경 불가능

- 삽입, 삭제, 갱신 연산에 제약이 따름

+) 뷰 생성/삭제 방법

다음과 같은 SQL문으로 뷰를 생성할 수 있다.

기존에 있던 테이블에 있는 컬럼에서 원하는 자료만 조회하는 것이기 때문에, 만들 때도 SELECT 문을 통해 생성한다.
[ CREATE VIEW 뷰이름 AS SELECT 구문; ]

출처 : 위키백과, VIEW (SQL)

다음과 같은 SQL문으로 뷰를 삭제할 수 있다.

[ DROP VIEW 뷰이름; ]

[정보처리기사] 시스템 카탈로그, 저장정보 및 특징

leeforest — Wed, 27 May 2020 09:11:40 +0900

시스템 카탈로그 (System Catalog) 란?

시스템 카탈로그는 시스템 자체에 관련이 있는 다양한 객체에 관한 정보를 포함하는 시스템 데이터베이스이다. 카탈로그가 생성되면 데이터 사전 (Data Directory)에 저장되기 때문에 데이터 사전이라고도 한다.

Data Directory
- 시스템 카탈로그는 사용자와 시스템 모두 접근할 수 있지만 데이터 디렉터리는 시스템만 접근 가능

시스템 카탈로그 저장 정보

시스템 카탈로그에 저장된 정보를 메타데이터라고 한다.

- 데이터베이스 객체 정보 : 테이블, 인덱스, 뷰 등

- 사용자 정보 : ID, PW, 접근권한 등

- 테이블의 무결성 제약 조건 정보 : 기본키, 왜리키 등

- 함수, 프로시저, 트리거 등에 대한 정보

시스템 카탈로그 특징

- 일반 사용자도 SQL을 사용해 내용을 검색할 수 있음

- INSERT, DELETE, UPDATE 문으로 카탈로그를 갱신할 수 없음

- 카탈로그는 DBMS가 스스로 생성하고 유지함

[네트워크] 인터넷 프로토콜(IP), 데이터그램 구조와 단편화 오프셋 계산법

leeforest — Wed, 27 May 2020 00:52:49 +0900

인터넷 프로토콜(IP) 개요

IPv4는 비신뢰적이고 비연결형의 데이터그램 프로토콜이다. 비신뢰적이기 때문에 신뢰성있는 전송을 위해선 TCP와 같이 신뢰성 있는 전송 계층 프로토콜과 함께 사용되어야 한다.

- 비신뢰성

- 비접속형

- 주소지정

- 경로설정

IPv4 데이터그램 구조

IP가 사용하는 패킷을 데이터그램이라고 한다. 가변길이의 패킷으로 헤더와 페이로드로 이루어져 있다.

IP 데이터그램의 구조 (출처: 구글 무료이미지 검색)

위 그림에 나와있는 각 필드에 대해 간단히 알아보자.

버전숫자

- IP 프로토콜의 버전을 정의

헤더길이

- 데이터그램은 가변의 헤더를 가지게되기 떄문에 수신자가 데이터그램을 수신하면 헤더가 어디서 끝나고 패킷에 캡슐화된 데이터가 어디서 시작하는지 알아야 한다. 따라서 수신자는 전체 길이를 확인하기 위해 필드값에 4를 곱하게 된다.

서비스유형

- 데이터그램을 어떻게 처리할지를 정의

전체길이

- IP 데이터그램의 전체 바이트 수를 정의함

식별자 (단편화 관련)

- 데이터그램이 전송된 근원지 호스트를 구분

플래그 (단편화 관련)

- 세개의 비트로 단편화 관련 정보를 표시함

- 첫번째 비트 : 사용되지 않음

- 두번째 비트 : 단편화 금지 필드

- 세번째 비트 : 1이면 다른 단편이 더 있음을 의미, 0이면 마지막 단편이거나 오직 하나의 단편임을 의미

단편화 오프셋

- 전체 데이터그램에서 해당 단편의 상대적인 위치를 나타냄

생존시간

- TTL 필드는 데이터그램이 방문할 수 있는 최대 라우터 수를 정의함

프로토콜

- 근원지 IP에서 페이로드가 캡슐화될 때, 이 필드에 상응하는 프로토콜의 번호가 추가됨

헤더 검사합(체크섬)

- IP는 헤더를 검사하기 위한 검사합 필드를 추가함

근원지와 목적지주소

- 각각 소스IP와 목적지IP주소를 나타냄

옵션

- 데이터그램 헤더는 40바이트까지 옵션을 가질 수 있음

IP프로토콜의 단편화 오프셋 계산

위에서 단편화와 관련된 필드 3개를 살펴봤다. 예를들어, 최대 MTU가 1500이고 크기가 4000바이트인 데이터그램이 3개로 단편화될 때, 단편화 오프셋 값은 어떻게 될까?

4000바이트의 데이터그램, 3개의 단편화이다. 이 때, 단순히 2000바이트씩 쪼개기만 하는게 아니라 패킷도 IP 데이터그램 포맷에 맞춰야 한다. 헤더크기 20바이트를 고려하면 20바이트의 헤더와 3980의 페이로드로 이루어지게 된다. 여기서 3980이 왜 1480,1480,1020으로 나뉘는지 이해가 잘 안가는데 일단 MTU 값에서 헤더인 20을 뺀 것으로 이해하겠다... (틀렸다면 누군가 댓글좀 남겨주세요)

그리고 단편화 오프셋은 1480/8 = 185가 되고 오프셋은 185씩 증가하게 된다.

- 입력 패킷 : 20 + 3980 (3980 : 1480 + 1480 + 1020)

- 첫번째 단편 : 20 (헤더) + 1480 -> ID : x | flag : 1 | offet : 0

- 두번째 단편 : 20 (헤더) + 1480 -> ID : x | flag : 1 | offset : 185

- 세번째 단편 : 20 (헤더) + 1020 -> ID : x | flag : 1 | offset : 370

참고자료
[1] wogh8732.tistory.com/29

[정보처리기사] 오버로딩(Overloading)과 오버라이딩(Overriding)

leeforest — Tue, 26 May 2020 23:58:30 +0900

오버로딩(Overloading)이란?

오버로딩이란 같은 이름의 메소드를 여러개 정의하면서 매개변수의 유형과 개수가 다르게 하는 것을 말한다.

오버라이딩(Overriding)이란?

상위 클래스의 메소드를 하위클래스에서 재정의해서 사용하는 것을 말한다.

오버로딩, 오버라이딩 관련 기출문제

그냥 정의만 봐서는 이해가 잘 가지 않으니 예제문을 하나 봐보자. 9급 전산직 기출 문제 중 하나로 Java 프로그램의 출력 결과를 묻고있다.

여기서 오버라이딩이 될 수 있는 조건을 먼저 알아야 하는데, 오버라이딩이 되기 위해선 시그니처(반환형, 메소드명, 인자개수/형)이 같아야 한다. 그런데 func2의 경우 반환형이 int/double로 불일치한다. 따라서 오버라이딩이 되지 않았기 때문에 재정의한 메소드 대신 부모클래스의 메소드가 수행되게 된다. 그리고 오버라이딩이 되는 func1, func3의 경우 하위클래스인 ClassA의 메소드가 수행되게 된다.

따라서 결과는 1,3,2가 된다.

전산직 9급 기출문제 (출처 : http://q.fran.kr/)

[네트워크] 서브넷마스크 계산문제 풀이

leeforest — Tue, 26 May 2020 23:19:04 +0900

옛날에 네트워크 자격증 공부할 때 서브넷마스크 계산 문제를 엄청 풀었었던 기억이 있는데 다 잊어버렸다... 몇가지 문제를 풀어보자.

ex-1

회사에서 211.168.83.0 (클래스C)의 네트워크를 사용하고 있다. 내부적으로 5개의 서브넷을 사용하기 위해 서브넷 마스크를 255.255.255.224로 설정하였다. 이때, 211.168.83.34가 속한 서브넷의 브로드캐스트 주소는?

10000000 -> 128

11000000 -> 192

11100000 -> 224

서브넷마스크가 ~.224이니까 3개 비트를 쓴 것이므로 2^3=8, 8개로 분할해야 함

256개를 8개로 분할한 것이기 때문에 한개당 32가 됨

0~31

32~63 -> 34는 여기 속하므로 브로드캐스트 주소는 211.168.83.63

64~95

ex-2

어느회사 A가 공인 IP 주소가 210.100.1.0인 네트워크를 받았다. A사의 건물은 8층이며 각 층마다 네트워크를 달리했으면 한다. 각 층별로 컴퓨터 30대를 놓으려면 서브넷마스크는 어떻게 되는가?

30개라는 것은 256을 8로 분할했을 때 32개이므로 8개로 분할하겠다는 뜻임

8=2^3이므로 앞 세비트가 1이면 됨

11100000 = 224

따라서 서브넷마스크 255.255.255.0에서 255.255.255.224로 서브넷팅을 하면 각 8개층이 32개씩 사용할 수 있게됨 (여기서 브로드캐스트 주소를 빼고 하나더 뭐였는지 기억이 안나는데 -2를 하면 30개)

ex-3

IP주소 203.10.24.27의 서브넷마스크는 255.255.255.240이다. 이때 네트워크의 호스트 범위와 브로드캐스트 주소는?

10000000 -> 128

11000000 -> 192

11100000 -> 224

11110000 -> 240

서브넷마스크가 240이므로 11110000이고 2^4=16개로 분할하겠다는 의미임

256/16 = 16이기 떄문에 범위는

0~15

16~31 -> 27이므로 호스트 범위는 203.10.24.16 ~ 203.10.24.31이 되고 브로드캐스트 주소는 31이 됨

32~47

ex-4

C클래스 IP 대역을 사용중인 것을 각 사무실마다 51개의 IP를 각각 부여하려할때 사용할 수 있는 서브넷마스크의 비트수는?

10000000 -> 128 -> 2^1 = 2개로 분할 -> 256/2 = 128개

11000000 -> 192 -> 2^2 = 4개로 분할 -> 256/4 = 64개 -----> 51개의 IP 부여 가능

11100000 -> 224 -> 2^3 = 8개로 분할 -> 256/8 = 32개

11110000 -> 240

따라서 서브넷마스크는 255.255.255.192이고 비트수는 26비트(1*24 + 2)

[네트워크] IPv4의 개념과 IPv6의 등장 배경, 특징 및 비교

leeforest — Tue, 26 May 2020 22:53:34 +0900

IPv4의 클래스 기반 주소 지정

IPv4에서 전체 주소 공간은 5개의 클래스로 구분되고 이것을 클래스 기반 주소지정이라고 한다. A,B,C 클래스만이 네트워크 주소와 호스트 주소체계의 주소를 갖고, D 클래스는 멀티캐스팅용, E 클래스는 실험용이다.

클래스 A	- 첫번째 비트가 0인 IP주소 - 큰 규모의 호스트를 갖는 기관에서 사용함
클래스 B	- 처음 두 비트의 값이 10인 IP 주소 - 첫바이트의 나머지 6비트와 두번째 바이트가 네트워크 주소, 나머지 두바이트가 호스트 주소
클래스 C	- 처음 세비트의 값이 110인 주소 - 세번째 바이트까지가 네트워크 주소, 마지막 한바이트가 호스트 주소 - 네트워크마다 254개까지 호스트를 수용할 수 있기 때문에 작은 규모의 네트워크에서 사용
클래스 D	- 처음 네비트의 값이 1110인 주소 - 네트워크 주소와 호스트 주소의 구분이 없고 전체 주소가 멀티캐스트용으로 사용됨
클래스 E	- 처음 네비트의 값이 1111인 주소 - 추후 사용을 위해 예약된 주소

클래스 기반의 주소가 더 이상 사용되지 않는 이유는 주소 고갈 때문이다. 기관이나 개인이 사용할 주소가 더이상 남지 않게 되는 문제에 직면하게 되었다.

IPv4의 서브네팅과 수퍼네팅

주소 고갈을 완화하기 위해 서브네팅, 수퍼네팅의 두 기술이 제안되었다. 서브넷마스크 관련 문제 풀이는 아래 포스팅을 참고하길 바란다.

- 서브네팅 : 큰 구조를 작은 것으로 나누기 위해 고안됨

- 수퍼네팅 : 여러 클래스 C를 하나의 큰 구조로 묶어 더 많은 주소를 사용하려는 기관들을 위해 고안됨

[네트워크] 서브넷마스크 계산문제 풀이

옛날에 네트워크 자격증 공부할 때 서브넷마스크 계산 문제를 엄청 풀었었던 기억이 있는데 다 잊어버렸다... 몇가지 문제를 풀어보자. ex-1) 회사에서 211.168.83.0 (클래스C)의 네트워크를 사용하고

liveyourit.tistory.com

IPv6이 등장하게 된 이유

IP주소에 대한 수요가 증가하면서 IPv4(32비트)의 주소체계로는 처리가 어렵게 되었다. 따라서 IPv6가 등장하게 되었는데 IPv4의 32비트 주소길이를 4배 확장한 128비트 주소길이를 사용해 약 2^128개의 주소가 생성이 가능하게 되었다.

IPv6 특징

확장된 주소 공간

- 128비트 주소체계를 사용

- 기존 클래스별 할당을 지양, 유니캐스트/애니케스트/멀티캐스트 주소형태 사용

새로운 헤더포맷

- 확장헤더를 도입함

- 헤더를 고정 길이로 변경

- 패킷 단편화 관련 필드 삭제

- 체크섬 필드 삭제 (이미 데이터링크 계층에서 체크섬의 계산이 행해지므로)

보안기능

IPv4는 IPSec이라는 보안 프로토콜들을 별도로 설치해주어야 하는 부가적 기능을 필요로 했는데 IPv6는 프로토콜 내에 보안관련 기능을 탑재할 수 있도록 설계되었다.

- 인증, 무결성, 발신지 확인기능을 제공

- 확장헤더를 통해 네트워크 계층에서의 종단간 암호화를 제공, 패킷 변조를 방지함

IPv4 vs IPv6 비교

IPv4와 IPv6를 비교하면 아래와 같다.

구분	IPv4	IPv6
주소길이	32비트	128비트
표시방법	8비트씩 4부분 10진수 표시	16비트씩 8부분 16진수 표시
주소개수	약 43억개	2^128개
주소할당방식	클래스 단위의 비순차 할당	순차할당
브로드캐스트	있음	없음
헤더크기	가변	고정
보안	IPSec 별도 설치 필요	IPSec 자체 지원