๋ณธ๋ฌธ ๋ฐ”๋กœ๊ฐ€๊ธฐ

728x90

AWS

9/18 ์ผ_EC2 Timezone, EC2 Scheduler(Lambda, EventBridge) 1. AWS EC2_Ubuntu ์„œ๋ฒ„์˜ Timezone ํ•œ๊ตญ ์‹œ๊ฐ„์œผ๋กœ ์„ค์ • sudo hwclock --show # EC2 Timezone ํ™•์ธ # ํ•œ๊ตญ์‹œ๊ฐ„์œผ๋กœ ๋ณ€๊ฒฝ **์žฌ์‹œ์ž‘ ํ•„์š” sudo rm /etc/localtime && sudo ln -s /usr/share/zoneinfo/Asia/Seoul /etc/localtime 2. Lambda๋ฅผ ์‚ฌ์šฉํ•˜์—ฌ Amazon EC2 ์ธ์Šคํ„ด์Šค๋ฅผ ์ •๊ธฐ์ ์œผ๋กœ ์‹œ์ž‘ํ•˜๊ณ  ์ค‘์ง€ ์–ด์ œ๋ถ€ํ„ฐ ์œ ํŠญ, ๋ธ”๋กœ๊ทธ ๊ฒ€์ƒ‰ํ•˜๋ฉด์„œ ์ธ์Šคํ„ด์Šค ์Šค์ผ€์ค„๋Ÿฌ๋ฅผ ๋งŒ๋“œ๋ ค๊ณ  ํ–ˆ๋Š”๋ฐ, ๋‹ค๋“ค ๋„ˆ๋ฌด ๊ฐ„๋žตํ•˜๊ฒŒ ์„ค๋ช…ํ•ด์„œ ์—„์ฒญ ํ—ค๋งธ๋‹ค.. AWS ํŠœํ† ๋ฆฌ์–ผ์„ ์ฐธ๊ณ , ์•„๋ž˜์— ์ ˆ์ฐจ๋ฅผ ์ •๋ฆฌํ–ˆ๋‹ค. ํ…Œ์ŠคํŠธ๋„ ์ž˜ ๋ผ์„œ ๋งŒ์กฑ์Šค๋Ÿฝ๋‹ค. cf. ์•„๋งˆ์กด์—์„œ ์ด๋ฅผ ์œ„ํ•œ Instance Scheduler on AWS์ด๋ผ๋Š” ์†”๋ฃจ์…˜๋„ ์ œ๊ณตํ•˜๋Š” ๋ชจ์–‘.. ๋”๋ณด๊ธฐ
9/8 ๋ชฉ 1. pymysql import pymysql class Py2DB: pass # ์—ฌ๊ธฐ๋„ ์‹คํ–‰์€ ๋˜์ง€๋งŒ ์‚ฌ์šฉ์€ ์ง€์–‘. ํด๋ž˜์Šค ํ˜ธ์ถœ ์‹œ ์ถœ๋ ฅ๋˜๋Š” ๊ฒƒ์„ ์›ํ•˜์ง€ ์•Š๋Š”๋‹ค๋ฉด ์ฃผ์„์ฒ˜๋ฆฌ ํ˜น์€ ์‚ญ์ œ # print('Hello! 1') # ์ด ํŒŒ์ผ์„ ์‹คํ–‰ํ•  ๊ฒฝ์šฐ ์‹คํ–‰ํ•  ์ฝ”๋“œpy if __name__ == '__main__': print('DB ํ…Œ์ŠคํŠธ') # DB config ํŒŒ์ผ ์ฝ์–ด๋ณด๊ธฐ db_config = {} with open('./db_config', 'r') as f: for l in f.readlines(): key, value = l.rstrip().split('=') if key == 'port': db_config[key] = int(value) else: db_config[key] = value # p.. ๋”๋ณด๊ธฐ
9/6 ํ™”_DBeaver 1. dpkg dpkg -r: ๋ฐ๋น„์•ˆ ํŒจํ‚ค์ง€ ๋งค๋‹ˆ์ €๋กœ ๋ฐ๋ชฌ ํ”„๋กœ๊ทธ๋žจ/ํŒจํ‚ค์ง€ ์‚ญ์ œ 2. systemctl ๋ฐ๋ชฌ ํ”„๋กœ๊ทธ๋žจ๋“ค ๊ด€๋ฆฌ 3. .deb ํ•ด๋‹น ํ™•์žฅ์ž ์„ค์น˜ ์‹œ์—๋Š” sudo dpkg -i ํŒŒ์ผ๋ช… 4. vim ํŽธ์ง‘๊ธฐ ์ „์ฒด ์„ ํƒ: shift + v + g ๋ˆ„๋ฅธ ๋’ค d๋กœ ์‚ญ์ œ 5. ls -ltr ํŒŒ์ผ/ํด๋”, ์ƒ์„ฑ๋œ ์‹œ๊ฐ„ ๋ฐ ๊ถŒํ•œ ์กฐํšŒ 6. Hadoop / Spark Hadoop: map ํ•จ์ˆ˜ ๋ชจ๋‘ ์ข…๋ฃŒ๋˜์–ด์•ผ reduce ํ•จ์ˆ˜๊ฐ€ ์‹คํ–‰๋˜๊ธฐ ๋•Œ๋ฌธ์— ๋ฐ์ดํ„ฐ ์‹ค์‹œ๊ฐ„ ์ฒ˜๋ฆฌ ์–ด๋ ค์›€. ๋น…๋ฐ์ดํ„ฐ ๊ธฐ๋ฐ˜์˜ ๋ฐฐ์น˜์„ฑ ํ†ต๊ณ„์ž‘์—…์— ์ฃผ๋กœ ์‚ฌ์šฉํ•จ Spark: mapreduce๋กœ map ํ•จ์ˆ˜ ์ข…๋ฃŒ ์ „์ด๋ผ๋„ ๋ฐ์ดํ„ฐ ์ŠคํŠธ๋ฆฌ๋ฐ ๊ฐ€๋Šฅ. ๋ฐ์ดํ„ฐ๋ฅผ HDD๊ฐ€ ์•„๋‹Œ ๋ถ„์‚ฐ ๋ฉ”๋ชจ๋ฆฌ์— ์ €์žฅํ•จ 7. DBeaver VS Code -> EC2 -> RDS ๊ฐ€์‹œ์„ฑ ๋–จ.. ๋”๋ณด๊ธฐ
9/2 ๊ธˆ 1. JavaScript ํŠน์ • ๋ฒ„ํŠผ ํด๋ฆญ ์•ˆ ๋  ๋•Œ ์ถ”๊ฐ€์ ์œผ๋กœ ์‚ฌ์šฉํ•  JS # ํŠน์ • ์—˜๋ ˆ๋จผํŠธ๋กœ ์ด๋™ driver.execute_script('arguments[0].scrollIntoView();', more_button) # ํŠน์ • ์—˜๋ ˆ๋จผํŠธ์—์„œ ์‚ด์ง ์œ„๋กœ ์ด๋™. clientHeight: ํ˜„์žฌ ์Šคํฌ๋กค ์œ„์น˜ driver.execute_script("window.scrollTo(0,document.body.clientHeight-200);") 2. AWS ํƒ„๋ ฅ์  IP ์„œ๋ฒ„๋ฅผ ์žฌ๋ถ€ํŒ…ํ•˜๊ฑฐ๋‚˜ ์žฌ์‹œ์ž‘ํ•ด๋„ IP ์ฃผ์†Œ๋ฅผ ๋ณ€ํ•˜์ง€ ์•Š๊ฒŒ ์œ ์ง€ ๊ณผ๊ธˆ์ด ๋˜์ง€ ์•Š๋„๋ก ์ธ์Šคํ„ด์Šค ์ค‘์ง€ ์ „์— ์—ฐ๊ฒฐ ํ•ด์ œ + ๋ฆด๋ฆฌ์ฆˆ ํ•ด์ฃผ์ž! "ํƒ„๋ ฅ์  IP ์ฃผ์†Œ์˜ ํšจ์œจ์ ์ธ ์‚ฌ์šฉ์„ ์œ„ํ•ด ์ด๋Ÿฌํ•œ IP ์ฃผ์†Œ๊ฐ€ ์‹คํ–‰ ์ค‘์ธ ์ธ์Šคํ„ด์Šค์™€ ์—ฐ๊ฒฐ๋˜์–ด ์žˆ์ง€ ์•Š๊ฑฐ๋‚˜ ์ค‘์ง€๋œ ์ธ.. ๋”๋ณด๊ธฐ
6/9 ๋ชฉ_PermissionError ํ• ๋‹น๋œ Putty Terminal๊ณผ Jupyter notebook Port๋กœ ๋“ค์–ด๊ฐ€์„œ ๋…ธํŠธ๋ถ์„ ์ƒ์„ฑํ•˜๋ฉด, 500๋Œ€ ์„œ๋ฒ„ ์—๋Ÿฌ์™€ ํ•จ๊ป˜ ์ปค๋งจ๋“œ ์ฐฝ์— Permission Error๊ฐ€ ๋–ด๋‹ค. "PermissionError: [Errno 13] Permission denied: '/usr/local/share/jupyter/nbconvert/templates/conf.json'" ๋…ธํŠธ๋ถ์„ ๋‹ค๋ฅธ ํ˜•์‹(HTML ๋“ฑ)์œผ๋กœ ๋ณ€ํ™˜ํ•ด์ฃผ๋Š” nbconvert์— ์ ‘๊ทผํ•  ์ˆ˜ ์žˆ๋Š” ๊ถŒํ•œ์ด ์—†์–ด์„œ ๋œจ๋Š” ๊ฒƒ์œผ๋กœ ํ™•์ธ์ด ๋˜์–ด, ๊ตฌ๊ธ€๋ง ํ•ด๋ณด๋‹ค๊ฐ€ ๊ถŒํ•œ ์ฃผ๋Š” ๋ช…๋ น์–ด ๋ฐœ๊ฒฌ! ์ด๊ฑฐ ๋ง๊ณ ๋Š” data ๋””๋ ‰ํ„ฐ๋ฆฌ๋ฅผ ์ง€์šฐ๋ผ๋Š”๋ฐ ๊ทธ๋Ÿผ ๋‹ค๋ฅธ ๊ฑธ ๋ชป ์“ธ๊นŒ ๋ด ์šฐ์„  ๋ณด๋ฅ˜! "Having the same issue, removing both: /usr/share/.. ๋”๋ณด๊ธฐ
4/19 ํ™” ํ™”์š”์ผ! ์˜ค๋Š˜์€ AWS(ํด๋ผ์šฐ๋“œ ์‹œ์Šคํ…œ) ์‚ฌ์šฉ๋ฒ•์— ๋Œ€ํ•ด ์•Œ์•„๋ณด๊ณ , AI ํ”„๋กœ์ ํŠธ ์กฐํŽธ์„ฑ ์ „ ๊ฐ•์‚ฌ๋‹˜๊ณผ ๋ฉด๋‹ด์ด ์žˆ๋‹ค. ๋ถ€๋“์ดํ•˜๊ฒŒ ์„œ๋ฒ„ ํ˜น์€ ์ž‘์—…ํ•œ ๋‚ด์šฉ์ด ๋‚ ์•„๊ฐˆ ์ˆ˜ ์žˆ์œผ๋ฏ€๋กœ, GitHub๋‚˜ ๋กœ์ปฌ์— ๋งค์ผ ๋ฐฑ์—…ํ•ด๋†“์ž! ์‚ฌ์šฉ๋ฒ•์€ ๋ฉ€์บ ์—์„œ ์ค€ ์ฒจ๋ถ€ํŒŒ์ผ๋“ค์„ ์ฐธ๊ณ ํ•˜์ž~ * ์„œ๋ฒ„ ์‚ฌ์šฉ ๊ฐ€๋Šฅํ•œ ์‹œ๊ฐ„ : ํ‰์ผ 9:00 ~ 18:30. GPU 1๊ฐœ 1. AWS ์‚ฌ์šฉ์ž ์ •๋ณด๋กœ ์ ‘์† → ๋ฆฌ์ „์„ ๋„์ฟ„๋กœ ๋ณ€๊ฒฝ → ์„œ๋น„์Šค ์ฐฝ์—์„œ EC2(ํด๋ผ์šฐ๋“œ์˜ ๊ฐ€์ƒ ์„œ๋ฒ„) ๊ฒ€์ƒ‰ ํ›„ ํด๋ฆญ → ๋ฐฐ์ •๋ฐ›์€ ์„œ๋ฒ„(์ธ์Šคํ„ด์Šค) ์ •๋ณด ํ™•์ธ ํ›„ ํŒ€๋ณ„๋กœ ํ• ๋‹น๋œ ์„œ๋ฒ„ ์„ ํƒ → ํŒ€์› ํ•œ ๋ช…์ด ๋งค์ผ ์•„์นจ ์„œ๋ฒ„ ๋™์ž‘(์ธ์Šคํ„ด์Šค ์ƒํƒœ) ํ™•์ธ ํ›„ ์„œ๋ฒ„ ์‹คํ–‰(์ธ์Šคํ„ด์Šค ์‹œ์ž‘) https://multicampus-aws.signin.aws.amazon.com/console 2. ์•”ํ˜ธ.. ๋”๋ณด๊ธฐ

728x90