๐Ÿ’ป

Data Engineer

๊ฒฝ๋ ฅ
๊ฒฝ๋ ฅ 3๋…„ ์ด์ƒ
1 more property

๋ถ€์„œ ์†Œ๊ฐœ ๋ฐ ์ฃผ์š” ์—…๋ฌด

์˜คํ”ผ์ง€์ง€ Data Engineer ๊ฐ€ ์ผํ•˜๋Š” ๋ฒ•

OP.GG์˜ Data Engineer๋Š” ๋ฐ์ดํ„ฐ์…€์—์„œ ๋ฐ์ดํ„ฐ ๋ถ„์„์— ํ™œ์šฉํ•˜๋Š” ๋ฐ์ดํ„ฐ๋ฅผ ํ†ตํ•ฉํ•˜๊ณ  ๊ด€๋ฆฌํ•ฉ๋‹ˆ๋‹ค. ํด๋ผ์šฐ๋“œ ํ™˜๊ฒฝ์—์„œ์˜ Data Lake์™€ Data Warehouse๋ฅผ ๊ตฌ์ถ• / ์šด์˜ํ•˜๋ฉฐ, ๋ฐ์ดํ„ฐ ๋ถ„์„์„ ์กฐ๊ธˆ ๋” ์‰ฝ๊ฒŒ ํ•  ์ˆ˜ ์žˆ๋Š” ํ™˜๊ฒฝ์„ ๊ตฌ์„ฑํ•˜๋Š” ์ผ์„ ํ•ฉ๋‹ˆ๋‹ค.
๋˜ํ•œ, ๋ฐ์ดํ„ฐ ๋ถ„์„ ๊ณผ์ •์—์„œ Data Lake์— ์ €์žฅ๋œ ๋‚ด/์™ธ๋ถ€์—์„œ ์ƒ์‚ฐ๋œ ๋ฐ์ดํ„ฐ๋ฅผ BigQuery์— ์ €์žฅํ•˜์—ฌ ๊ด€๋ฆฌํ•˜๊ณ  ํด๋ผ์šฐ๋“œ ํ™˜๊ฒฝ์—์„œ Kubernetes ๋ฅผ ํ†ตํ•ด ์ปจํ…Œ์ด๋„ˆ๋ฅผ ๊ด€๋ฆฌํ•˜๊ณ , Airflow๋ฅผ ํ†ตํ•ด ๋ฐ์ดํ„ฐ๋ฅผ ์ฒ˜๋ฆฌํ•˜๊ณ  ์žˆ์Šต๋‹ˆ๋‹ค. Bitbucket์„ ์ด์šฉํ•ด์„œ ์†Œ์Šค ์ฝ”๋“œ๋ฅผ ๊ด€๋ฆฌํ•˜๊ณ , ์—…๋ฌด ๊ฒฐ๊ณผ๋ฌผ์€ Notion์œผ๋กœ ์ž‘์„ฑ ํ›„ ๊ณต์œ  ๋ฐ Slack์œผ๋กœ ์†Œํ†ตํ•ฉ๋‹ˆ๋‹ค.

์ฃผ์š” ์—…๋ฌด

โ€ข
๋ฐ์ดํ„ฐ์…€ ๋‚ด ์•ˆ์ •์ ์ด๊ณ  ํšจ์œจ์ ์ธ ๋ถ„์„์„ ์œ„ํ•œ ์ธํ”„๋ผ์˜ ๊ณ ๋„ํ™” ๋ฐ ๊ด€๋ฆฌ
โ€ข
OP.GG ์„œ๋น„์Šค ๋ฐ ์œ ์ € ๋ฐ์ดํ„ฐ ๋ถ„์„์„ ์œ„ํ•œ ETL ํ”„๋กœ์„ธ์Šค ์„ค๊ณ„ ๋ฐ ๊ตฌํ˜„
โ€ข
ML / DL ์„ ํ™œ์šฉํ•œ ๋ชจ๋ธ ์„œ๋น™ ์‹œ์Šคํ…œ ๊ฐœ๋ฐœ ๋ฐ ์šด์˜

์ง๋ฌด ๋น„์ „

์›” 5,500๋งŒ๋ช…์ด ๋ฐฉ๋ฌธํ•˜๋Š” ์„œ๋น„์Šค์˜ ๊ธ€๋กœ๋ฒŒ ์œ ์ € ๋ฐ์ดํ„ฐ๋ฅผ ์ง์ ‘ ๋‹ค๋ฃฐ ์ˆ˜ ์žˆ์œผ๋ฉฐ, ๋ˆ„๊ตฌ๋ณด๋‹ค ๊ฒŒ์ž„์— ์ง„์‹ฌ์ธ ๋™๋ฃŒ๋“ค๊ณผ ํ•จ๊ป˜ ๊ธ€๋กœ๋ฒŒ 1์œ„์˜ ๊ฒŒ์ž„ ๋ฐ์ดํ„ฐ ๋ถ„์„ ์„œ๋น„์Šค๋ฅผ ์ง์ ‘ ๋งŒ๋“ค์–ด๊ฐ€๋Š” ๊ฒฝํ—˜์„ ํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.

๋ฐ์ดํ„ฐ ์…€์—์„œ ํ•จ๊ป˜ ์„ฑ์žฅํ–ˆ์œผ๋ฉด ํ•˜๋Š” ๋ฐฉํ–ฅ

OP.GG์˜ ๋ฐ์ดํ„ฐ ์…€์€ ํšŒ์‚ฌ์—์„œ ๋ฐœ์ƒํ•˜๋Š” ๋‹ค์–‘ํ•œ ๋ฌธ์ œ๋ฅผ ๋ฐ์ดํ„ฐ ๋ถ„์„์„ ๋ฐ”ํƒ•์œผ๋กœ ํ•ด๊ฒฐํ•˜๋Š” ์กฐ์ง์ž…๋‹ˆ๋‹ค. ๋ฌธ์ œ๋ฅผ ์ง์ ‘ ์ •์˜ํ•˜๊ณ , ํ•ด๊ฒฐ์„ ์œ„ํ•ด ํ˜„์ƒ์„ ์ •ํ™•ํ•˜๊ฒŒ ์ธก์ •ํ•˜๋ฉฐ, ๋ฌธ์ œ๋ฅผ ํ•ด๊ฒฐํ•  ์ˆ˜ ์žˆ๋Š” ํŒ๋‹จ ๊ทผ๊ฑฐ๋ฅผ ๋งŒ๋“œ๋Š” ์ผ์„ ํ•ฉ๋‹ˆ๋‹ค. ๋˜ํ•œ ๋‹จ์ˆœํžˆ ๋ถ„์„์—์„œ ๊ทธ์น˜์ง€ ์•Š๊ณ  ์„œ๋น„์Šค์˜ ๊ฐœ์„  ํ˜น์€ ์„œ๋น„์Šค๋กœ์˜ ํ™•์žฅ ๊ฐ€๋Šฅ์„ฑ์„ ๊ณ ๋ คํ•ฉ๋‹ˆ๋‹ค.
๋ฐ์ดํ„ฐ ์…€์€ OP.GG ๋‚ด์—์„œ ๊ฐ€์žฅ ๋น ๋ฅด๊ณ  ๋‹จ๋‹จํ•˜๊ฒŒ ์„ฑ์žฅํ•˜๋Š” ๊ทธ๋ฃน์ž…๋‹ˆ๋‹ค. ์„ฑ์žฅ์˜ ๊ธฐ๋ฐ˜์€ "์ž์œ ๋กœ์šด ์‹คํ—˜์ด ๊ฐ€๋Šฅํ•˜๊ณ  ํ”ผ๋“œ๋ฐฑ์ด ๋น ๋ฅธ ํ™˜๊ฒฝ"์ž…๋‹ˆ๋‹ค. ๊ทธ๋ ‡๊ธฐ์— ์‹ค์ œ ๋ฐ์ดํ„ฐ ์…€ ๋‚ด์—์„  ๋‹ค์–‘ํ•œ ํ˜ธ๊ธฐ์‹ฌ์„ ๋ถ„์„์œผ๋กœ ์˜ฎ๊ธฐ๋Š” ์Šต๊ด€์„ ์ง€ํ–ฅํ•ฉ๋‹ˆ๋‹ค. ๋‹ค์–‘ํ•œ ์‹คํ—˜์ ์ธ ๋ถ„์„์ด ์ด๋ค„์งˆ ์ˆ˜ ์žˆ๋Š” ํ™˜๊ฒฝ์ด๋ฉฐ, ๋ถ„์„์˜ ๊ฒฐ๊ณผ๋งŒํผ์ด๋‚˜ ๋ถ„์„์˜ ๊ณผ์ •์— ๋Œ€ํ•ด ๋งŽ์€ ํ”ผ๋“œ๋ฐฑ์„ ์ฃผ๊ณ ๋ฐ›์Šต๋‹ˆ๋‹ค. ํ•„์š”ํ•œ ๋‚ด์šฉ์ด ์žˆ๋‹ค๋ฉด ํ•™์Šตํ•˜๊ณ  ํ† ๋ก ํ•˜๊ณ  ๊ฒฐ๊ณผ๋ฅผ ๊ณต์œ ํ•˜๋ฉฐ ํ•จ๊ป˜ ์„ฑ์žฅํ•˜๋Š” ๊ฒƒ์„ ์ถ”๊ตฌํ•ฉ๋‹ˆ๋‹ค. ๋ฐ์ดํ„ฐ ์…€์€ ์ž์‹ ์˜ ๊ฒฐ๊ณผ๋ฌผ๋“ค์— ๋Œ€ํ•œ ์ž์‹ ๊ฐ๋„ ์ค‘์š”ํ•˜์ง€๋งŒ, Feedback์„ ํ†ตํ•œ ์ˆ˜์šฉ๊ณผ ๋ณ€ํ™”์˜ ์ธ์ž๋ฅผ ๊ฐ€์ง„ ๋™๋ฃŒ์™€ ํ•จ๊ป˜ ์„ฑ์žฅํ•˜๊ธฐ๋ฅผ ์›ํ•ฉ๋‹ˆ๋‹ค.

์ž๊ฒฉ ์š”๊ฑด

โ€ข
ํ•™๋ ฅ : ๋ฌด๊ด€
โ€ข
์ „๊ณต : ๋ฌด๊ด€
โ€ข
๊ฒฝ๋ ฅ : ๊ฒฝ๋ ฅ 3๋…„ ์ด์ƒ
โ€ข
ํ•„์ˆ˜ ๊ฒฝํ—˜ ๋ฐ ์—ญ๋Ÿ‰
โ—ฆ
๊ฒŒ์ž„ ๋ฐ ๊ด€๋ จ ์„œ๋น„์Šค์— ๋Œ€ํ•œ ๋†’์€ ๊ด€์‹ฌ๋„๋ฅผ ๊ฐ€์ง€์‹  ๋ถ„
โ—ฆ
Python ์„ ํ™œ์šฉํ•œ ๊ฐœ๋ฐœ์— ์ˆ™๋ จ๋œ ๋Šฅ๋ ฅ์„ ๋ณด์œ ํ•˜์‹  ๋ถ„
โ—ฆ
Docker ๊ธฐ๋ฐ˜ ๋ถ„์„ ํ™˜๊ฒฝ ์šด์˜์˜ ๊ฒฝํ—˜์„ ๊ฐ€์ง€์‹  ๋ถ„
โ—ฆ
๋ฐ์ดํ„ฐ ํŒŒ์ดํ”„ ๋ผ์ธ ๋„๊ตฌ ์‚ฌ์šฉ ๊ฒฝํ—˜์ด ์žˆ์œผ์‹  ๋ถ„ (e.g. Airflow)
โ—ฆ
๋ฐ์ดํ„ฐ ๋ถ„์„๊ฐ€ / ์‚ฌ์ด์–ธํ‹ฐ์ŠคํŠธ ๋ฐ ํƒ€ ํŒ€๊ณผ์˜ ์ปค๋ฎค๋‹ˆ์ผ€์ด์…˜์ด ์›ํ™œํ•˜์‹  ๋ถ„
โ€ข
์šฐ๋Œ€ ๊ฒฝํ—˜ ๋ฐ ์—ญ๋Ÿ‰
โ—ฆ
์œ ์ € ๋กœ๊ทธ ํ˜น์€ Google Analytics 4 ๋ฐ์ดํ„ฐ์— ๋Œ€ํ•œ ํ™œ์šฉ ๊ฒฝํ—˜์ด ์žˆ์œผ์‹  ๋ถ„
โ—ฆ
ํด๋ผ์šฐ๋“œ ํ”Œ๋žซํผ(AWS, GCP) ์—์„œ์˜ ๋ฐ์ดํ„ฐ ์—”์ง€๋‹ˆ์–ด๋ง ๊ฒฝํ—˜์ด ์žˆ์œผ์‹  ๋ถ„
โ—ฆ
๋ถ„์‚ฐ ์ฒ˜๋ฆฌ๋ฅผ ํ™œ์šฉํ•œ ์„œ๋น„์Šค ๊ฒฝํ—˜์„ ๊ฐ€์ง€์‹  ๋ถ„

์ฑ„์šฉ ํ”„๋กœ์„ธ์Šค

โ€ข
์ œ์ถœ ์„œ๋ฅ˜
โ—ฆ
์ž์œ ์–‘์‹์˜ ์ž…์‚ฌ์ง€์›์„œ(๊ฒฝ๋ ฅ๊ธฐ์ˆ ์„œ ๋ฐ ์ž๊ธฐ์†Œ๊ฐœ์„œ ํฌํ•จ / ์˜คํ”ผ์ง€์ง€ ์ง€์›๋™๊ธฐ ๊ธฐ์žฌ ํ•„์ˆ˜)
โ—ฆ
Github, ๊ฐœ์ธ ๊ธฐ์ˆ ๋ธ”๋กœ๊ทธ ๋“ฑ ์šฐ๋Œ€
โ€ข
์ฑ„์šฉ ์ ˆ์ฐจ
โ—ฆ
์„œ๋ฅ˜์ „ํ˜• > ๊ณผ์ œ > 1์ฐจ ์‹ค๋ฌด(๊ธฐ์ˆ )์ธํ„ฐ๋ทฐ ๋ฐ HR์ธํ„ฐ๋ทฐ > 2์ฐจ ์ตœ์ข…์ธํ„ฐ๋ทฐ > ์ตœ์ข…ํ•ฉ๊ฒฉ
โ–ช
์ง„ํ–‰ ์ƒํ™ฉ์— ๋”ฐ๋ผ ์ƒ์ดํ•˜๊ฒŒ ์ง„ํ–‰๋  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.
TOP