[์ฃผ์‹์ฑ—๋ด‡] - ํŽ˜๋ฅด์†Œ๋‚˜ ๋ถ€์—ฌ [3]
ยท
์‚ฌ์ด๋“œ ํ”„๋กœ์ ํŠธ
ํŽ˜๋ฅด์†Œ๋‚˜ ์ž‘์„ฑ ๋ชฉ์ ์€ ํˆฌ์ž์— ์ ํ•ฉํ•œ ์ฑ—๋ด‡์„ ๋งŒ๋“ค ์ˆ˜ ์žˆ๊ฒŒ ํŽ˜๋ฅด์†Œ๋‚˜๋ฅผ ์ž‘์„ฑํ•˜๋Š” ๊ฒƒ์ด๋‹ค. 1. ๊ธฐ๋ณธ  Q . ์•„์ด์˜จํ์— ๋Œ€ํ•ด์„œ ์•Œ๋ ค์ค˜ A. ์•„์ด์˜จํ(IonQ)๋Š” ์–‘์ž ์ปดํ“จํŒ… ๊ธฐ์ˆ ์„ ๊ฐœ๋ฐœํ•˜๊ณ  ์ƒ์šฉํ™”ํ•˜๋Š” ์„ ๋„์ ์ธ ๊ธฐ์—…์ž…๋‹ˆ๋‹ค. 2015๋…„์— ์„ค๋ฆฝ๋œ ์•„์ด์˜จํ๋Š” trapped ion(๊ฐ€๋‘” ์ด์˜จ) ๊ธฐ์ˆ ์„ ๊ธฐ๋ฐ˜์œผ๋กœ ์–‘์ž ์ปดํ“จํ„ฐ๋ฅผ ๊ฐœ๋ฐœํ•˜๋ฉฐ, ๊ณ ์„ฑ๋Šฅ ์–‘์ž ์ปดํ“จํŒ… ์†”๋ฃจ์…˜์„ ์ œ๊ณตํ•˜๊ณ  ์žˆ์Šต๋‹ˆ๋‹ค.ํ•ต์‹ฌ ํŠน์ง• ๋ฐ ๊ธฐ์ˆ Trapped Ion ๊ธฐ์ˆ :์•„์ด์˜จํ์˜ ์–‘์ž ์ปดํ“จํ„ฐ๋Š” ์›์ž ์ด์˜จ์„ ํ๋น„ํŠธ๋กœ ์‚ฌ์šฉํ•ฉ๋‹ˆ๋‹ค.๋ ˆ์ด์ €๋ฅผ ์‚ฌ์šฉํ•˜์—ฌ ๊ฐœ๋ณ„ ํ๋น„ํŠธ๋ฅผ ์กฐ์ž‘ํ•˜๊ณ  ์ƒํƒœ๋ฅผ ์ œ์–ดํ•˜๋ฉฐ, ๋†’์€ ์ •ํ™•์„ฑ๊ณผ ์•ˆ์ •์„ฑ์„ ์ž๋ž‘ํ•ฉ๋‹ˆ๋‹ค.๋‹ค๋ฅธ ์–‘์ž ์ปดํ“จํŒ… ๊ธฐ์ˆ (์ดˆ์ „๋„์ฒด ๊ธฐ๋ฐ˜ ๋“ฑ)์— ๋น„ํ•ด, ๋” ๊ธด ์ฝ”ํžˆ๋Ÿฐ์Šค ์‹œ๊ฐ„๊ณผ ๋†’์€ ๊ฒŒ์ดํŠธ ํ”ผ๋ธ๋ฆฌํ‹ฐ๋ฅผ ์ œ๊ณตํ•ฉ๋‹ˆ๋‹ค.๋ฒ”์šฉ ์–‘์ž ์ปดํ“จํ„ฐ:์•„์ด์˜จํ์˜ ๊ธฐ์ˆ ์€ ๋ฒ”..
[DL] Transformer : self-attention
ยท
์นดํ…Œ๊ณ ๋ฆฌ ์—†์Œ
1. Self Attention Self Attention์ด๋ž€ ๋ง ๊ทธ๋ž˜๋„ ์ž๊ธฐ ์ž์‹ ์—๊ฒŒ ์ˆ˜ํ–‰ํ•˜๋Š” Attention ๊ธฐ๋ฒ•์ด๋‹ค. ๊ทธ๋ ‡๋‹ค๋ฉด ์™œ ์ด๋Ÿฐ ํ–‰์œ„๋ฅผ ํ•˜๋Š” ๊ฒƒ์ผ๊นŒ? ๊ทธ ์ด์œ ๋Š” ๋ฐ”๋กœ ๋ฌธ์žฅ์—์„œ ๋‹จ์–ด๋“ค์˜ ์—ฐ๊ด€์„ฑ์„ ์•Œ๊ธฐ ์œ„ํ•ด์„œ๋‹ค.   https://codingopera.tistory.com/43  ์œ„ ๊ทธ๋ฆผ์„ ์ฐธ๊ณ ํ•˜์—ฌ, ๋งŒ์ผ "The animal didn't cross the street because it was too tired"๋ผ๋Š” ๋ฌธ์žฅ์ด ์žˆ๋‹ค๊ณ  ํ•˜์ž. ์—ฌ๊ธฐ์„œ 'it'์ด ๊ฐ€๋ฆฌํ‚ค๋Š” ๋‹จ์–ด๋Š” ๋ฌธ๋งฅ์ƒ 'animal' ์ž„์„ ์•Œ ์ˆ˜ ์žˆ๊ณ , ์ด ๋‘˜์˜ ๋‹จ์–ด๋Š” ๊ด€๋ จ์ด ๋†’๋‹ค๊ณ  ํ•  ์ˆ˜ ์žˆ๋‹ค.  ์ด๋Ÿฌํ•œ ๊ณผ์ •์„ ์ปดํ“จํ„ฐ๊ฐ€ ํ•  ์ˆ˜ ์žˆ๋„๋ก ํ•˜๋Š” ๊ฒƒ์ด๋‹ค.  ์ฆ‰ , self attention์€ ์ž๊ธฐ์ž์‹ ์ด Query์ด์ž Key, Value์ด..
[DL] Attention
ยท
ML&DL
1. Seq2Seq Model Seq2Seq  Model์€ ์‰ฝ๊ฒŒ ๋งํ•ด์„œ ์ผ๋ จ์˜ Encoder ๊ฐ€ ์ž…๋ ฅ ์‹œํ€€์Šค๋ฅผ ์ฒ˜๋ฆฌํ•˜์—ฌ Latent vector๋กœ ์ •๋ณด๋ฅผ ์••์ถ•ํ•˜๊ณ , ์ด๋ฅผ Decoder๋กœ ์ „๋‹ฌํ•˜์—ฌ ์ถœ๋ ฅ ์‹œํ€€์Šค๋ฅผ ์ƒ์„ฑํ•˜๋Š”๋ชจ๋ธ์ด๋‹ค. Latent Vector : Encoder ์˜ ๋งˆ์ง€๋ง‰ step ์—์„œ ์ƒ์„ฑ๋œ Hidden state๋กœ , ์ž…๋ ฅ ์‹œํ€€์Šค์˜ ์ •๋ณด๋ฅผ ์š”์•ฝํ•œ vector ์ด๋‹ค.์ฃผ์š” ํ™œ์šฉ ์‚ฌ๋ก€ : ๋ฒˆ์—ญ, ์š”์•ฝ, Q&A  2. ๋ฌธ์ œ์  : Bottleneck ํ˜„์ƒ ๋ฐœ์ƒ latent vector์— ์ž…๋ ฅ ์‹œํ€€์Šค์˜ ๋ชจ๋“  ์ •๋ณด๋ฅผ ์••์ถ•ํ•ด์•ผํ•˜๋ฏ€๋กœ, ์ •๋ณด ์†์‹ค ๊ฐ€๋Šฅ์„ฑ ์กด์žฌ ( latent Vector๋Š” ์ž…๋ ฅ ์‹œํ€€์Šค์˜ ์˜๋ฏธ๋ฅผ ์ž˜ ๋‹ด์•„์•ผ ํ•œ๋‹ค. )ํ•ด๊ฒฐ๋ฐฉ์•ˆ : Attention Mechanism  : Decoder๊ฐ€ Latent..
[์ฃผ์‹์ฑ—๋ด‡] ํ”„๋กœ์ ํŠธ ๊ฐœ์š” ๋ฐ ๋ชฉํ‘œ [1]
ยท
์‚ฌ์ด๋“œ ํ”„๋กœ์ ํŠธ
์ฃผ์‹ AI ์ฑ—๋ด‡, ์™œ ๋งŒ๋“ค๋ ค๊ณ  ํ•˜๋Š”๊ฐ€!! ๋ฐฐ๊ฒฝ 1. ๋‚ด ๋ˆ์ด ๋“ค์–ด๊ฐ€๋ฉด ๊ด€์‹ฌ๋„๊ฐ€ ๋‹ฌ๋ผ์ง€๋”๋ผ..  ํ•™๋ถ€ 4ํ•™๋…„ ์‹œ์ ˆ, ํˆฌ์ž ํฌํŠธํด๋ฆฌ์˜ค ์ˆ˜์—…์—์„œ A+์„ ๋ฐ›์„๋งŒํผ ๊ณต๋ถ€๋ฅผ ์—ด์‹ฌํžˆ ํ–ˆ๋˜ ์‹œ์ ˆ์ด ์žˆ์—ˆ๋‹ค. (ChatGPT๊ฐ€ ์—†๋˜ ์‹œ์ ˆ ๋ฐค๋‚ฎ์œผ๋กœ ๊ธฐ์—… ๋‰ด์Šค๋ฅผ ๋’ค์ง€๊ณ  ๋‹ค๋…”๋˜...) ๊ทธ๋•Œ๋Š” ๋ชจ์˜ํˆฌ์ž์ด๊ณ  ์ˆ˜์—…์ด๋‹ˆ ๊ทธ์ € ๋‚ด ์—ญํ• ์— ์ถฉ์‹คํ–ˆ์—ˆ๋Š”๋ฐ ์š”์ฆ˜์€ ์‹ค์ œ๋กœ ๋‚˜์˜ ๋ˆ์„ ํˆฌ์žํ•˜๋‹ˆ ๊ด€์‹ฌ๋„๊ฐ€ ๋‚จ๋‹ฌ๋ผ์กŒ๋‹ค. ( ๊ทธ๋ž˜์„œ ๋‚ด ์ฃผ์‹ ์–ด๋–ป๊ฒŒ ๋ ๊ฑด๊ฐ€...?)  ์ตœ๊ทผ์—๋Š” ๋ฏธ๊ตญ ์ฃผ์‹์— ์ฃผ๋กœ ํˆฌ์žํ•˜๊ณ  ์žˆ๊ณ , ๋‚ด๊ฐ€ AI๋ฅผ ํ•˜๋‹ค๋ณด๋‹ˆ AI ๊ธฐ์—… ์œ„์ฃผ๋กœ ํˆฌ์žํ•˜๊ณ  ์žˆ๋Š” ์ค‘์ด๋‹ค. (๋นจ๊ฐ„ ๋ถˆ์€ ๋‚˜์—๊ฒŒ ํฌ๋ง๊ณผ..!! ํฌ๋ง์„ !! )  2. ๋‚˜๋„ ํ•˜๊ณ  ์‹ถ์€๋ฐ...  ์ฃผ๋ณ€์—์„œ ์ข…์ข… "๋‚˜๋„ ์ฃผ์‹ ํ•ด๋ณด๊ณ  ์‹ถ์€๋ฐ, ๋„๋Œ€์ฒด ์–ด๋–ป๊ฒŒ ์‹œ์ž‘ํ•ด์•ผ ํ• ์ง€ ๋ชจ๋ฅด๊ฒ ์–ด. ๋„ˆ๋ฌด ์–ด๋ ค์›Œ."๋ผ๋Š” ๋ง..