์ RSSM์ธ๊ฐ?
๋๋ถ๋ถ์ AI ๊ธฐ๋ฐ ์ถ์ฒ ์์คํ ์ Transformer๋ง์ผ๋ก ์๋ํ์ง๋ง, ์ด ๋ฐฉ์์ ์ฌ์ฉ์๊ฐ ๋์ด๋ ์๋ก ์ฐ์ฐ๋์ด ๊ธฐํ๊ธ์์ ์ผ๋ก ์ฆ๊ฐํ์ฌ ๋น์ฉ์ด ํญ๋ฐํ๋ ๊ตฌ์กฐ์ ๋๋ค. Addeep์ด ์ถ๊ตฌํ๋ ์ค์๊ฐ ๊ฐ์ธํยท๋๊ท๋ชจ ์ฌ์ฉ์ ์ฒ๋ฆฌยท์ปค๋จธ์ค ์ ํ ์ต์ ํ๋ฅผ Transformer๋ง์ผ๋ก ๊ตฌํํ๋ฉด ์๋น์ค๊ฐ ์ฑ์ฅํ ์๋ก GPU ๋น์ฉ์ด ๊ณผ๋ํ๊ฒ ์ฆ๊ฐํ๊ฒ ๋ฉ๋๋ค.
RSSM(Recurrent State Space Model)์ ์ด ๋ฌธ์ ๋ฅผ ํด๊ฒฐํ๊ธฐ ์ํ ๊ตฌ์กฐ์ ๋์์ ๋๋ค. RSSM์ ๋งค ์ด๋ฒคํธ๋ง๋ค ์ ์ฒด ๊ธฐ๋ก์ ๋ค์ ํด์ํ์ง ์๊ณ , ํ์ฌ ์ํ(state)๋ง ์ ๋ฐ์ดํธํ๋ ๋ฐฉ์์ผ๋ก ์๋ํฉ๋๋ค. ์ด ๋ฐฉ์์ ์ฐ์ฐ ๋ณต์ก๋๊ฐ O(1)์ด๋ฉฐ, ์ ์ ์๋ ์ธ์ ๊ธธ์ด์ ๋ฐ๋ผ ๋น์ฉ์ด ํญ์ฆํ์ง ์๋ ๊ตฌ์กฐ์ ๋๋ค.
๊ทธ ๊ฒฐ๊ณผ, ๊ธฐ์กด MMR(LMM-only) ๊ตฌ์กฐ์ ๋น๊ตํ์ ๋ GPU ๋น์ฉ์ด 80~90% ์ ๊ฐ๋๊ณ , ๋์ ์ฒ๋ฆฌ๋์ 5~10๋ฐฐ ์ฆ๊ฐํ๋ฉฐ, ์ค์๊ฐ ๋ฐ์ ์๋๋ 300ms โ 10ms ์์ค์ผ๋ก ํฌ๊ฒ ํฅ์๋ฉ๋๋ค. ์ด๋ Addeep์ ๋น์ฆ๋์ค ๋ชจ๋ธ์์ ๋งค์ฐ ์ค์ํ ๊ฐ์น์ธ ์์ต์ฑ ์๋ ๋๊ท๋ชจ ํ๋ซํผ ์ด์์ ๊ฐ๋ฅํ๊ฒ ํ๋ ํต์ฌ ๊ธฐ๋ฐ์ ๋๋ค.
์ด์ Addeep์ RSSM ๊ธฐ๋ฐ ๊ตฌ์กฐ๋ฅผ ํตํด โ์ ์ ์ฆ๊ฐ๊ฐ ๊ณง ๋น์ฉ ์ฆ๊ฐ๋ฅผ ์๋ฏธํ๋ ๊ตฌ์กฐโ์์ ๋ฒ์ด๋, โ์ ์ ์ฆ๊ฐ๊ฐ ๊ณง ์์ต ์ฆ๊ฐ๋ก ์ด์ด์ง๋ ๊ตฌ์กฐโ๋ก ์งํํ ์ ์๊ฒ ๋ฉ๋๋ค.
RSSM์ ์ธ ๊ฐ์ง ์ถ
Addeep์ Mindset Engine์ ๋จ์ผ RSSM์ด ์๋๋ผ, ์๋ก ๋ค๋ฅธ ์๊ฐ ๊ท๋ชจ์ ๋ชฉ์ ์ ๊ฐ์ง ์ธ ๊ฐ์ RSSM์ผ๋ก ๊ตฌ์ฑ๋ฉ๋๋ค. ์ด ์ธ ์ถ์ ๊ฐ๊ฐ ์ฌ๋์ ์ฅ๊ธฐ ๊ธฐ์ต, ๋จ๊ธฐ ์๋, ์ปค๋จธ์ค ์ธ๊ณผ๊ด๊ณ๋ฅผ ๋ชจ๋ธ๋งํฉ๋๋ค.
๊ตฌ์กฐ๋ ๋ค์ ์ธ ๊ฐ์ง์ ๋๋ค.
- Long-horizon Preference RSSM
- Session-level Mindset RSSM
- ACT / Commerce Control RSSM
๊ฐ๊ฐ์ ์ญํ ์ ์๋์ ์์ธํ ์ค๋ช ํฉ๋๋ค.
Long-horizon Preference RSSM
Long-horizon RSSM์ ์ฌ์ฉ์์ ์ฅ๊ธฐ ์ทจํฅ๊ณผ ํจํด์ ํํํ๋ ๋๋ฆฐ ์์ง์ ๋๋ค. RocksDBยทNeo4j ๋ฑ์ ์ ์ฅ๋ ์ค๋ ๋ก๊ทธ๋ฅผ SSM(Mamba, S4)๊ณผ GNN(GraphSAGE, GAT)์ผ๋ก ๋ถ์ํ์ฌ **ํด์ ๊ฐ๋ฅํ ์ ์ฌ ๋ฒกํฐ(z_long)**๋ฅผ ๋ง๋ญ๋๋ค.
z_long์ ์ฌ์ฉ์์ ํ์ ์ฑํฅ์ ๋ํ๋ด๋ ๋ฒกํฐ์ด๋ฉฐ ๋ค์๊ณผ ๊ฐ์ ์ญํ ์ ํฉ๋๋ค.
- ์ธ์ ์์ ์ Session RSSM์ ์ด๊ธฐ๊ฐ์ผ๋ก ์ฌ์ฉ๋ฉ๋๋ค
- ์ธ์ ์ค ์ฌ์ฉ์์ ์์ ํ๋์ด ํ ๋ Regularizer๋ก ์๋ํฉ๋๋ค
- ๋ฐ์ดํฐ๊ฐ ๋ถ์กฑํ ์ํฉ์์๋ Prior๋ก ์ฌ์ฉ๋์ด ์์ ์ ์ธ ์ถ๋ก ์ ๊ฐ๋ฅํ๊ฒ ํฉ๋๋ค
๋ํ Long RSSM์ Batch ํ์ต ๊ธฐ๋ฐ์ ๋น๋๊ธฐ ์ ๋ฐ์ดํธ๋ก ๋์๊ฐ๊ธฐ ๋๋ฌธ์, ์ค์๊ฐ ๋น์ฉ์ ๊ฑฐ์ ๋ฐ์์ํค์ง ์์ต๋๋ค. ๋์ ๋งค์ผ ํน์ ๋งค์ฃผ ์ ๋ฐ์ดํฐ๋ฅผ ๊ธฐ๋ฐ์ผ๋ก ์ฌ์ฉ์์ ์ฅ๊ธฐ ํน์ฑ์ ๊ฐฑ์ ํ์ฌ ๋์ฑ ์ ๊ตํ ์ฅ๊ธฐ Mindset์ ์ ๊ณตํฉ๋๋ค.
Long-horizon RSSM์ Addeep์ ์ฝ๋์คํํธ ์๋ ๊ฐ์ธํ๋ฅผ ๊ฐ๋ฅํ๊ฒ ํด์ฃผ๋ ํต์ฌ ๊ตฌ์ฑ ์์์ ๋๋ค.
Session-level Mindset RSSM
Session-level Mindset RSSM์ ์ฌ์ฉ์๊ฐ ์ง๊ธ ์ด ์๊ฐ ์ด๋ค ๋ง์์ธ์ง ์ค์๊ฐ์ผ๋ก ์ถ์ ํ๋ ์์ง์ ๋๋ค. ํด๋ฆญ, ์คํฌ๋กค, ์์ฒญ, ๊ตฌ๋งค ๋ฑ ๋ฐฉ๊ธ ์ผ์ด๋ ์ด๋ฒคํธ๋ฅผ ๊ธฐ๋ฐ์ผ๋ก z_t ์ํ๋ฅผ ์ ๋ฐ์ดํธํ๋ฉฐ, ์ธํผ๋ฐ์ค ์๋๊ฐ ๋งค์ฐ ๋น ๋ฆ ๋๋ค.
ํต์ฌ ์๋ฆฌ๋ ๋ค์๊ณผ ๊ฐ์ต๋๋ค.
- ์ค์๊ฐ ๋ณํ๋ **์ํ(state)**๋ง ์ ๋ฐ์ดํธํฉ๋๋ค
- ๋ชจ๋ธ์ **๊ฐ์ค์น(weight)**๋ ์ค์๊ฐ์ผ๋ก ๋ณ๊ฒฝํ์ง ์์ต๋๋ค
- ์คํ๋ผ์ธ ํ์ต์ผ๋ก ๋ชจ๋ธ ์์ ์ฑ์ ์ ์งํฉ๋๋ค
์ด ๊ตฌ์กฐ ๋๋ถ์ ์ธ์ ๋ด์์ ๋น ๋ฅธ ๋ฐ์์ฑ๊ณผ ์ ํํ ์๋ ์ถ์ ์ด ๊ฐ๋ฅํฉ๋๋ค. ๋ํ ์ํธ๋กํผ ๊ธฐ๋ฐ Gate๋ฅผ ํตํด ์ฌ์ฉ์์ ํ๋ ๋ถํ์ค์ฑ์ด ๋์์๋ก z_long์ ๋น์ค์ ๋์ฌ ํ๋จ์ ์์ ์ฑ์ ํ๋ณดํฉ๋๋ค.
๋ํ RSSM์ ๋ถ์ ์ ํผ๋๋ฐฑ(๋น ๋ฅธ ์คํต, ๋ค๋ก๊ฐ๊ธฐ ๋ฑ)์ ๊ฐํ Penalty ์ ํธ๋ก ํด์ํ์ฌ ์ฆ๊ฐ์ ์ผ๋ก ์ํ๋ฅผ ์์ ํฉ๋๋ค. ์ด๋ฅผ ํตํด โ๊ณ ์ง์ค๋ฌ์ด ์ถ์ฒโ์ ๋ฐฉ์งํ๊ณ ๋น ๋ฅด๊ฒ ๋ฐฉํฅ์ ์ ํํ๋ ๋ฅ๋ ฅ์ ๊ฐ์ง๋๋ค.
Session RSSM์ Addeep์ ์ค์๊ฐ ์ถ์ฒ ํ์ง์ ์ข์ฐํ๋ ํต์ฌ ์์ง์ ๋๋ค.
ACT / Commerce Control RSSM
ACT RSSM์ ์ปค๋จธ์คยท๊ด๊ณ ยท์ฝํ ์ธ ์์ฑ์ ์ฑ๊ณผ๋ฅผ ์ธ๊ณผ์ ์ผ๋ก ์ดํดํ๊ธฐ ์ํด ์ค๊ณ๋ ๋๋ฉ์ธ ํนํ ์์ง์ ๋๋ค. ์ด ์์ง์ ์ฝํ ์ธ ์ ์ฑ๋ฅ์ ๋ค์ ๋ ์์๋ก ๋ถ๋ฆฌํด ํด์ํฉ๋๋ค.
- z_content: ์ฝํ ์ธ ์์ฒด์ ๋งค๋ ฅ
- z_match: ํน์ ์ ์ ์์ ๊ถํฉ
์ด ๋ ์์๋ฅผ ๊ตฌ๋ถํ๋ ์ด์ ๋ ๋ค์๊ณผ ๊ฐ์ต๋๋ค.
- A ์ฝํ ์ธ ๊ฐ ์ธ๊ธฐ ์๋ ์ด์ ๊ฐ ์ ์ ์ทจํฅ ๋๋ฌธ์ธ์ง
- ์๋๋ฉด ์ฝํ ์ธ ์์ฒด์ ํ๋ฆฌํฐ ๋๋ฌธ์ธ์ง
์ด ๋ ๊ฐ์ง๋ฅผ ๋ถ๋ฆฌํ์ง ์์ผ๋ฉด ๊ฐ์ธํ ๋ชจ๋ธ์ด ์๊ณก๋๊ณ , ๊ฒฐ๊ตญ ํน์ ์คํ์ผ๋ง ๋ฐ๋ณต์ ์ผ๋ก ๊ณผ๋ํ๊ฒ ๋ ธ์ถ๋๋ ๋ฌธ์ ๊ฐ ๋ฐ์ํฉ๋๋ค.
ACT RSSM์ Counterfactual ํ์ต์ ํตํด ์ด ์ธ๊ณผ์ ๋ถ๋ฆฌ๋ฅผ ๋์ฑ ๊ฐํํ๋ฉฐ, Policy Head๋ ๋ค์ ์์ฑ์ ํ์ํ Condition Pack์ ๊ฒฐ์ ํฉ๋๋ค. ์ด๋ฅผ ๊ธฐ๋ฐ์ผ๋ก ACT ์์ง์ ์ปค๋จธ์ค ์ ํ์ ์ต์ ํ๋ ์ฝํ ์ธ ๋ฅผ ์์ฑํ๊ฒ ๋ฉ๋๋ค.
RSSM๊ณผ MMR์ ํตํฉ ๊ตฌ์กฐ
RSSM์ LMM๊ณผ UMM ์ฌ์ด์์ ์๋ํ๋ฉฐ, ์๊ฐ์ ๋ฐ๋ผ ๋ณํ๋ Mindset์ ์์ ์ ์ผ๋ก ์ถ๋ก ํ๋ ์ญํ ์ ํฉ๋๋ค. ํตํฉ ๊ตฌ์กฐ๋ ๋ค์๊ณผ ๊ฐ์ด ๊ตฌ์ฑ๋ฉ๋๋ค.
- Kafka๊ฐ ๋ชจ๋ ํ๋ ๋ก๊ทธ๋ฅผ ์์งํฉ๋๋ค
- LMM์ด ํ ์คํธยท์ด๋ฏธ์งยท์์์ ์๋ฏธ๋ฅผ ํด์ํฉ๋๋ค
- Connector๊ฐ LMM์ ๊ณ ์ฐจ์ ๋ฒกํฐ๋ฅผ RSSM์ด ์ฒ๋ฆฌ ๊ฐ๋ฅํ ์ ์ฐจ์ ์ํ๋ก ์์ถํฉ๋๋ค
- Session RSSM์ด ์ค์๊ฐ ์ํ๋ฅผ ์ ๋ฐ์ดํธํฉ๋๋ค
- Long RSSM์ด ์ด๊ธฐํ Prior๋ฅผ ์ ๊ณตํฉ๋๋ค
- ACT RSSM์ด ์์ฑ ์์ฌ๊ฒฐ์ ์ ํฉ๋๋ค
- ACT ์์ง์ด Condition Pack ๊ธฐ๋ฐ์ผ๋ก ์ฝํ ์ธ ๋ฅผ ์์ฑํฉ๋๋ค
- ์์ฑ๋ฌผ์ ๋ํ ์ ์ ๋ฐ์์ ๋ค์ ๋ก๊ทธ๋ก ์์ง๋์ด RSSM ์ํ์ ๋ฐ์๋ฉ๋๋ค
์ด ์ํคํ ์ฒ๋ ์ ์ ๋ณ๋ก ์์ ํ ๋ค๋ฅธ ์ฑ ๊ฒฝํ์ ๋ง๋๋ ๋ฐ ์ต์ ํ๋์ด ์์ต๋๋ค.
RSSM ๋์ ์ ๋ฐ์ ๊ฐ๋ฅํ ๋ฌธ์ ์ ๋์ ์ ๋ต
RSSM์ ๊ฐ๋ ฅํ ๊ตฌ์กฐ์ด์ง๋ง, ์ฒ์๋ถํฐ LongยทSessionยทACT RSSM์ ๋์์ ๋์ ํ๋ฉด ๋ณต์ก์ฑ์ด ๋งค์ฐ ์ปค์ง๋๋ค. ๋ฐ๋ผ์ ์๋์ ๊ฐ์ ๋ฆฌ์คํฌ๊ฐ ์กด์ฌํฉ๋๋ค.
- ์ํ ๋ถ์ผ์น ๋ฌธ์
- ๋ชจ๋ธ ๊ฐ ๋ชฉ์ ์ถฉ๋
- ์๊ณ์ด ์ ๋ ฌ ์ค๋ฅ
- ๋ฐ์ดํฐ ์คํ์ค ๋ฌธ์
- Negative Feedback ๊ณผ๋ ๋ฐ์
- Explainability ๊ฐ์
์ด์ ๋ํ ๋์ ์ ๋ต์ผ๋ก ๋ค์์ ์ ์ฉํฉ๋๋ค.
- ์ด๊ธฐ์๋ Session RSSM ๋จ๋ ์ ์ฉ ํ ์์ ํ
- ์ดํ Long RSSM์ ์ ์ฉํ์ฌ ์ฅ๊ธฐ priors ๋ฐ์
- ๋ง์ง๋ง์ผ๋ก ACT RSSM์ ์ ์ฉํด ์ปค๋จธ์คยท๊ด๊ณ ์ธ๊ณผ ๊ด๊ณ ๋ชจ๋ธ๋ง
- UMM ๋ฏธ๊ฐฑ์ ์ Stale State Serving, Cohort Fallback, DLQ Replay๋ก ์์ ๋ณต์
- ACT ์์ฑ ํ์์์ ์ Pre-generated ์บ์ ์ ๊ณต
- Connector ๋ณ๋ชฉ ๋ฐ์ ์ Heuristic Bypass ์ฌ์ฉ
์ด๋ฅผ ํตํด ์์คํ ์ ๋ค์ํ ์ฅ์ ์ํฉ์์๋ ๋๊น ์์ด ์์ ์ ์ผ๋ก ๋์ํฉ๋๋ค.
GPUยทํด๋ผ์ฐ๋ยท์ ์ฅยท๋คํธ์ํฌ ๋น์ฉ ๋ถ์
RSSM ํตํฉ MMR ๊ตฌ์กฐ๋ ๊ธฐ์กด LMM-only ๊ตฌ์กฐ ๋๋น ๋น์ฉ์ ํฌ๊ฒ ์ ๊ฐํฉ๋๋ค.
๋ถ์ ๊ฒฐ๊ณผ๋ ์๋์ ๊ฐ์ต๋๋ค.
ํธ๋ํฝ ๊ท๋ชจ ๊ฐ์
- ์๊ฐ ํ์ฑ ์ฌ์ฉ์(MAU) : ์ฝ 10๋ง ๋ช
- ์ผ๊ฐ ํ์ฑ ์ฌ์ฉ์(DAU) : MAU์ 20% ์์ค์ธ 2๋ง ๋ช
- 1์ธ๋น ํ๋ฃจ ํ๊ท ์ํธ์์ฉ(ํด๋ฆญ/์คํฌ๋กค/๋ทฐ/์ก์ ) : ์ฝ 50ํ
- ํ๋ฃจ ์ด ์ด๋ฒคํธ ์ : 2๋ง ร 50 โ 100๋ง ์ด๋ฒคํธ/์ผ
| ํญ๋ชฉ | ๊ธฐ์กด LMM-only MMR | RSSM ํตํฉ MMR | ํจ๊ณผ |
|---|---|---|---|
| GPU ์ธํผ๋ฐ์ค ๋น์ฉ | ๋งค์ฐ ๋์ | ๋งค์ฐ ๋ฎ์ | 90% ์ ๊ฐ |
| ์ ์ฅ์ ๋น์ฉ | ๋ฎ์ | ์ค๊ฐ ์์ค | ์ผ๋ถ ์ฆ๊ฐ |
| ๋คํธ์ํฌ ๋น์ฉ | ๋์ | ์ค๊ฐ | ์บ์ฑ & ์์ถ์ผ๋ก ๊ฐ์ |
| ๋์์ ์ ์ฒ๋ฆฌ๋ | ๋ฎ์ | ๋งค์ฐ ๋์ | 5~10๋ฐฐ ์ฆ๊ฐ |
- GPU ๋น์ฉ: 7,000๋ง ์ โ 700๋ง ์ (90% ์ ๊ฐ)
- ๋คํธ์ํฌ ๋น์ฉ: 75% ์ ๊ฐ
- ๋ฐ์ดํฐ ์ ์ฅ๋น์ฉ: ์ฆ๊ฐ
- Kafka ํ์ดํ๋ผ์ธ ๋น์ฉ: ์ํญ ์ฆ๊ฐ
์ ์ฒด์ ์ผ๋ก ์ ๋น์ฉ์ 1์ต 500๋ง ์ โ 4,000๋ง ์์ผ๋ก ์ฝ 62% ์ ๊ฐ๋ฉ๋๋ค.
์ ์ ๋น Cost ๋ํ ์ฝ 2.5๋ฐฐ ๊ฐ์ ๋ฉ๋๋ค.
์ด๋ Addeep์ด ๋๊ท๋ชจ ์ฌ์ฉ์ ๊ธฐ๋ฐ์ ํ๋ณดํ๋๋ผ๋ ์์ต์ฑ์ ์ ์งํ ์ ์๊ฒ ํด์ฃผ๋ ๊ฒฐ์ ์ ์ธ ๊ตฌ์กฐ์ ๋๋ค.
๊ฒฐ๋ก
Addeep์ด RSSM์ ์ ํํ ์ด์ ๋ ๋จ์ํ ๊ธฐ์ ์ ์ ์ง์ฑ์ ์ํ ์ ํ์ด ์๋๋ผ, ์๋น์ค์ ์์ต์ฑยทํ์ฅ์ฑยท๋น์ฉ ๊ฒฝ์๋ ฅยท์ฝํ ์ธ ์์ฑ ํจ์จ ๋ชจ๋๋ฅผ ๋์์ ํด๊ฒฐํ๊ธฐ ์ํ ์ ๋ต์ ์ ํ์ ๋๋ค. LongยทSessionยทACT RSSM์ผ๋ก ๊ตฌ์ฑ๋ Mindset Engine์ ์ฌ์ฉ์ ํ๋์ ๋จ๊ธฐยท์ค๊ธฐยท์ฅ๊ธฐ ํจํด์ ๋ชจ๋ ํด์ํ๋ฉฐ, ACT ์์ฑ ์์ง๊ณผ ๊ฒฐํฉํ์ฌ ์ง๊ธ ์ด ์ ์ ์๊ฒ ๊ฐ์ฅ ์ ํฉํ ๊ฒฝํ์ ์ค์๊ฐ์ผ๋ก ์ ๊ณตํ๋ AI ์์คํ ์ ์์ฑํฉ๋๋ค.
์ด์ Addeep์ ๋จ์ ์ถ์ฒ์ ๋์ด, โ์ฌ์ฉ์์ ๋ง์์ ๊ตฌ์ฑํ๊ณ ์ดํดํ๋ฉฐ ์์ธกํ๋ AI ํ๋ซํผโ์ผ๋ก ์งํํ๊ณ ์์ต๋๋ค.


Leave a comment