OIKBAS
← Back to Blog
by MinHanr

260327 수렴 분석: 관심사 전체 지형도와 교차점

Trends
convergence_analysisAI_R&D_Paper

260327 수렴 분석: 관심사 전체 지형도와 교차점

전체 지식 베이스(기술 노트 62건, 프로젝트 11개, 관심 영역 5개)를 스캔하여 관심사 간 교차점, 기술 수렴 패턴, 지식 공백, 다음 행동을 도출한 분석 노트.

1. 관심사 지형도

                        ┌─────────────────────────────────┐
                        │     하이엔드 콘텐츠 영상 제작     │
                        │       (핵심 R&D 도메인)           │
                        └────────┬────────────────────────┘
                                 │
         ┌───────────┬───────────┼───────────┬────────────┐
         ▼           ▼           ▼           ▼            ▼
    ┌─────────┐ ┌─────────┐ ┌────────┐ ┌─────────┐ ┌──────────┐
    │our video generation project  │ │our rendering research project│ │Color   │ │our 3D automation project  │ │Audio     │
    │영상 생성│ │VFX 렌더링│ │Depth   │ │3D 자동화│ │TaylorDub │
    │         │ │         │ │Expansion│ │         │ │+ Foley   │
    └────┬────┘ └────┬────┘ └───┬────┘ └────┬────┘ └────┬─────┘
         │           │          │            │           │
         └─────┬─────┴────┬─────┴────┬───────┘           │
               ▼          ▼          ▼                    ▼
          ┌─────────┐ ┌────────┐ ┌────────┐        ┌──────────┐
          │Diffusion│ │Agent   │ │Spectral│        │Multimodal│
          │Models   │ │Arch.   │ │Decomp. │        │Sync      │
          │(공통 백본)│ │(공통 패턴)│ │(공유 기법)│        │(Audio+Visual)│
          └─────────┘ └────────┘ └────────┘        └──────────┘
               │           │          │
         ┌─────┴───────────┴──────────┴──────┐
         ▼                                    ▼
    ┌──────────────┐              ┌────────────────────┐
    │government grant/AX 지원사업│              │personal knowledge system 자동화 시스템 │
    │(R&D 자금 조달) │              │(지식 축적 + 퍼블리싱)│
    └──────────────┘              └────────────────────┘
         │                                    │
         └──────────────┬─────────────────────┘
                        ▼
              ┌───────────────────┐
              │  퍼스널 브랜딩     │
              │  (블로그, 채널)    │
              │  + 커리어 성장     │
              │  (Codeit, 방통대)  │
              └─────────┬─────────┘
                        ▼
              ┌───────────────────┐
              │  재무 안정화       │
              │  (부채 상환 4월)   │
              │  + automation system (아이디어)│
              └───────────────────┘

2. 기술 수렴 패턴 5가지

볼트에 축적된 논문·트렌드를 관통하는 기술적 공통 패턴.

패턴 ①: Diffusion이 범용 백본

our video generation project(HiAR, Motion-Adaptive), our rendering research project(ArtiFixer, Omni-Effects, PromptVFX), Color Depth(Iris), our 3D automation project(SAGE)까지 4개 프로젝트 모두 Diffusion 기반 방법론이 SOTA를 차지.

프로젝트적용 논문Diffusion 적용 방식
our video generation projectHiARHierarchical autoregressive denoising (장시간 영상)
our rendering research projectArtiFixerAutoregressive diffusion으로 3DGS 아티팩트 제거
Color DepthIrisSpectral-Gated Distillation (결정적 깊이 추정)
our 3D automation projectSAGEDiffusion 기반 3D 오브젝트 생성 + critic 루프

시사점: Diffusion 모델의 내부 구조(attention, noise schedule, conditioning)에 대한 깊은 이해가 4개 프로젝트 공통의 핵심 역량. 하나를 깊이 파면 나머지 3개에 전이된다.

패턴 ②: Generator-Critic 자기정제 루프

SAGE(물리 안정성 99.9%), World Craft(Multi-agent Guild), ArtiFixer(생성→정제 반복)에서 공통으로 등장.

시사점: our video generation project에 아직 이 패턴이 없다. 영상 생성 후 자동 품질 평가(CLIP-Similarity, FVD)를 수행하는 Critic 모듈을 추가하면 government grant 정량 평가 지표와 직접 연결된다.

패턴 ③: 에디터 네이티브 AI 통합

  • ByteDance Seedance 2.0 → CapCut 내부에 생성 AI 탑재
  • Adobe Firefly → Premiere Pro 내 30+ 모델 라우팅
  • NVIDIA DLSS 5 → 게임 엔진 내 뉴럴 렌더링

시사점: our video generation project의 ReactFlow 노드 플랫폼, AX 지원사업의 "노드 기반 VFX 통합 플랫폼"이 정확히 이 트렌드. 단, 경쟁이 치열(Adobe, ByteDance)하므로 VFX 도메인 특화(AOV 기반 컨트롤, 캐릭터 교체)가 차별화 핵심.

패턴 ④: LLM → 코드 생성으로 3D 제어

  • LL3M: LLM이 Blender Python 코드 작성 (plan→retrieve→write→debug→refine)
  • World Craft: Multi-agent가 장면 Scaffold 생성
  • SAGE: 텍스트→3D 씬 자동 배치

시사점: our 3D automation project에 Houdini Python/VEX RAG를 구축하면 LL3M 패턴을 직접 전이 가능. Houdini의 프로시저럴 특성상 Blender보다 코드 생성 친화적.

패턴 ⑤: Spectral 분해와 다층 표현

  • Iris: Spectral-Gated Distillation (저주파 구조 + 고주파 디테일 분리)
  • our rendering research project: AOV 10-20종으로 렌더링 요소 분해 (Albedo, SSS, Normal 등)
  • NVIDIA DLSS 5: 재질별(피부, 머리카락, 금속) 뉴럴 라이팅 분리

시사점: "하나의 이미지를 다층으로 분해 → 각 층을 독립 제어"가 VFX 파이프라인의 핵심 패러다임. our rendering research project의 AOV 추출과 Color Depth의 스펙트럼 분해를 통합하면 depth+material+lighting을 하나의 파이프라인에서 처리하는 아키텍처가 가능.

3. 프로젝트 간 교차 시너지 맵

our video generation project ──── 영상 생성 ───────────────────── our rendering research project
  │         HiAR 시간 일관성                   │ AOV 기반 VFX
  │         Motion-Adaptive 경량화              │ ArtiFixer 3DGS
  │                                            │ DLSS 5 뉴럴 렌더링
  │    ┌──── Critic 루프 패턴 공유 ────┐       │
  │    │     (SAGE → our video generation project 전이)      │       │
  │    ▼                                │       │
  │  government grant 정량 평가 ◄────────────────────┘       │
  │  (CLIP-Sim, G-Eval)                        │
  │                                            │
  ├──── Spectral 분해 공유 ────────── Color Depth
  │     Iris 저주파/고주파              │ Iris CVPR 2026
  │     our rendering research project AOV 다층             │ PureCLIP zero-shot
  │                                     │ AnyDepth 경량화
  │                                            │
  └──── 코드 생성 패턴 ────────────── our 3D automation project
        LL3M Blender RAG                  │ SAGE 10K 씬
        World Craft Scaffold              │ LL3M → Houdini 전이
                                          │ Autodesk Wonder 3D
                                          │
TaylorDub ──── 멀티모달 싱크 ──── Foley (비활성)
  │ Qwen3-Omni, PersonaPlex           ThinkSound
  │ lip-sync + dubbing
  │
  └──── 4DPlex (CJ 협업)
        500-shot, KACON 2026 부스

가장 강한 교차점 3개:

  1. our video generation project × government grant × Critic 패턴: SAGE의 Generator-Critic 구조를 our video generation project 평가 파이프라인으로 전이하면, government grant 정량 지표(CLIP-Similarity, G-Eval)를 자동 측정하는 품질 게이트를 구축할 수 있음.

  2. our rendering research project × Color Depth × Spectral 분해: Iris의 Spectral-Gated 접근법을 our rendering research project의 AOV 추출 파이프라인에 결합하면, depth를 포함한 다층 렌더링 분해를 단일 모델로 처리 가능. 현재 our rendering research project는 57fps → 120fps 목표인데, Iris의 결정적(non-probabilistic) 추론 방식이 속도 개선에 유리.

  3. our 3D automation project × LL3M × Houdini: LL3M의 plan→retrieve→write→debug→refine 파이프라인을 Houdini Python/VEX에 적용. BlenderRAG → HoudiniRAG로 전환. Houdini의 프로시저럴 노드 그래프는 코드 생성 기반 제어에 최적화된 구조.

4. 지식 공백 (수집 미달 영역)

영역현황필요한 수집
Lip-sync / Dubbing AITaylorDub 활성 프로젝트지만 최신 논문 수집 없음Speech-to-Speech, lip-sync 정량 벤치마크 (LRS3, HDTF)
Retargeting / Motion Transfer프로젝트 활성이나 관련 논문 0건Motion retargeting, pose transfer 최신 논문
Audio-Visual SyncFoley 비활성, ThinkSound 참조만 존재Video-to-Audio 생성, foley synthesis 벤치마크
our rendering research project × Depth 통합각각 논문은 있으나 교차 분석 없음Depth-conditioned rendering, AOV+depth joint estimation
온체인/트레이딩 AIautomation system 아이디어 단계, 기술 논문 미수집LLM 트레이딩 전략 실증 연구, 백테스트 벤치마크

5. R&D 프로젝트별 현재 위치와 다음 돌파구

our video generation project (영상 생성) — 진척 10%, 우선순위 높음

축적된 기술 자산: HiAR(장시간 일관성 0.821), Motion-Adaptive(2.9% 파라미터로 temporal attention), ATI(궤적 기반 모션 제어), Seedance/Firefly(에디터 네이티브 패턴)

다음 돌파구: ReactFlow 프로토타입에 Multi-model 라우팅(Firefly 패턴) + Critic 자동 평가(SAGE 패턴)를 설계에 반영. government grant 정량 지표(CLIP-Sim ≥0.25)를 Critic의 threshold으로 직접 사용.

our rendering research project (VFX 렌더링) — 리서치 단계, 57fps → 120fps

축적된 기술 자산: Omni-Effects(LoRA-MoE 다중 VFX), PromptVFX(30x 속도 Gaussian VFX), ArtiFixer(PSNR +3dB), DLSS 5(재질별 뉴럴 렌더링)

다음 돌파구: 480P → 720P 업그레이드 시 ArtiFixer의 opacity mixing 전략으로 아티팩트 제거. Iris의 Spectral-Gated 방식을 AOV 분해에 적용하여 depth/normal/albedo를 unified pipeline으로 추출.

Color Depth Expansion (깊이·색 확장) — 논문 충분, 구현 미착수

축적된 기술 자산: Iris(CVPR 2026, SOTA), PureCLIP-Depth(37% 개선), AnyDepth(85% 파라미터 절감), Single Image HDR Reconstruction

다음 돌파구: Iris를 기본 depth backbone으로 채택. AnyDepth의 경량화 전략(369K 고품질 데이터)은 자체 데이터셋 구축 시 "양보다 질" 원칙의 실증 레퍼런스. HDR reconstruction과 depth estimation을 joint training하는 연구 탐색.

our 3D automation project (3D 자동화) — 리서치 단계

축적된 기술 자산: LL3M(Blender 코드 생성 + RAG), SAGE(10K 씬, 물리 안정성 99.9%), World Craft(Multi-agent scaffold), Tripo P1.0(2초 3D 에셋), Autodesk Wonder 3D

다음 돌파구: LL3M의 BlenderRAG → HoudiniRAG 전환 PoC. Houdini Python API 문서를 RAG 소스로 구축. SAGE의 Generator-Critic 루프를 프로시저럴 모델링 품질 검증에 적용.

6. 비R&D 영역 수렴 포인트

지원사업 ↔ R&D 연결

  • government grant 중간보고 (3/31 마감): our video generation project + our rendering research project + our 3D automation project의 최신 논문을 "기술 동향 분석" 섹션에 인용 가능. 특히 CLIP-Similarity, G-Eval 지표는 government grant 정량 평가와 직접 대응.
  • AX 제안서: 노드 기반 VFX 통합 플랫폼 → Adobe Firefly, Seedance 2.0의 에디터 네이티브 트렌드를 경쟁 분석/차별화 근거로 활용.
  • AIDC GPU: Xpanza(비디오 아웃페인팅)의 H100×4 요청 → our rendering research project, our video generation project 학습에도 공유 가능한 컴퓨팅 리소스.

커리어 ↔ 지식 축적 연결

  • 블로그 첫 포스트: 이 수렴 분석의 "기술 수렴 패턴 5가지"를 재가공하면 "2026년 3월 AI 영상 기술 지형도" 포스트가 됨.
  • Codeit 강사 준비: Diffusion 모델, Agent 아키텍처, MCP 등 축적된 지식이 교육 콘텐츠의 기반.

매크로 ↔ 전략 연결

  • VIX 28.69(공포 구간), 나스닥 -2.38% → AI 스타트업 밸류에이션 조정 가능성. 지원사업 의존도를 높이고 자체 투자 리스크는 낮추는 방향이 합리적. automation system는 모의 트레이딩 2주 완료 전까지 보류 유지.

7. 즉시 실행 가능한 액션 포인트

우선순위액션기한연결 프로젝트
🔴 긴급government grant 중간보고서에 R&D 논문 인용 반영3/31government grant, our video generation project, our rendering research project
🟠 높음our video generation project ReactFlow 설계에 Critic 루프 + Multi-model 라우팅 반영Q2 초our video generation project, government grant
🟠 높음daily-arxiv 스케줄에 lip-sync/dubbing 키워드 추가이번 주TaylorDub
🟡 중간LL3M → HoudiniRAG PoC 가능성 검토 (Houdini Python API 문서 규모 파악)4월 중our 3D automation project
🟡 중간Iris + our rendering research project AOV 통합 가능성 리서치 노트 작성4월 중our rendering research project, Color Depth
🟢 낮음블로그 첫 포스트: "AI 영상 기술 5대 수렴 패턴" 초고4월커리어, 퍼블리싱
🟢 낮음automation system 모의 트레이딩 환경 구축 착수4월 이후automation system

8. 메타 관찰: 시스템 자체의 수렴

이 분석을 하면서 드러난 personal knowledge system 시스템 자체의 패턴:

확산은 잘 되고 있다. 일주일(3/22~3/27)만에 기술 노트 62건이 축적됐다. 자동화된 수집 태스크가 안정적으로 가동 중이고, HuggingFace API 연동으로 수집 품질도 올라갔다.

수렴이 부족했다. 지금까지 수집된 논문들이 프로젝트별로 격리되어 있었고, 교차점 분석이 없었다. 이 노트가 첫 수렴 시도. 확산:수렴 비율이 62:1이었던 것을 앞으로 주기적으로 밸런싱해야 한다.

제안: 주간 수렴 스케줄 추가. weekly-blog-curator(금 10:00)에 이어, weekly-convergence-analysis(토/일)를 추가하여 한 주간 수집된 데이터의 교차점을 자동 분석. 확산→수렴 루프를 시스템화.

← Back to Blog