# GPU 이후의 AI 컴퓨팅, 빛과 뇌세포에서 찾는 가능성과 한계 > 2026-10-02 · Y Combinator · 큐레이션 김태우 > https://challengekim.com/insights/gpu-이후의-ai-컴퓨팅-빛과-뇌세포에서-찾는-가능성과-한계 > 원문: https://www.youtube.com/watch?v=xc2FTBGRSJo ## 핵심 요약 - 발표자들은 현재 AI 모델과 GPU가 함께 발전해 온 만큼, 새로운 하드웨어에는 그 특성에 맞는 학습 방식과 모델 구조가 필요하다고 봤다. - 광학 컴퓨팅은 빛의 전파로 연산할 수 있지만, 전자식 메모리와의 변환, 장치 보정, 비선형 연산이 부담이다. - 뇌의 작동 원리를 회로에 적용하는 뉴로모픽 컴퓨팅은 여러 방향으로 연구 중이며, 발표자의 평가로는 아직 연구개발 단계다. - 배양 뇌세포로 게임을 조작한 실험은 세포의 신호를 읽는 장치가 게임을 대신 풀지 않도록 설계하는 일이 중요함을 보여준다. ## GPU와 모델은 함께 바뀌어 왔다 행사 진행자는 AI 하드웨어와 학습 방식이 서로 맞춰 발전해 왔다고 설명했다. 그의 설명에 따르면 초기에는 연산량 대비 에너지 효율이 중요했지만, 트랜스포머 모델이 부상하면서 메모리 용량과 대역폭의 비중이 커졌다. 그는 사람의 뇌가 약 20와트로 작동한다는 점을 들어, 현재와 다른 계산 방식과 학습법을 탐색할 이유가 있다고 주장했다. 그가 연구하는 대안 가운데 하나는 **SPSA**다. 모델의 값을 임의의 방향으로 조금씩 바꿔 여러 번 실행하고, 결과 차이로 업데이트 방향을 추정하는 방식이다. 역전파처럼 기울기를 직접 계산하지 않아도 되지만, 모델이 커질수록 추정 오차가 늘어 더 많은 실행이 필요하다. 그는 데이터를 나눠 작은 전문가 모델들을 각각 학습시키면 이 문제를 줄일 수 있다고 제안했다. 다만 일반적인 하드웨어에서는 여러 차례 실행하는 비용 자체가 크다. 광학 장치처럼 실행 비용이 낮은 환경이라면 다른 결과가 나올 수 있다는 것이 그의 가설이다. ## 빛으로 이미지를 생성한 실험 광학 컴퓨팅 발표자는 빛을 연산에 쓰는 방법을 소개했다. 입력을 빛에 실어 설계된 층을 통과시키면, 빛의 전파와 검출 과정에서 연산이 이뤄진다. 발표자가 제시한 방식에서는 일부 연산을 수동적인 광학 구조가 수행하므로, 매 단계 전기적으로 회로를 구동하는 방식과 다른 에너지 구조를 갖는다. 그의 연구팀은 이를 확산 모델 기반 이미지 생성에 적용했다. 확산 모델은 무작위 잡음에서 시작해 여러 단계에 걸쳐 이미지를 만드는 방식이다. 연구팀은 빛이 통과하는 층을 설계해 잡음을 제거하는 단계를 수행하게 했다. 광학 장치의 가중치를 자주 바꾸기 어렵다는 제약에 맞춰, 같은 설정의 장치를 반복 사용하는 방식으로 생성 절차를 구성했다. 발표자가 제시한 결과는 손글씨 숫자와 의류 이미지 같은 작은 데이터셋에 관한 것이다. 에너지 비교에는 중요한 조건이 붙는다. 발표자는 학습한 광학 층을 제작한 뒤 **가중치를 고정해 사용하는 경우**를 가정했다고 밝혔다. 실험용 장치에서는 설정을 바꿀 수 있는 광 변조기를 사용했고, 학습에 필요한 역전파는 보정된 디지털 모델에서 수행했다. 그는 대규모 모델에서도 에너지와 지연 시간상의 이점이 유지되는지 확인하려면 전체 시스템을 더 큰 규모로 구현해야 한다고 말했다. ## 변환·저장·비선형 연산이 남은 과제 빛으로 연산하더라도 현재의 데이터와 모델은 주로 전자식 메모리에 있다. 디지털 정보를 광학 장치에 입력하고 결과를 다시 읽는 과정에는 변환 비용이 든다. 장치를 정확하게 유지하기 위한 보정에도 에너지가 필요하다. 광학 구조는 대규모 선형 연산에 적합하지만, AI 모델에 쓰이는 비선형 활성화는 별도 장치나 과정이 필요하다. 발표자는 광학 저장 장치가 자료를 오래 보관하는 데 쓰이더라도, 연산에 필요한 값을 빠르고 저렴하게 읽고 쓰는 일은 다른 문제라고 설명했다. 그래서 연구팀은 가중치를 자주 갱신하는 범용 장치보다, 가중치를 고정하고 반복 사용할 수 있는 이미지 생성 작업을 택했다. 질의응답에서도 전자식 시스템과 주고받는 정보가 많아지면 광학 연산의 이점이 줄어들 수 있다는 점이 논의됐다. ## 뇌를 닮은 칩과 실제 뇌세포 뉴로모픽 컴퓨팅 발표자는 뇌에서 착안할 수 있는 특징으로 기억과 계산의 결합, 신호가 발생할 때 반응하는 방식, 경험에 따라 바뀌는 연결을 꼽았다. 그는 이런 특징을 회로에 옮기는 시도가 이어지고 있지만, 무엇을 얼마나 모방해야 유용한지는 아직 열린 문제라고 평가했다. 디지털 회로에서 메모리와 연산을 가까이 두는 접근도 넓은 의미에서는 여기에 포함될 수 있으나, 그것이 뇌의 작동을 그대로 재현한다는 뜻은 아니다. 마지막 발표자는 Cortical Labs와 함께 진행한 배양 뇌세포의 게임 실험을 설명했다. 연구팀은 게임 화면과 체력·탄약 같은 상태를 전기 자극으로 바꾸어 세포에 전달하고, 세포의 발화 신호를 게임 조작으로 해석했다. 발표자는 탁구 게임보다 행동의 종류가 많은 둠에서는 자극과 행동을 수작업으로 연결하기 어려워, 입력을 만드는 부분과 신호를 해석하는 부분을 함께 학습시켰다고 말했다. 이 실험에는 해석상의 함정도 있었다. 발표자에 따르면 처음에는 신호를 읽는 디코더가 너무 커서 세포 신호를 없애도 게임을 조작할 수 있었다. 연구팀은 디코더를 줄이고 편향을 제거한 뒤, 세포의 발화 신호가 실제로 정보를 전달하는지 확인했다. 또 세포에 주는 긍정·부정 피드백은 게임 결과에 따른 전기 자극을 뜻하며, 세포가 고통이나 즐거움을 느낀다는 의미가 아니라고 설명했다. 그는 이런 방식을 더 높은 수준의 지능으로 확장하고 많은 사람에게 제공할 수 있을지는 아직 모른다고 인정했다. 이 발표들이 보여준 것은 GPU를 곧 대체할 단일 기술이 아니다. 각 방식은 기존 컴퓨팅과 다른 가능성을 보였지만, 광학 장치의 입출력과 학습 비용, 뉴로모픽 회로의 적용 범위, 뇌세포 실험의 확장성처럼 검증해야 할 조건도 구체적으로 남아 있다. --- 원문을 바탕으로 AI 가 한국어로 요약·재구성한 글입니다. 인용·수치는 원문 링크에서 확인해 주세요. [원문 링크](https://www.youtube.com/watch?v=xc2FTBGRSJo)