AI인공지능

AutoAugment : 데이터 증강도 자동으로 설계하는 시대

오토소장 — Tue, 21 Apr 2026 13:49:45 +0900

# AutoAugment: 데이터 증강도 자동으로 설계하는 시대 딥러닝 모델의 성능은 데이터의 양과 다양성에 크게 좌우됩니다. AutoAugment는 사람이 직접 정하던 이미지 회전, 이동, 색상 변화 같은 데이터 증강 전략을 자동으로 탐색하는 기법입니다. 이 글에서는 AutoAugment의 개념, 작동 방식, 장단점, 실무 활용 시 주의할 점을 정리하겠습니다. ## 핵심 개념 AutoAugment는 **데이터 증강 정책을 자동으로 찾는 알고리즘**입니다. 데이터 증강은 원본 이미지를 회전하거나 밝기를 바꾸거나 일부를 잘라내는 방식으로 학습 데이터를 다양하게 만드는 방법입니다. 기존에는 연구자나 개발자가 경험적으로 “얼마나 회전할지”, “색상을 얼마나 바꿀지”를 정했습니다. 반면 AutoAugment는 여러 증강 조합을 실험해 보고, 검증 데이터에서 성능이 가장 좋은 정책을 선택합니다. Google Brain 연구진은 AutoAugment가 CIFAR-10, CIFAR-100, SVHN, ImageNet 등에서 우수한 성능을 보였다고 보고했습니다. ([arXiv][1]) ## 작동 방식 AutoAugment의 정책은 여러 개의 **서브 정책**으로 구성됩니다. 각 서브 정책은 보통 두 가지 이미지 변환 연산을 포함합니다. 예를 들어 다음과 같은 조합입니다. ```text 1단계: 이미지를 20도 회전 2단계: 색상 대비를 일정 강도로 변경 ``` 각 연산에는 두 가지 값이 붙습니다. ```text 확률: 이 변환을 적용할 가능성 강도: 변환을 얼마나 세게 적용할지 ``` AutoAugment는 이러한 조합을 탐색하면서 모델의 검증 정확도가 높아지는 방향으로 증강 정책을 찾습니다. 원 논문에서는 강화학습 기반 탐색 방식을 사용했습니다. ([CVF Open Access][2]) ## 장점 AutoAugment의 가장 큰 장점은 **사람의 시행착오를 줄여준다**는 점입니다. 데이터셋마다 적합한 증강 방식이 다를 수 있는데, AutoAugment는 이를 자동으로 찾습니다. 또한 한 데이터셋에서 찾은 정책이 다른 데이터셋에도 어느 정도 전이될 수 있다는 점이 보고되었습니다. 예를 들어 ImageNet에서 찾은 정책이 Oxford Flowers, Stanford Cars 등 다른 이미지 데이터셋에도 도움이 되었다고 설명됩니다. ([arXiv][1]) ## 한계 단점도 분명합니다. AutoAugment는 좋은 정책을 찾기 위해 많은 실험을 반복해야 하므로 **계산 비용이 큽니다**. 그래서 실무에서는 원본 AutoAugment보다 RandAugment, Fast AutoAugment, TrivialAugment 같은 더 가벼운 대안을 함께 검토하는 경우가 많습니다. ## 실전 활용 팁 처음부터 AutoAugment를 직접 탐색하기보다는, 공개된 정책이나 라이브러리의 기본값을 먼저 적용해 보는 것이 좋습니다. 예를 들어 이미지 분류 문제에서는 다음 순서가 현실적입니다. ```text 기본 증강 적용 - AutoAugment 또는 RandAugment 적용 - 검증 성능 비교 - 과도한 증강 여부 확인 ``` 증강이 너무 강하면 이미지의 의미가 바뀔 수 있습니다. 예를 들어 숫자 6을 회전해 9처럼 보이게 만들거나, 의료 이미지에서 중요한 병변 정보를 훼손하면 오히려 성능이 낮아질 수 있습니다. ## 결론 AutoAugment는 데이터 증강을 경험이 아니라 데이터 기반으로 설계한다는 점에서 의미가 큽니다. 다만 계산 비용이 높기 때문에, 실무에서는 공개 정책이나 경량화된 자동 증강 기법과 함께 사용하는 것이 효율적입니다. 핵심은 “많이 증강하는 것”이 아니라, **모델이 더 일반화될 수 있는 방향으로 적절히 증강하는 것**입니다. [1]: https://arxiv.org/abs/1805.09501?utm_source=chatgpt.com "AutoAugment: Learning Augmentation Policies from Data" [2]: https://openaccess.thecvf.com/content_CVPR_2019/papers/Cubuk_AutoAugment_Learning_Augmentation_Strategies_From_Data_CVPR_2019_paper.pdf?utm_source=chatgpt.com "AutoAugment: Learning Augmentation Strategies From Data"

Automatic Pruning

오토소장 — Tue, 07 Apr 2026 13:52:20 +0900

Automatic Pruning

살아 있는 인간 뇌세포를 이용한 DOOM 매크로 플레이

오토소장 — Fri, 20 Mar 2026 14:37:25 +0900

이제는 하다하다 뇌세포 기반 매크로도 다루게 됩니다 ㅎ

https://youtu.be/yRV8fSw6HaE?si=9HW0SytOujPK6TuR

Yolo26

오토소장 — Thu, 19 Feb 2026 18:22:03 +0900

https://youtu.be/cxU5E2SkivU?si=HKn5fZRPwk3qKxJO

Computer Vision Tasks Supported by Ultralytics YOLO26 Explore Ultralytics YOLO26 for detection, segmentation, classification, OBB, and pose estimation with high accuracy and speed. Learn how to apply each task. by Ultralytics from DOCS.ULTRALYTICS.COM

https://docs.ultralytics.com/tasks/

Ultralytics YOLO26 Ultralytics의 YOLO26은 엣지 및 저전력 디바이스에 최적화된 더 빠르고, 더 간단하며, 종단 간 NMS-free 객체 detect를 제공합니다. by Ultralytics from DOCS.ULTRALYTICS.COM

https://docs.ultralytics.com/ko/models/yolo26/

GitHub - ultralytics/ultralytics: Ultralytics YOLO 🚀 Ultralytics YOLO 🚀. Contribute to ultralytics/ultralytics development by creating an account on GitHub. from GITHUB.COM

https://github.com/ultralytics/ultralytics?tab=readme-ov-file

오픈클로 OpenClaw

오토소장 — Thu, 12 Feb 2026 09:16:25 +0900

OpenClaw — Personal AI Assistant OpenClaw — The AI that actually does things. Your personal assistant on any platform. from OPENCLAW.AI

https://openclaw.ai

NitroGen #1 - 고전게임에 AI 에이전트를 붙여봤습니다

오토소장 — Fri, 26 Dec 2025 09:10:02 +0900

안녕하세요. 오토소장입니다.

최근에 NVIDIA에서 NitroGen이라고 하는 콘솔 게임 자동 플레이를 위한 Agent 모델을 발표했습니다. 몇 일 동안 조금 실험을 해보니, 앞으로 재미있는 콘텐츠를 만들 수 있는 가능성을 확인했습니다. 공개된 모델의 성능은 공식적으로 발표한 영상과는 괴리감이 크다는 사실을 알았습니다.

위 그림은 실험 환경입니다. 아나콘다 파이썬 가상환경을 구축하여 NitroGen 서버를 구동하여 사전학습모델을 로딩합니다. 이때 CPU가 아닌 GPU로 로딩해야 정상적으로 구동이 됩니다. NitroGen Agent 클라이언트를 구동하면 VHID 기반의 가상 게임패드 장치를 생성하는데, 이 부분에서 시행착오가 많았습니다. 공개된 소스코드를 사용하면 이 부분이 생성이 잘 안됩니다. 그래서 일부 코드를 수정해서 정상적으로 동작되는것을 확인했습니다. NitroGen 모델의 경우 출력 값이 게임패드의 조이스틱과 버튼의 값으로 출력이 되는데, 도스박스 기반의 고전게임은 대부분 키보드를 이용하기 때문에 JoyToKey 도구를 이용하여 재맵핑을 시켜주었습니다. 결과적으로 모델이 입력하는 키보드 값은 NohBoard-ReWrite 도구를 이용하여 시각화하고, 게임 화면에서 주인공 캐릭터의 행동으로 반영됩니다.

이 영상은 고전게임 중 하나인 어쩐지 저녁이라는 게임에 NitroGen 모델을 순수하게(?) 적용해서 녹화한 영상입니다. 앞으로 이 모델을 어떻게 학습시켜서 성능을 끌어올릴지 조금 고민을 해봐야겠습니다^^

(2025.12.26 추가) NitroGen 깃 허브에 등록된 이슈를 확인해보니 공개된 버전에 대한 성능 이슈가 있네요.

이 모델은 ‘게임을 대신 깨주는 AI’가 아니라, 순간적인 조작을 흉내 내는 빠른 반응용 정책 모델입니다.
실시간 자동 플레이처럼 쓰는 건 의도된 사용법이 아닙니다.

출처 : https://github.com/MineDojo/NitroGen/issues/19

NVIDIA MineDojo 팀, NitroGen 게임 에이전트 봇 모델 공개

오토소장 — Sun, 21 Dec 2025 18:41:56 +0900

안녕하세요. 오토소장 김효복입니다.

최근에 NVIDIA MineDojo 팀에서 인공지능 기반의 콘솔 게임 봇 에이전트 모델을 발표하였습니다.

게임봇 구조가 어디까지 진화하고 있는지 보여주는 좋은 사례라고 생각하여 소식을 전합니다.

모델 소개 로고부터가 멋들어집니다 ㅎ

이 모델은 화면속의 가상의 게임패드를 자동으로 인식하여 입력하는 방식으로 동작됩니다.

다양한 게임 장르를 자동으로 플레이할 수 있는 것 같습니다.

에이전트(Agent)는 VisionEncoder(ViT)를 이용하여 게임 영상을 분석하고, Diffusion Model인 Action DiT를 이용하여 입력 장치인 게임 패드를 제어하는 구조입니다. 학습 데이터셋은 공개된 게임 플레이 영상(가상 게임패드 포함)을 수집하여 Video-Action 데이터셋을 생성하여 학습한 것 같네요.

학습 데이터는 웹에 공개되어 있는 게임 플레이 영상 4,000시간 분량의 데이터와 다양한 장르의 게임 플레이 정보를 이용했다고 합니다.

데이터셋과 모델이 공개되어 있어 누구나 사용해 볼 수 있는 것 같습니다.

관심있으신 분들은 한번 사용해보시고 후기 부탁드립니다^^

저도 조만간 고전게임쪽에 한번 적용을 해보고 연구실에 후기를 공유해보도록 하겠습니다.

레퍼런스

사이트 : https://nitrogen.minedojo.org/

논문 : https://nitrogen.minedojo.org/assets/documents/nitrogen.pdf

데이터셋 : https://huggingface.co/datasets/nvidia/NitroGen

학습모델 : https://huggingface.co/nvidia/NitroGen

소스코드 : https://github.com/MineDojo/NitroGen

소형 언어 모델(SLM)이 에이전트형 AI의 미래다

오토소장 — Sun, 14 Sep 2025 21:08:59 +0900

앞으로 스스로 동작하는 AI의 핵심은 거대한 모델이 아니라 가볍고 효율적인 언어 모델이 될 것입니다.

Small Language Models are the Future of Agentic AI

Small Language Models are the Future of Agentic AI Abstract page for arXiv paper 2506.02153: Small Language Models are the Future of Agentic AI from ARXIV.ORG

https://arxiv.org/abs/2506.02153

FlowDet

오토소장 — Sat, 13 Sep 2025 09:08:25 +0900

https://zhuanlan.zhihu.com/p/1944406644298609238

https://arxiv.org/pdf/2508.19565

RT-DETRv3

오토소장 — Sat, 13 Sep 2025 08:48:55 +0900

https://arxiv.org/pdf/2409.08475

RT-DETR: Vision Transformer 기반 실시간 객체 감지기

오토소장 — Sat, 13 Sep 2025 08:34:13 +0900

https://arxiv.org/pdf/2304.08069

https://docs.ultralytics.com/ko/models/rtdetr/

YOLO12: Attention-Centric Object Detection

오토소장 — Sat, 13 Sep 2025 08:30:51 +0900

https://github.com/sunsmarterjie/yolov12?tab=readme-ov-file

https://docs.ultralytics.com/ko/models/yolo12/

YOLO3D

오토소장 — Sun, 17 Aug 2025 07:02:49 +0900

YOLO3D는 기존 2D 객체 탐지에 특화된 YOLO 계열 모델을 3차원 공간에서 물체의 위치(x, y, z), 크기(width, height, length), 회전 각도까지 추정할 수 있는 기술입니다. 3D 기반 게임 화면 인식 및 자동화 연구와도 연결될 수 있는 흥미로운 기술입니다.

MCP 아키텍처, AI 기반 자동화 방식을 완전히 바꾸다

오토소장 — Tue, 29 Apr 2025 09:12:30 +0900

AI 모델이 외부 데이터나 도구를 활용하려 할 때마다 복잡한 커스텀 통합이 필요했던 과거 방식은 이제 변화를 맞이하고 있습니다. Anthropic이 제안한 Model Context Protocol(MCP)은 LLM과 외부 시스템 간 통신을 표준화하여, 효율적이고 안전한 연결을 가능하게 합니다.

이번 글에서는 MCP 아키텍처의 구성 요소인 호스트, 클라이언트, 서버를 중심으로 통신 흐름을 설명하고, 표준화된 프로토콜과 보안 관리, 다양한 언어 지원 등 MCP의 주요 장점을 구체적으로 소개합니다. Claude Desktop, Cursor IDE 등 실제 적용 사례도 함께 다루어 MCP의 실질적인 활용 가능성을 보여줍니다.

AI 시스템 통합과 확장성 강화를 고민 중이라면, MCP를 이해하는 것이 필수입니다.

자세한 내용을 여기에서 읽어보기 .

Faster R-CNN을 이용한 발로란트 AI 봇

오토소장 — Mon, 27 Jan 2025 07:52:46 +0900

https://www.riveducha.com/valorant-ai-pytorch-opencv-logitech

YOLO기반 게임 객체 탐지

오토소장 — Sat, 25 Jan 2025 15:12:34 +0900

Yolo v4, v3 and v2 레퍼런스

오토소장 — Mon, 01 Aug 2022 13:27:27 +0900

https://github.com/AlexeyAB/darknet

[딥러닝] 도구 상자 - 조건 - 욜로 매치 (Tool box, Condition, Yolo Match)

소심비형 — Sun, 09 Aug 2020 19:59:07 +0900

안녕하세요. 엔지엠소프트웨어입니다. 머신러닝(Machine Learning)의 3번째 기능인 욜로 매치 액션이 추가되었습니다. 엔지엠에서 기본으로 제공하는 머신러닝이 2가지 있지만, 사용성과 접근성이 좋지 못한 단점이 있습니다. 욜로 매치는 다크넷의 욜로 모델을 사용합니다. 매뉴얼 > 학습 > 딥러닝을 통해 욜로를 학습(훈련)시키기 위한 시스템을 구축할 수 있습니다. 이 예제를 따라하기 위해 다크넷에서 훈련 파일(yolov3.weights)을 다운로드 받습니다.

https://pjreddie.com/darknet/yolo/

YOLO는 다크넷에서 배포하는 딥러닝(신경망 이미지 분석) 모델입니다. 기존에 구글에서 공개한 인셉션을 리얼타임에 적용하기 위해 개선된 모델로 속도에서 범접할 수 없을정도로 빨라졌습니다. 기존에 인셉션 모델을 이용해서 머신러닝 및 딥러닝을 할 수 있었지만, 빠르게 변화하는 이미지(캡 또는 동영상등등...)를 처리하는데 한계가 있었습니다. YOLO를 이용하면 비전 분석 및 딥러닝을 실시간으로 분석하여 디텍팅할 수 있으므로 효율면에서 텐서플로우의 인셉션보다 욜로를 이용하는게 현실적으로 더 맞다고 생각합니다^^

이 글에 첨부되어 있는 cfg파일과 names파일도 다운로드 받습니다. 에디터를 실행한 후 For 반복과 욜로 매치 액션을 추가하세요. 아래 그림을 참고해서 For 반복 하위로 욜로 매치를 추가해야 합니다.

For 반복의 속성을 아래와 같이 설정하세요.

반복: 100

동작 확인을 위해 감지 또는 검출된 이미지를 저장하도록 합니다. 욜로 매치의 "대상 이미지 저장 확장" 카테고리를 아래와 같이 설정하세요.

감지 영역 색: Orange
감지 영역 표시: True
대상 이미지 저장: True
저장 위치: 바탕화면/Result (바탕화면에 미리 Result 폴더를 만든 후 선택하세요.)

욜로 모델 및 GPU 옵션을 선택합니다.

욜로 모델
- GPU 사용: True
- GPU 수: 1 (사용자마다 다를 수 있습니다.)
- 모델 선택: 다크넷 홈페이지에서 다운로드 받은 weights 파일 선택
- 욜로 라벨: 이 글에 첨부되어 있는 coco.names 파일 선택
- 욜로 콘피크: 이 글에 첨부되어 있는 volov3.cfg 파일 선택
찾기 영역
- 동영상 화면을 드래그하여 선택

실행(Ctrl+Alt+F8)하면 바탕화면의 Result폴더에 이미지가 100장 만들어집니다. 아래는 몇장을 추출한 이미지입니다.

속성 정보

기본 작업

사용 여부: 이 액션의 사용 여부를 설정합니다. False로 설정하면 이 액션은 실행되지 않습니다.
설명: 이 액션의 부가적인 설명을 입력합니다.
실행 전 지연: 이 액션이 실행되기 전 지연 시간을 입력합니다.
실행 후 지연: 이 액션이 실행된 후 지연 시간을 입력합니다.
실행율: 이 값이 100이면 무조건 실행됩니다. 50으로 설정하면 50프로 확률로 실행되거나 안될수도 있습니다.
아이디: 스크립트 내에서 유니크한 아이디를 입력합니다.

대상 이미지 저장 확장

감지 영역 색: 감지 영역에 테두리와 이름을 설정한 색으로 표시합니다.
감지 영역 표시: 감지 영역의 표시 여부입니다. (감지 영역 색으로 표시합니다.)
대상 이미지 저장: 찾을 대상 이미지 저장 여부입니다.
덮어쓰기: 기본 값은 False입니다. 이 값을 True로 변경하면 같은 이름으로 덮어쓰기됩니다.
이미지 저장 조건: 원본과 대상이미지를 저장할 수 있는 옵션입니다.
이미지 저장 지연: 이미지를 저장하는 행위는 스레드에 안전하지 않습니다. 작업이 완료될때까지 충분한 시간이 필요합니다.
저장 위치: 이미지를 저장할 폴더와 이미지 이름입니다.

데이터

마우스 좌표 목록: 감지된 모든 오브젝트의 마우스 좌표 목록을 표시합니다.
매인 윈도우 정보: 비활성 모드에서 동적으로 좌표를 계산하기 위해 매인 윈도우의 정보가 필요합니다.
매치 스코어: 감지된 모든 오브젝트의 스코어를 표시합니다.
분류 이름: 감지된 모든 오브젝트의 이름을 표시합니다.
이미지 정보 목록: 감지된 오브젝트의 정보를 표시합니다. (X, Y, Width, Height)
이미지 텍스트 결과: 오브젝트 감지가 성공하면 표시할 텍스트입니다.
컨트롤 윈도우 정보: 비활성 모드에서 동적으로 좌표를 계산하기 위해 컨트롤 윈도우의 정보가 필요합니다.

마우스 동작

다운 업 랜덤 지연 최대값: 마우스 다운 업의 랜덤 지연 값입니다. 이 값은 최소값보다 커야 합니다.
다운 업 랜덤 지연 최소값: 마우스 다운 업의 랜덤 지연 값입니다.
다운 업 지연: 마우스의 다운과 업 사이에 지연시킬 값입니다.
랜덤 맥시멈: 마우스 좌표를 랜덤하게 처리하기 위한 최대값입니다.
랜덤 미니멈: 마우스 좌표를 랜덤하게 처리하기 위한 최소값입니다.
랜덤 적용 옵션: X, Y하나만 랜덤값을 적용합니다. 모두 랜덤하게 하려면 XY를 선택하세요.
마우스 동작: 마우스 동작을 선택합니다.
마우스 액션 인덱스: 멀티 마우스 액션에서 인덱스를 선택하면 이 값으로 감지된 오브젝트 목록에서 선택한 인덱스에 마우스 액션이 실행됩니다.
마우스 위치: 찾은 이미지의 범위 내에서 마우스 위치를 선택할 수 있습니다.
마우스 절대 좌표: 이 값을 설정하면 이미지를 찾은 위치가 아닌 이 값으로 마우스가 동작합니다.
멀티 마우스 액션: 이미지에서 여러개의 오브젝트가 감지 되었을 때 마우스 액션 적용 범위를 선택합니다.
모서리 위치: 찾은 이미지의 영역을 9분할하여 모서리쪽에 클릭합니다.
비활성 모드 방식: 비활성 모드에서 액션을 처리하는 방식을 선택할 수 있습니다.
최종 좌표 사용: 최종 좌표 사용을 True로 변경하면 랜덤, 오프셋이 적용된 좌표값으로 표시됩니다. False는 원본 좌표값을 표시하지만 랜덤이나 오프셋은 적용됩니다.
활성 모드 방식: 활성 모드에서 액션을 처리하는 방식을 선택할 수 있습니다.

변수

가져오기: 글로벌 또는 로컬 변수에 저장되어 있는 값을 이 액션의 속성 값으로 가져옵니다.
추가하기: 이 액션의 속성 값을 글로벌 또는 로컬 변수에 저장합니다.

욜로 모델

GPU 사용: GPU 사용 여부를 설정합니다.
GPU 수: 오브젝트 검출에 사용할 GPU의 수를 입력하세요.
갱신: 욜로 랩퍼(Wrapper)를 갱신합니다. 이 값을 True로 설정하면 새로운 욜로 랩퍼를 만들지만 속도가 저하됩니다.
모델 선택: 이미지에서 오브젝트를 검출하기 위해 학습된 모델을 선택합니다.
욜로 라벨: 욜로에서 감지 또는 검출할 오브젝트의 이름 목록 파일을 선택합니다.
욜로 콘피그: 욜로 콘피그 파일을 선택합니다.

이미지 편집

흑백 사용: 이미지를 흑백으로 변환 후 오브젝트 감지에 사용합니다.

작업

비교 간격: 이미지를 다시 비교하기까지 시간을 나타냅니다.
비교 횟수: 이미지를 다시 비교하는 횟수를 설정할 수 있습니다.
이미지 순서: 찾은 모든 이미지의 순서를 설정합니다. 순서는 콤마로 구분하여 입력하세요.
이미지 텍스트: 조건이 같음(True)일 때 표현한 텍스트입니다.
찾기 영역: 이미지를 찾는 영역이 너무 크면, 성능이 저하될 수 있습니다. 가능하면 이미지를 찾는 영역을 작게 설정하세요.
최상위 하나: 찾은 오브젝트들 중에서 가장 높은 점수(Score)를 받은 하나만 처리합니다.
최소 유사율: 이미지 검출에 사용하는 최소 유사율입니다.

조건 설정

같음: 이미지 체크에서 동일한 이미지로 판단된 경우 이동할 액션의 아이디를 설정합니다.
다름: 이미지 체크에서 다른 이미지로 판단된 경우 이동할 액션의 아이디를 설정합니다.