AI인공지능

Pruning에서의 Sensitivity Analysis

2026-04-28T10:25:26+09:00

# Pruning에서의 Sensitivity Analysis 딥러닝 모델을 경량화할 때 자주 활용되는 방법 중 하나가 **프루닝(Pruning)**입니다. 프루닝은 모델의 불필요한 가중치, 뉴런, 채널 등을 제거하여 연산량과 메모리 사용량을 줄이는 기법입니다. 그러나 아무 부분이나 제거하면 성능이 급격히 떨어질 수 있습니다. 이때 어떤 요소를 얼마나 제거해도 되는지 판단하는 과정이 바로 **Sensitivity Analysis**, 즉 민감도 분석입니다. ## 핵심 개념 Pruning에서의 Sensitivity Analysis는 모델 내부의 각 레이어나 파라미터가 성능에 얼마나 민감한지를 분석하는 과정입니다. 쉽게 말해, 특정 레이어를 많이 제거했을 때 정확도가 크게 떨어진다면 해당 레이어는 **민감도가 높다**고 볼 수 있습니다. 반대로 일정 비율을 제거해도 성능 변화가 거의 없다면 해당 레이어는 **민감도가 낮다**고 판단할 수 있습니다. 예를 들어 이미지 분류 모델에서 첫 번째 합성곱 레이어를 50% 제거했을 때 정확도가 크게 하락하지만, 중간 레이어 일부를 50% 제거해도 정확도 변화가 작다면, 첫 번째 레이어는 더 조심스럽게 pruning해야 합니다. ## 왜 필요한가 Pruning의 목적은 단순히 모델을 작게 만드는 것이 아닙니다. 핵심은 **성능 손실을 최소화하면서 불필요한 연산을 줄이는 것**입니다. 모든 레이어에 동일한 pruning 비율을 적용하면 간단하다는 장점은 있지만, 실제 모델 구조에서는 각 레이어의 중요도가 다릅니다. 어떤 레이어는 정보 추출에 매우 중요하고, 어떤 레이어는 상대적으로 중복된 표현을 많이 포함할 수 있습니다. 따라서 Sensitivity Analysis를 수행하면 어떤 레이어를 많이 줄여도 되는지, 어떤 레이어는 보존해야 하는지, 전체 모델의 pruning 전략을 어떻게 설계해야 하는지를 판단할 수 있습니다. ## 분석 방법 가장 일반적인 방법은 레이어별로 pruning 비율을 바꿔가며 성능 변화를 측정하는 방식입니다. 먼저 기준 모델의 성능을 측정합니다. 이후 하나의 레이어만 선택하여 pruning을 적용하고, pruning 비율을 10%, 20%, 30%, 50%, 70%처럼 단계적으로 높여 봅니다. 각 단계에서 검증 데이터셋의 정확도, 손실값, 추론 속도 등을 측정한 뒤 성능 하락폭을 기록합니다. 이 과정을 모든 주요 레이어에 반복하면 레이어별 민감도 곡선을 만들 수 있습니다. 곡선이 급격히 하락하는 레이어는 pruning에 취약하며, 완만하게 하락하는 레이어는 상대적으로 pruning 여지가 크다고 볼 수 있습니다. ## 판단 기준 Sensitivity Analysis에서 중요한 것은 단순한 정확도 수치만이 아닙니다. 모델을 어디에 배포할 것인지에 따라 판단 기준이 달라질 수 있습니다. 모바일 환경에서는 연산량, 즉 FLOPs 감소가 중요할 수 있습니다. FLOPs는 Floating Point Operations의 약자로, 모델이 추론 과정에서 수행하는 부동소수점 연산량을 의미합니다. 서버 환경에서는 처리량과 지연 시간이 더 중요할 수 있으며, 임베디드 장치에서는 메모리 사용량이 핵심 기준이 될 수 있습니다. 따라서 정확도 하락폭, 연산량 감소, 실제 추론 시간, 모델 저장 용량, 실행 중 메모리 사용량을 함께 고려하는 것이 바람직합니다. 특히 구조적 pruning, 예를 들어 채널 pruning이나 필터 pruning에서는 FLOPs 감소가 실제 속도 향상으로 이어질 가능성이 큽니다. 반면 비구조적 pruning은 가중치 일부만 0으로 만들기 때문에, 별도의 하드웨어나 라이브러리 지원이 없다면 실제 속도 개선이 제한적일 수 있습니다. ## 실전 활용 팁 Sensitivity Analysis를 수행할 때는 한 번에 여러 레이어를 동시에 pruning하기보다, 먼저 레이어별 민감도를 독립적으로 확인하는 것이 좋습니다. 그래야 어떤 레이어가 성능 저하의 주요 원인인지 명확하게 파악할 수 있습니다. 또한 낮은 pruning 비율부터 시작하는 것이 안전합니다. 처음부터 높은 비율을 적용하면 모델이 심하게 손상되어 각 레이어의 실제 민감도를 비교하기 어려워질 수 있습니다. 실무에서는 민감도가 높은 레이어는 pruning 비율을 낮게 설정하고, 민감도가 낮은 레이어는 pruning 비율을 높게 설정합니다. 일반적으로 초기층과 출력층은 보수적으로 pruning하고, 중복 표현이 많은 중간층은 상대적으로 적극적으로 pruning하는 방식이 많이 사용됩니다. 예를 들어 전체 목표가 모델 크기 50% 감소라면, 모든 레이어를 동일하게 50% 줄이는 대신 민감도가 낮은 레이어는 60~70%, 민감도가 높은 레이어는 10~20%만 줄이는 방식이 더 효과적일 수 있습니다. ## 주의할 점 Sensitivity Analysis 결과는 데이터셋과 모델 구조에 따라 달라질 수 있습니다. 같은 ResNet 계열 모델이라도 학습 데이터, 태스크, 손실 함수, 정규화 방식에 따라 민감한 레이어가 달라질 수 있습니다. 또한 검증 데이터셋이 실제 서비스 환경을 충분히 대표해야 합니다. 검증 데이터가 실제 입력 데이터와 다르면, 분석 결과를 바탕으로 pruning한 모델이 실제 환경에서 예상보다 낮은 성능을 보일 수 있습니다. 마지막으로 pruning 후에는 반드시 fine-tuning을 고려해야 합니다. Fine-tuning은 이미 학습된 모델을 추가로 조금 더 학습시켜 성능을 회복하는 과정입니다. 민감도 분석이 “어디를 줄일 수 있는가”를 판단하는 단계라면, fine-tuning은 “줄인 뒤 성능을 어떻게 회복할 것인가”에 해당합니다. ## 결론 Pruning에서의 Sensitivity Analysis는 모델 경량화의 방향을 정하는 핵심 단계입니다. 각 레이어가 성능에 미치는 영향을 분석함으로써, 무작정 모델을 줄이는 것이 아니라 성능 손실을 최소화하는 전략적 pruning이 가능해집니다. 정리하면, 민감도가 높은 레이어는 보수적으로 줄이고, 민감도가 낮은 레이어는 적극적으로 줄이는 것이 기본 원칙입니다. 이를 통해 모델 크기, 연산량, 추론 속도 사이의 균형을 효과적으로 맞출 수 있습니다.

AutoAugment : 데이터 증강도 자동으로 설계하는 시대

2026-04-21T13:49:45+09:00

# AutoAugment: 데이터 증강도 자동으로 설계하는 시대 딥러닝 모델의 성능은 데이터의 양과 다양성에 크게 좌우됩니다. AutoAugment는 사람이 직접 정하던 이미지 회전, 이동, 색상 변화 같은 데이터 증강 전략을 자동으로 탐색하는 기법입니다. 이 글에서는 AutoAugment의 개념, 작동 방식, 장단점, 실무 활용 시 주의할 점을 정리하겠습니다. ## 핵심 개념 AutoAugment는 **데이터 증강 정책을 자동으로 찾는 알고리즘**입니다. 데이터 증강은 원본 이미지를 회전하거나 밝기를 바꾸거나 일부를 잘라내는 방식으로 학습 데이터를 다양하게 만드는 방법입니다. 기존에는 연구자나 개발자가 경험적으로 “얼마나 회전할지”, “색상을 얼마나 바꿀지”를 정했습니다. 반면 AutoAugment는 여러 증강 조합을 실험해 보고, 검증 데이터에서 성능이 가장 좋은 정책을 선택합니다. Google Brain 연구진은 AutoAugment가 CIFAR-10, CIFAR-100, SVHN, ImageNet 등에서 우수한 성능을 보였다고 보고했습니다. ([arXiv][1]) ## 작동 방식 AutoAugment의 정책은 여러 개의 **서브 정책**으로 구성됩니다. 각 서브 정책은 보통 두 가지 이미지 변환 연산을 포함합니다. 예를 들어 다음과 같은 조합입니다. ```text 1단계: 이미지를 20도 회전 2단계: 색상 대비를 일정 강도로 변경 ``` 각 연산에는 두 가지 값이 붙습니다. ```text 확률: 이 변환을 적용할 가능성 강도: 변환을 얼마나 세게 적용할지 ``` AutoAugment는 이러한 조합을 탐색하면서 모델의 검증 정확도가 높아지는 방향으로 증강 정책을 찾습니다. 원 논문에서는 강화학습 기반 탐색 방식을 사용했습니다. ([CVF Open Access][2]) ## 장점 AutoAugment의 가장 큰 장점은 **사람의 시행착오를 줄여준다**는 점입니다. 데이터셋마다 적합한 증강 방식이 다를 수 있는데, AutoAugment는 이를 자동으로 찾습니다. 또한 한 데이터셋에서 찾은 정책이 다른 데이터셋에도 어느 정도 전이될 수 있다는 점이 보고되었습니다. 예를 들어 ImageNet에서 찾은 정책이 Oxford Flowers, Stanford Cars 등 다른 이미지 데이터셋에도 도움이 되었다고 설명됩니다. ([arXiv][1]) ## 한계 단점도 분명합니다. AutoAugment는 좋은 정책을 찾기 위해 많은 실험을 반복해야 하므로 **계산 비용이 큽니다**. 그래서 실무에서는 원본 AutoAugment보다 RandAugment, Fast AutoAugment, TrivialAugment 같은 더 가벼운 대안을 함께 검토하는 경우가 많습니다. ## 실전 활용 팁 처음부터 AutoAugment를 직접 탐색하기보다는, 공개된 정책이나 라이브러리의 기본값을 먼저 적용해 보는 것이 좋습니다. 예를 들어 이미지 분류 문제에서는 다음 순서가 현실적입니다. ```text 기본 증강 적용 - AutoAugment 또는 RandAugment 적용 - 검증 성능 비교 - 과도한 증강 여부 확인 ``` 증강이 너무 강하면 이미지의 의미가 바뀔 수 있습니다. 예를 들어 숫자 6을 회전해 9처럼 보이게 만들거나, 의료 이미지에서 중요한 병변 정보를 훼손하면 오히려 성능이 낮아질 수 있습니다. ## 결론 AutoAugment는 데이터 증강을 경험이 아니라 데이터 기반으로 설계한다는 점에서 의미가 큽니다. 다만 계산 비용이 높기 때문에, 실무에서는 공개 정책이나 경량화된 자동 증강 기법과 함께 사용하는 것이 효율적입니다. 핵심은 “많이 증강하는 것”이 아니라, **모델이 더 일반화될 수 있는 방향으로 적절히 증강하는 것**입니다. [1]: https://arxiv.org/abs/1805.09501?utm_source=chatgpt.com "AutoAugment: Learning Augmentation Policies from Data" [2]: https://openaccess.thecvf.com/content_CVPR_2019/papers/Cubuk_AutoAugment_Learning_Augmentation_Strategies_From_Data_CVPR_2019_paper.pdf?utm_source=chatgpt.com "AutoAugment: Learning Augmentation Strategies From Data"

Automatic Pruning: AI를 더 가볍고 빠르게 만드는 자동 가지치기 기술

2026-04-07T13:52:20+09:00

# Automatic Pruning: AI를 더 가볍고 빠르게 만드는 자동 가지치기 기술 Automatic Pruning은 인공지능 모델이나 시스템에서 중요도가 낮은 요소를 자동으로 제거해 성능 효율을 높이는 기술을 말합니다. 특히 딥러닝 모델, 대형 언어 모델, 검색·문맥 처리 시스템에서 모델 크기와 계산 비용을 줄이는 핵심 최적화 방법으로 활용됩니다. 이 글에서는 Automatic Pruning의 개념, 작동 방식, 장점과 주의점, 실제 활용 방향을 쉽게 정리해 보겠습니다. ## 핵심 개념 Automatic Pruning을 우리말로 풀어 쓰면 “자동 가지치기”입니다. 나무의 불필요한 가지를 잘라내면 전체 모양이 정리되고 영양분이 중요한 부분에 집중되듯이, AI에서도 중요도가 낮은 가중치, 뉴런, 채널, 레이어, 또는 문맥 정보를 제거해 더 작고 빠른 시스템을 만드는 방식입니다. 딥러닝에서 pruning은 기존 신경망에서 덜 중요한 파라미터를 제거하여 모델 크기와 계산량을 줄이는 기술로 설명됩니다. 목표는 단순히 많이 삭제하는 것이 아니라, 정확도 손실을 가능한 한 줄이면서 추론 속도와 메모리 효율을 높이는 데 있습니다. ([Datature][1]) ## 왜 필요한가 최근 AI 모델은 점점 커지고 있습니다. 모델이 커질수록 더 많은 GPU 메모리, 더 긴 처리 시간, 더 높은 운영 비용이 필요합니다. 기업 입장에서는 서버 비용이 늘어나고, 개인 개발자나 소형 기기에서는 모델을 실행하기 어려워집니다. Automatic Pruning은 이 문제를 해결하기 위한 실용적인 방법입니다. 사람이 직접 어떤 부분을 제거할지 판단하는 대신, 알고리즘이 중요도를 계산하고 삭제 대상을 자동으로 선택합니다. 예를 들어 합성곱 신경망에서는 덜 중요한 필터나 채널을 제거하고, 대형 언어 모델에서는 불필요한 문맥이나 낮은 기여도의 구조를 줄이는 방식으로 적용될 수 있습니다. ## 작동 방식 Automatic Pruning은 대체로 다음 흐름으로 작동합니다. 첫째, 모델이나 입력 정보 안에서 각 요소의 중요도를 평가합니다. 가중치의 크기, 뉴런의 활성도, 채널의 기여도, attention score, 문맥의 관련성 등이 기준이 될 수 있습니다. 둘째, 중요도가 낮은 요소를 제거합니다. 이때 개별 가중치를 제거하는 비구조적 pruning도 있고, 채널·필터·레이어 단위로 제거하는 구조적 pruning도 있습니다. 구조적 pruning은 실제 하드웨어에서 속도 향상 효과를 얻기 쉬운 편입니다. 셋째, 제거 후 성능을 회복하기 위해 미세조정(fine-tuning)을 수행합니다. 일부 연구에서는 자동화된 방식으로 어떤 뉴런이나 필터를 보존할지 학습하여, 목표 FLOPs 수준에 맞춰 계산량을 줄이면서 정확도를 유지하려고 합니다. FLOPs는 “Floating Point Operations Per Second”의 약자로, 모델이 수행하는 부동소수점 연산량을 뜻하며 계산 부담을 가늠하는 지표로 자주 사용됩니다. ([arXiv][2]) ## 주요 활용 분야 Automatic Pruning은 먼저 **딥러닝 모델 경량화**에 널리 쓰입니다. 이미지 분류, 객체 탐지, 음성 인식 모델에서 불필요한 파라미터를 제거하면 모바일 기기나 엣지 디바이스에서도 더 빠르게 실행할 수 있습니다. 두 번째는 **대형 언어 모델 최적화**입니다. LLM은 모델 자체도 크지만, 긴 문맥을 처리할 때 토큰 비용과 지연 시간이 커집니다. 이때 관련성이 낮은 문장, 코드 조각, 검색 결과를 자동으로 줄이는 context pruning이 활용될 수 있습니다. 최근에는 코딩 에이전트나 검색 증강 생성, 즉 RAG 시스템에서도 작업과 관련성이 낮은 문맥을 줄이는 방식이 연구되고 있습니다. ([Medium][3]) 세 번째는 **비전-언어 모델 최적화**입니다. 이미지와 텍스트를 함께 처리하는 모델은 계산량이 크기 때문에, 작은 샘플만으로 적절한 pruning 정책을 찾고 효율성과 정확도의 균형을 맞추려는 연구도 진행되고 있습니다. ([CVF Open Access][4]) ## 장점과 단점 Automatic Pruning의 가장 큰 장점은 효율성입니다. 모델 크기를 줄이면 저장 공간이 절약되고, 추론 속도가 빨라지며, 운영 비용도 낮아집니다. 또한 자동화 방식이므로 전문가가 모든 레이어를 직접 분석하지 않아도 된다는 장점이 있습니다. 반면 단점도 있습니다. pruning 비율이 지나치게 높으면 정확도가 떨어질 수 있습니다. 또한 어떤 기준으로 “덜 중요한 요소”를 판단하느냐에 따라 결과가 크게 달라집니다. 특히 LLM이나 멀티모달 모델에서는 단순히 짧게 줄이는 것보다, 작업에 필요한 핵심 정보를 보존하는 것이 훨씬 중요합니다. ## 실전 활용 팁 Automatic Pruning을 적용할 때는 먼저 목표를 명확히 정하셔야 합니다. “모델 크기를 30% 줄이겠다”, “추론 시간을 절반으로 줄이겠다”, “정확도 손실은 1% 이내로 제한하겠다”처럼 기준을 세우는 것이 좋습니다. 또한 pruning 후에는 반드시 검증 데이터를 통해 성능을 확인해야 합니다. 겉보기에는 모델이 잘 작동하는 것처럼 보여도, 특정 상황에서 중요한 신호가 제거되어 오류가 늘어날 수 있습니다. 예시 프롬프트로는 다음과 같이 활용할 수 있습니다. “이 RAG 검색 결과에서 질문 답변에 직접 필요한 문장만 남기고, 중복되거나 관련성이 낮은 문장은 제거해 주세요.” “이 모델 최적화 계획에서 pruning 적용 대상, 예상 장점, 정확도 손실 위험을 표로 정리해 주세요.” ## 결론 Automatic Pruning은 AI 시스템을 더 작고 빠르며 경제적으로 만드는 핵심 최적화 기술입니다. 단순한 삭제가 아니라, 중요하지 않은 요소를 선별적으로 제거해 성능과 효율의 균형을 맞추는 과정이라고 이해하시면 됩니다. 앞으로 AI 모델이 더 커지고 다양한 기기에 배포될수록, Automatic Pruning은 모델 경량화와 운영 비용 절감의 중요한 기술로 더욱 주목받을 것입니다. [1]: https://datature.com/blog/a-comprehensive-guide-to-neural-network-model-pruning?utm_source=chatgpt.com "A Comprehensive Guide to Neural Network Model Pruning" [2]: https://arxiv.org/abs/2111.09635?utm_source=chatgpt.com "Automatic Neural Network Pruning that Efficiently Preserves the Model Accuracy" [3]: https://medium.com/%40ayoubkirouane3/stop-overfeeding-your-llm-smart-context-pruning-with-provence-3b42dcb06f4e?utm_source=chatgpt.com "Smart Context Pruning with Provence | by kirouane Ayoub" [4]: https://openaccess.thecvf.com/content/CVPR2025/papers/Liang_EfficientLLaVA_Generalizable_Auto-Pruning_for_Large_Vision-language_Models_CVPR_2025_paper.pdf?utm_source=chatgpt.com "Generalizable Auto-Pruning for Large Vision-language Models"

살아 있는 인간 뇌세포를 이용한 DOOM 매크로 플레이

2026-03-20T14:37:25+09:00

이제는 하다하다 뇌세포 기반 매크로도 다루게 됩니다 ㅎ

https://youtu.be/yRV8fSw6HaE?si=9HW0SytOujPK6TuR

Yolo26

2026-02-19T18:22:03+09:00

https://youtu.be/cxU5E2SkivU?si=HKn5fZRPwk3qKxJO

Computer Vision Tasks Supported by Ultralytics YOLO26 Explore Ultralytics YOLO26 for detection, segmentation, classification, OBB, and pose estimation with high accuracy and speed. Learn how to apply each task. by Ultralytics from DOCS.ULTRALYTICS.COM

https://docs.ultralytics.com/tasks/

Ultralytics YOLO26 Ultralytics의 YOLO26은 엣지 및 저전력 디바이스에 최적화된 더 빠르고, 더 간단하며, 종단 간 NMS-free 객체 detect를 제공합니다. by Ultralytics from DOCS.ULTRALYTICS.COM

https://docs.ultralytics.com/ko/models/yolo26/

GitHub - ultralytics/ultralytics: Ultralytics YOLO 🚀 Ultralytics YOLO 🚀. Contribute to ultralytics/ultralytics development by creating an account on GitHub. from GITHUB.COM

https://github.com/ultralytics/ultralytics?tab=readme-ov-file

오픈클로 OpenClaw

2026-02-12T09:16:25+09:00

OpenClaw — Personal AI Assistant OpenClaw — The AI that actually does things. Your personal assistant on any platform. from OPENCLAW.AI

https://openclaw.ai

NitroGen #1 - 고전게임에 AI 에이전트를 붙여봤습니다

2025-12-26T09:10:02+09:00

안녕하세요. 오토소장입니다.

최근에 NVIDIA에서 NitroGen이라고 하는 콘솔 게임 자동 플레이를 위한 Agent 모델을 발표했습니다. 몇 일 동안 조금 실험을 해보니, 앞으로 재미있는 콘텐츠를 만들 수 있는 가능성을 확인했습니다. 공개된 모델의 성능은 공식적으로 발표한 영상과는 괴리감이 크다는 사실을 알았습니다.

위 그림은 실험 환경입니다. 아나콘다 파이썬 가상환경을 구축하여 NitroGen 서버를 구동하여 사전학습모델을 로딩합니다. 이때 CPU가 아닌 GPU로 로딩해야 정상적으로 구동이 됩니다. NitroGen Agent 클라이언트를 구동하면 VHID 기반의 가상 게임패드 장치를 생성하는데, 이 부분에서 시행착오가 많았습니다. 공개된 소스코드를 사용하면 이 부분이 생성이 잘 안됩니다. 그래서 일부 코드를 수정해서 정상적으로 동작되는것을 확인했습니다. NitroGen 모델의 경우 출력 값이 게임패드의 조이스틱과 버튼의 값으로 출력이 되는데, 도스박스 기반의 고전게임은 대부분 키보드를 이용하기 때문에 JoyToKey 도구를 이용하여 재맵핑을 시켜주었습니다. 결과적으로 모델이 입력하는 키보드 값은 NohBoard-ReWrite 도구를 이용하여 시각화하고, 게임 화면에서 주인공 캐릭터의 행동으로 반영됩니다.

이 영상은 고전게임 중 하나인 어쩐지 저녁이라는 게임에 NitroGen 모델을 순수하게(?) 적용해서 녹화한 영상입니다. 앞으로 이 모델을 어떻게 학습시켜서 성능을 끌어올릴지 조금 고민을 해봐야겠습니다^^

(2025.12.26 추가) NitroGen 깃 허브에 등록된 이슈를 확인해보니 공개된 버전에 대한 성능 이슈가 있네요.

이 모델은 ‘게임을 대신 깨주는 AI’가 아니라, 순간적인 조작을 흉내 내는 빠른 반응용 정책 모델입니다.
실시간 자동 플레이처럼 쓰는 건 의도된 사용법이 아닙니다.

출처 : https://github.com/MineDojo/NitroGen/issues/19

NVIDIA MineDojo 팀, NitroGen 게임 에이전트 봇 모델 공개

2025-12-21T18:41:56+09:00

안녕하세요. 오토소장 김효복입니다.

최근에 NVIDIA MineDojo 팀에서 인공지능 기반의 콘솔 게임 봇 에이전트 모델을 발표하였습니다.

게임봇 구조가 어디까지 진화하고 있는지 보여주는 좋은 사례라고 생각하여 소식을 전합니다.

모델 소개 로고부터가 멋들어집니다 ㅎ

이 모델은 화면속의 가상의 게임패드를 자동으로 인식하여 입력하는 방식으로 동작됩니다.

다양한 게임 장르를 자동으로 플레이할 수 있는 것 같습니다.

에이전트(Agent)는 VisionEncoder(ViT)를 이용하여 게임 영상을 분석하고, Diffusion Model인 Action DiT를 이용하여 입력 장치인 게임 패드를 제어하는 구조입니다. 학습 데이터셋은 공개된 게임 플레이 영상(가상 게임패드 포함)을 수집하여 Video-Action 데이터셋을 생성하여 학습한 것 같네요.

학습 데이터는 웹에 공개되어 있는 게임 플레이 영상 4,000시간 분량의 데이터와 다양한 장르의 게임 플레이 정보를 이용했다고 합니다.

데이터셋과 모델이 공개되어 있어 누구나 사용해 볼 수 있는 것 같습니다.

관심있으신 분들은 한번 사용해보시고 후기 부탁드립니다^^

저도 조만간 고전게임쪽에 한번 적용을 해보고 연구실에 후기를 공유해보도록 하겠습니다.

레퍼런스

사이트 : https://nitrogen.minedojo.org/

논문 : https://nitrogen.minedojo.org/assets/documents/nitrogen.pdf

데이터셋 : https://huggingface.co/datasets/nvidia/NitroGen

학습모델 : https://huggingface.co/nvidia/NitroGen

소스코드 : https://github.com/MineDojo/NitroGen

소형 언어 모델(SLM)이 에이전트형 AI의 미래다

2025-09-14T21:08:59+09:00

앞으로 스스로 동작하는 AI의 핵심은 거대한 모델이 아니라 가볍고 효율적인 언어 모델이 될 것입니다.

Small Language Models are the Future of Agentic AI

Small Language Models are the Future of Agentic AI Abstract page for arXiv paper 2506.02153: Small Language Models are the Future of Agentic AI from ARXIV.ORG

https://arxiv.org/abs/2506.02153

FlowDet

2025-09-13T09:08:25+09:00

https://zhuanlan.zhihu.com/p/1944406644298609238

https://arxiv.org/pdf/2508.19565

RT-DETRv3

2025-09-13T08:48:55+09:00

https://arxiv.org/pdf/2409.08475

RT-DETR: Vision Transformer 기반 실시간 객체 감지기

2025-09-13T08:34:13+09:00

https://arxiv.org/pdf/2304.08069

https://docs.ultralytics.com/ko/models/rtdetr/

YOLO12: Attention-Centric Object Detection

2025-09-13T08:30:51+09:00

https://github.com/sunsmarterjie/yolov12?tab=readme-ov-file

https://docs.ultralytics.com/ko/models/yolo12/

YOLO3D

2025-08-17T07:02:49+09:00

YOLO3D는 기존 2D 객체 탐지에 특화된 YOLO 계열 모델을 3차원 공간에서 물체의 위치(x, y, z), 크기(width, height, length), 회전 각도까지 추정할 수 있는 기술입니다. 3D 기반 게임 화면 인식 및 자동화 연구와도 연결될 수 있는 흥미로운 기술입니다.

MCP 아키텍처, AI 기반 자동화 방식을 완전히 바꾸다

2025-04-29T09:12:30+09:00

AI 모델이 외부 데이터나 도구를 활용하려 할 때마다 복잡한 커스텀 통합이 필요했던 과거 방식은 이제 변화를 맞이하고 있습니다. Anthropic이 제안한 Model Context Protocol(MCP)은 LLM과 외부 시스템 간 통신을 표준화하여, 효율적이고 안전한 연결을 가능하게 합니다.

이번 글에서는 MCP 아키텍처의 구성 요소인 호스트, 클라이언트, 서버를 중심으로 통신 흐름을 설명하고, 표준화된 프로토콜과 보안 관리, 다양한 언어 지원 등 MCP의 주요 장점을 구체적으로 소개합니다. Claude Desktop, Cursor IDE 등 실제 적용 사례도 함께 다루어 MCP의 실질적인 활용 가능성을 보여줍니다.

AI 시스템 통합과 확장성 강화를 고민 중이라면, MCP를 이해하는 것이 필수입니다.

자세한 내용을 여기에서 읽어보기 .

Faster R-CNN을 이용한 발로란트 AI 봇

2025-01-27T07:52:46+09:00

https://www.riveducha.com/valorant-ai-pytorch-opencv-logitech

YOLO기반 게임 객체 탐지

2025-01-25T15:12:34+09:00

Yolo v4, v3 and v2 레퍼런스

2022-08-01T13:27:27+09:00

https://github.com/AlexeyAB/darknet

[딥러닝] 도구 상자 - 조건 - 욜로 매치 (Tool box, Condition, Yolo Match)

2020-08-09T19:59:07+09:00

안녕하세요. 엔지엠소프트웨어입니다. 머신러닝(Machine Learning)의 3번째 기능인 욜로 매치 액션이 추가되었습니다. 엔지엠에서 기본으로 제공하는 머신러닝이 2가지 있지만, 사용성과 접근성이 좋지 못한 단점이 있습니다. 욜로 매치는 다크넷의 욜로 모델을 사용합니다. 매뉴얼 > 학습 > 딥러닝을 통해 욜로를 학습(훈련)시키기 위한 시스템을 구축할 수 있습니다. 이 예제를 따라하기 위해 다크넷에서 훈련 파일(yolov3.weights)을 다운로드 받습니다.

https://pjreddie.com/darknet/yolo/

YOLO는 다크넷에서 배포하는 딥러닝(신경망 이미지 분석) 모델입니다. 기존에 구글에서 공개한 인셉션을 리얼타임에 적용하기 위해 개선된 모델로 속도에서 범접할 수 없을정도로 빨라졌습니다. 기존에 인셉션 모델을 이용해서 머신러닝 및 딥러닝을 할 수 있었지만, 빠르게 변화하는 이미지(캡 또는 동영상등등...)를 처리하는데 한계가 있었습니다. YOLO를 이용하면 비전 분석 및 딥러닝을 실시간으로 분석하여 디텍팅할 수 있으므로 효율면에서 텐서플로우의 인셉션보다 욜로를 이용하는게 현실적으로 더 맞다고 생각합니다^^

이 글에 첨부되어 있는 cfg파일과 names파일도 다운로드 받습니다. 에디터를 실행한 후 For 반복과 욜로 매치 액션을 추가하세요. 아래 그림을 참고해서 For 반복 하위로 욜로 매치를 추가해야 합니다.

For 반복의 속성을 아래와 같이 설정하세요.

반복: 100

동작 확인을 위해 감지 또는 검출된 이미지를 저장하도록 합니다. 욜로 매치의 "대상 이미지 저장 확장" 카테고리를 아래와 같이 설정하세요.

감지 영역 색: Orange
감지 영역 표시: True
대상 이미지 저장: True
저장 위치: 바탕화면/Result (바탕화면에 미리 Result 폴더를 만든 후 선택하세요.)

욜로 모델 및 GPU 옵션을 선택합니다.

욜로 모델
- GPU 사용: True
- GPU 수: 1 (사용자마다 다를 수 있습니다.)
- 모델 선택: 다크넷 홈페이지에서 다운로드 받은 weights 파일 선택
- 욜로 라벨: 이 글에 첨부되어 있는 coco.names 파일 선택
- 욜로 콘피크: 이 글에 첨부되어 있는 volov3.cfg 파일 선택
찾기 영역
- 동영상 화면을 드래그하여 선택

실행(Ctrl+Alt+F8)하면 바탕화면의 Result폴더에 이미지가 100장 만들어집니다. 아래는 몇장을 추출한 이미지입니다.

속성 정보

기본 작업

사용 여부: 이 액션의 사용 여부를 설정합니다. False로 설정하면 이 액션은 실행되지 않습니다.
설명: 이 액션의 부가적인 설명을 입력합니다.
실행 전 지연: 이 액션이 실행되기 전 지연 시간을 입력합니다.
실행 후 지연: 이 액션이 실행된 후 지연 시간을 입력합니다.
실행율: 이 값이 100이면 무조건 실행됩니다. 50으로 설정하면 50프로 확률로 실행되거나 안될수도 있습니다.
아이디: 스크립트 내에서 유니크한 아이디를 입력합니다.

대상 이미지 저장 확장

감지 영역 색: 감지 영역에 테두리와 이름을 설정한 색으로 표시합니다.
감지 영역 표시: 감지 영역의 표시 여부입니다. (감지 영역 색으로 표시합니다.)
대상 이미지 저장: 찾을 대상 이미지 저장 여부입니다.
덮어쓰기: 기본 값은 False입니다. 이 값을 True로 변경하면 같은 이름으로 덮어쓰기됩니다.
이미지 저장 조건: 원본과 대상이미지를 저장할 수 있는 옵션입니다.
이미지 저장 지연: 이미지를 저장하는 행위는 스레드에 안전하지 않습니다. 작업이 완료될때까지 충분한 시간이 필요합니다.
저장 위치: 이미지를 저장할 폴더와 이미지 이름입니다.

데이터

마우스 좌표 목록: 감지된 모든 오브젝트의 마우스 좌표 목록을 표시합니다.
매인 윈도우 정보: 비활성 모드에서 동적으로 좌표를 계산하기 위해 매인 윈도우의 정보가 필요합니다.
매치 스코어: 감지된 모든 오브젝트의 스코어를 표시합니다.
분류 이름: 감지된 모든 오브젝트의 이름을 표시합니다.
이미지 정보 목록: 감지된 오브젝트의 정보를 표시합니다. (X, Y, Width, Height)
이미지 텍스트 결과: 오브젝트 감지가 성공하면 표시할 텍스트입니다.
컨트롤 윈도우 정보: 비활성 모드에서 동적으로 좌표를 계산하기 위해 컨트롤 윈도우의 정보가 필요합니다.

마우스 동작

다운 업 랜덤 지연 최대값: 마우스 다운 업의 랜덤 지연 값입니다. 이 값은 최소값보다 커야 합니다.
다운 업 랜덤 지연 최소값: 마우스 다운 업의 랜덤 지연 값입니다.
다운 업 지연: 마우스의 다운과 업 사이에 지연시킬 값입니다.
랜덤 맥시멈: 마우스 좌표를 랜덤하게 처리하기 위한 최대값입니다.
랜덤 미니멈: 마우스 좌표를 랜덤하게 처리하기 위한 최소값입니다.
랜덤 적용 옵션: X, Y하나만 랜덤값을 적용합니다. 모두 랜덤하게 하려면 XY를 선택하세요.
마우스 동작: 마우스 동작을 선택합니다.
마우스 액션 인덱스: 멀티 마우스 액션에서 인덱스를 선택하면 이 값으로 감지된 오브젝트 목록에서 선택한 인덱스에 마우스 액션이 실행됩니다.
마우스 위치: 찾은 이미지의 범위 내에서 마우스 위치를 선택할 수 있습니다.
마우스 절대 좌표: 이 값을 설정하면 이미지를 찾은 위치가 아닌 이 값으로 마우스가 동작합니다.
멀티 마우스 액션: 이미지에서 여러개의 오브젝트가 감지 되었을 때 마우스 액션 적용 범위를 선택합니다.
모서리 위치: 찾은 이미지의 영역을 9분할하여 모서리쪽에 클릭합니다.
비활성 모드 방식: 비활성 모드에서 액션을 처리하는 방식을 선택할 수 있습니다.
최종 좌표 사용: 최종 좌표 사용을 True로 변경하면 랜덤, 오프셋이 적용된 좌표값으로 표시됩니다. False는 원본 좌표값을 표시하지만 랜덤이나 오프셋은 적용됩니다.
활성 모드 방식: 활성 모드에서 액션을 처리하는 방식을 선택할 수 있습니다.

변수

가져오기: 글로벌 또는 로컬 변수에 저장되어 있는 값을 이 액션의 속성 값으로 가져옵니다.
추가하기: 이 액션의 속성 값을 글로벌 또는 로컬 변수에 저장합니다.

욜로 모델

GPU 사용: GPU 사용 여부를 설정합니다.
GPU 수: 오브젝트 검출에 사용할 GPU의 수를 입력하세요.
갱신: 욜로 랩퍼(Wrapper)를 갱신합니다. 이 값을 True로 설정하면 새로운 욜로 랩퍼를 만들지만 속도가 저하됩니다.
모델 선택: 이미지에서 오브젝트를 검출하기 위해 학습된 모델을 선택합니다.
욜로 라벨: 욜로에서 감지 또는 검출할 오브젝트의 이름 목록 파일을 선택합니다.
욜로 콘피그: 욜로 콘피그 파일을 선택합니다.

이미지 편집

흑백 사용: 이미지를 흑백으로 변환 후 오브젝트 감지에 사용합니다.

작업

비교 간격: 이미지를 다시 비교하기까지 시간을 나타냅니다.
비교 횟수: 이미지를 다시 비교하는 횟수를 설정할 수 있습니다.
이미지 순서: 찾은 모든 이미지의 순서를 설정합니다. 순서는 콤마로 구분하여 입력하세요.
이미지 텍스트: 조건이 같음(True)일 때 표현한 텍스트입니다.
찾기 영역: 이미지를 찾는 영역이 너무 크면, 성능이 저하될 수 있습니다. 가능하면 이미지를 찾는 영역을 작게 설정하세요.
최상위 하나: 찾은 오브젝트들 중에서 가장 높은 점수(Score)를 받은 하나만 처리합니다.
최소 유사율: 이미지 검출에 사용하는 최소 유사율입니다.

조건 설정

같음: 이미지 체크에서 동일한 이미지로 판단된 경우 이동할 액션의 아이디를 설정합니다.
다름: 이미지 체크에서 다른 이미지로 판단된 경우 이동할 액션의 아이디를 설정합니다.