AI 자동화는 ‘판단’보다 ‘안전장치’가 더 중요하다
TomatoFarm은 실내에서 토마토 6그루를 키우는 실제 농장이다. 센서, 카메라, 펌프, 3차원 프린터로 만든 부품, 닷넷 기반 서버, TimescaleDB, Blazor 화면으로 구성되어 있다. 농장의 다음 행동은 Claude, ChatGPT, Gemini, Mistral 네 가지 이 같은 상태 정보를 읽고 의견을 낸 뒤 투표하는 방식으로 정해진다.
하지만 AI는 하드웨어를 직접 움직일 수 없고, 물 주기 같은 행동은 , , 물통 수위 확인, 실패 시 안전하게 멈추는 규칙을 모두 통과해야 한다. 초기에는 AI가 실제 농장에 없는 수경재배, 영양제 투입, 전기전도도 값 같은 기능을 꾸며내는 문제가 거의 매번 생겼다. 해결책은 더 좋은 지시문이 아니라, 에서 가져온 실제 사실과 센서 데이터만 보고 답하게 만드는 것이었다.
일부 AI가 응답하지 않아도 나머지로 계속 돌아가며, 담당 AI가 멈추면 새 담당을 세우는 구조도 있다. 별도 에서 돌아가는 두 개의 감시 AI는 데이터 흐름, 하드웨어 상태, 값, 예약 작업을 보고 이상이 있으면 알린다.
핵심 포인트
- AI는 하드웨어를 직접 조작하지 않고 제안만 한다.
- 모든 실행은 , , 수위 확인 같은 안전 규칙을 통과해야 한다.
- AI 답변은 와 센서 데이터에 있는 실제 사실만 근거로 삼게 했다.
- 네 개 중 일부가 실패해도 나머지로 계속 운영된다.
- 감시 AI 두 개가 별도 에서 상태를 확인하고 이상을 알린다.