Plataforma multiagente

Inferencia en la casa, sobre datos que no pueden salir.

KAI trabaja con varios agentes sobre el grid CSF. El modelo corre donde está el dato. Un servicio público no entra en ese perímetro. El cómputo crece uniendo la máquina al grid: el líder le entrega el trabajo, sin balanceador y sin una lista de pares.

Escribir a MC3D Ver los motores
01 · El dato

Se queda

El modelo y los documentos viven en las máquinas del cliente. La inferencia no sale de la casa.

02 · El cómputo

Se une

La máquina entra al grid CSF y queda disponible en el ciclo siguiente. El alta no pasa por un balanceador ni por una lista RPC.

03 · El origen

Consulta el tiquet

Por API, el sistema envía el trabajo y sigue. KAI entrega un tiquet, el identificador de seguimiento. El sistema lo consulta cada cierto tiempo hasta tener la respuesta.

Por qué existe

Dos límites que aparecen juntos

Hay operaciones en las que el expediente no puede verse fuera, y en las que el volumen de inferencia no cabe en una sola máquina. KAI está construido para ese cruce.

El dato confidencial

Un servicio público de inteligencia artificial queda fuera cuando el documento, la imagen o el expediente pertenecen a la operación. KAI infiere, lee y responde en las máquinas que ya están en la casa.

El cómputo que tiene que crecer

Sumar capacidad en un servidor de modelos suele exigir registrar instancias en un balanceador, o declarar cada nodo por RPC para que se conozcan. En KAI la máquina se une al grid. El líder reparte según el cupo, la CPU o la GPU, y si el modelo ya está en esa máquina.

Cómo opera

Un líder reparte. Las máquinas se unen.

El patrón es master-worker sobre el grid CSF. La consola publica. Los nodos ejecutan. Quien consume ve una ruta lógica, no la carpeta de la máquina.

Arquitectura de KAI: la consola y el archivo entran al grid CSF, el líder asigna el nodo, y la respuesta vuelve identificada
El líder del grid CSF asigna el trabajo. Los nodos que se unen ejecutan texto, visión y documentos. El modelo se publica una vez, por una ruta lógica.
01 · Publicar

Desde la consola del grid se publica el modelo y los documentos. La carpeta física permanece en la máquina que publica.

02 · Asignar

El líder elige un nodo con cupo. Si el modelo ya está materializado ahí, el trabajo se queda. Si no, el grid lo trae.

03 · Seguir

Quien llamó por API consulta el tiquet hasta que la respuesta está. Si la máquina deja de responder, el mismo trabajo pasa a otra que siga en el grid.

Motores

Cada agente corre en Java, en la casa

Los servicios se portaron a Java 25 desde su origen abierto. El cálculo vive en memoria, con Project Panama y FFM, sobre Java Arena. El nodo lo ejecuta en CPU o GPU. El expediente no sale.

Lenguaje y multimodal

La lógica de llama.cpp, escrita en C++, corre en Java: modelos generales y multimodales, kernels, tensores, lectores GGUF y transformadores, en FP32 y FP16. MatMul y MatVec sostienen el modelo en CPU y en GPU.

Voz

Whisper y Kokoro están en Java. KAI escucha y habla: transcripción y síntesis, STT y TTS, en el mismo nodo.

Objetos en video

YoloVX detecta objetos en tiempo real desde video. El análisis ocurre en el nodo, junto a la cámara o al archivo.

Patentes y vehículos

KAI lee la patente y sigue el vehículo entre cámaras de seguridad o entre videos. El recorrido queda en la operación.

Rostros y personas

La detección facial y el seguimiento de personas, portados desde Python, cruzan videos y fotografías. El seguimiento se mantiene cuando el rostro va tapado.

Agentes en el sitio

Los agentes trabajan sobre el grid. El que está en curso usa Cursor para modificar sitios web de forma automatizada.

Contexto

RAG y CAG, con los documentos de la casa

KAI convierte los documentos de la operación en contexto reutilizable. La respuesta se genera a partir de ese contexto, dentro del perímetro.

RAG

Retrieval-Augmented Generation. KAI recupera, desde los documentos publicados en el grid, el material que hace falta para responder. La generación se apoya en ese material. El expediente no sale de la casa.

CAG

Context Aware Generation. La respuesta se genera con el contexto del trabajo: el expediente, la conversación y lo que ya está en curso. No es una respuesta suelta del modelo.

En la operación

Qué resuelve

Voz, video y documentos

Texto, imagen, voz y video se procesan en el nodo, en CPU o GPU. El resultado vuelve al proceso que lo pidió.

API sync-async

El sistema envía el trabajo y sigue. KAI entrega un tiquet, el identificador de seguimiento. La consulta se repite sobre ese tiquet hasta que la respuesta está.

RAG y CAG

Los documentos de la casa alimentan RAG, la recuperación que sostiene la respuesta, y CAG, Context Aware Generation, la generación que sigue el contexto del trabajo.

Mensaje con CSF

Para publicar un mensaje en KAI basta con tener instalado CSF, Crossover SOA Framework. El sistema publica en una carpeta del grid y el evento se replica dentro de los nodos de KAI.

La consola

El alta de una máquina no se configura en las demás.

La consola del grid muestra los nodos, el cupo y el recurso publicado. Un nodo nuevo anuncia su capacidad y entra al reparto. No hay que editar la lista de los que ya estaban.

Si el dato no puede salir, conversemos.

contacto@mc3d.cl