Integração e Armazenamento OpenAI

O Menthor utiliza a infraestrutura da OpenAI para o armazenamento e indexação de documentos (Vector Stores). Esta seção detalha como os arquivos são gerenciados, as limitações técnicas e as regras de segurança.

Gestão de Arquivos e Custos

Todos os documentos enviados via Menthor Files são armazenados diretamente na conta da OpenAI vinculada à API Key configurada no ambiente.

Propriedade dos Dados: O Menthor realiza apenas a gestão do ciclo de vida (upload, indexação e limpeza), não retendo cópias permanentes em servidores próprios após a sincronização.
Custos de Armazenamento:
A tarifação é aplicada diretamente na fatura da sua conta OpenAI. A política atual da plataforma prevê uma taxa de $0,10 por GB/dia.
Importante
- Quota Gratuita: O custo incide apenas sobre o volume que exceder o primeiro 1 GB de armazenamento total da conta.
- Cálculo Global: Este limite de 1 GB refere-se à soma de todas as Vector Stores existentes na conta, independentemente de terem sido criadas pelo Menthor ou por outras aplicações e projetos vinculados à mesma chave.
Retenção: O Menthor mantém os arquivos na nuvem enquanto o contexto estiver ativo. Ao deletar um arquivo via endpoint /update_files, o comando de exclusão é replicado imediatamente na OpenAI para interromper a cobrança.

Arquivos Suportados em `file_search`

Cada id_context pode conter arquivos indexados em Vector Stores para consulta via busca semântica. O sistema aceita exclusivamente os formatos listados abaixo.

Importante

Para arquivos de texto (MIME types text/*), a codificação deve ser obrigatoriamente: UTF-8, UTF-16 ou ASCII.

Formatos Aceitos

Arquivos de Texto e Código

Extensão	MIME type
.c, .cpp, .cs	text/x-c, text/x-c++, text/x-csharp
.css, .html, .js, .ts	text/css, text/html, text/javascript, application/typescript
.go, .java, .py, .rb	text/x-golang, text/x-java, text/x-python, text/x-ruby
.json, .md, .txt	application/json, text/markdown, text/plain
.php, .sh, .tex	text/x-php, application/x-sh, text/x-tex

Documentos Estruturados

Extensão	MIME type
.doc, .docx	application/msword (e docxxml)
.pdf	application/pdf
.pptx	application/vnd.openxmlformats-officedocument.presentationml.presentation

Limites e Restrições Técnicas

Ao planejar a ingestão de documentos, considere os limites impostos pela infraestrutura da OpenAI:

Tamanho Máximo: Cada arquivo individual pode ter até 512 MB.
Volume de Texto: Um único arquivo não deve exceder 2.000.000 de tokens.
Capacidade da Store: Cada Vector Store pode conter até 10.000 arquivos.
Capacidade da Conta: Limite global de 100 GB de armazenamento total por organização.

Limitação de Vector Stores por Contexto

Atualmente, o mecanismo de busca suporta a utilização de até 2 (duas) Vector Stores simultaneamente por consulta.

Essa restrição decorre da limitação atual da API da OpenAI e está implementada na lógica do sistema Menthor. A arquitetura permite expansão futura caso a OpenAI amplie esse limite.

Regras de Utilização e Inteligência

Natureza da Pergunta: O uso do file_search é ativado dinamicamente pela IA com base na intenção do usuário.
Hibridismo: A escolha entre uma consulta SQL (Menthor DB) e uma busca em documentos (Menthor Files) é determinada automaticamente pelo tipo de dado solicitado.
Persistência: A utilização da busca em documentos não implica na troca ou perda do id_context atual.

Segurança e Privacidade

Isolamento: Todas as operações são realizadas sob a chave de API fornecida. O Menthor não compartilha documentos entre diferentes organizações.
Criptografia: Os arquivos são criptografados em repouso nos servidores da OpenAI.
Privacidade de Treinamento: De acordo com as políticas da OpenAI para API, os dados enviados não são utilizados para treinar modelos públicos.

Dica

Monitore o consumo detalhado e os custos de armazenamento através do painel de Storage no Dashboard da OpenAI.