Uma placa de processamento de imagem FWD-RK3588 econômica, com um CPU de 64 bits de 8 núcleos com uma frequência de clock de até 2,4 GHz

Este produto é uma placa de processamento de imagem incorporada alimentada pelo processador Rockchip RK3588, composta principalmente por dois componentes: uma placa de processamento de núcleo (SoM) e uma placa portadora de interface.O RK3588 é o processador de última geração da Rockchip., fabricado usando um nó de processo avançado de 8nm. Ele possui uma CPU de 64 bits de 8 núcleos com uma velocidade de relógio primária de até 2,4 GHz.fornecer 6 TOPS de poder de computação e apoiar estruturas de aprendizagem profunda convencionais.

A placa de processamento de imagem integra três interfaces de entrada de vídeo, incluindo duas interfaces MIPI CSI e uma interface de vídeo digital BT.1120, permitindo a captura de vídeo de alta definição de várias fontes.Equipado com abundantes interfaces de comunicação a bordo, a placa consegue uma transmissão de dados de vídeo estável e eficiente para satisfazer os exigentes requisitos dos sistemas de visão incorporados de alto desempenho.O produto completou a adaptação do driver principal sob o ambiente Linux (Ubuntu RootFS), permitindo que os utilizadores prossigam directamente com o desenvolvimento da camada de aplicação.

Este produto completou a adaptação e verificação de todos os drivers periféricos baseados no sistema Linux (equipados com o sistema de arquivos Ubuntu por padrão).Os usuários não precisam se preocupar com drivers complexos de baixo nível e podem realizar diretamente o desenvolvimento da camada de aplicativo usando chamadas padrão do sistema.

• Controladores do Processador Central:Adaptou os controladores de gerenciamento de energia, relógio, interrupção e DMA do RK3588, garantindo um agendamento eficiente da potência de computação da CPU e da NPU.

• Drivers de entrada de vídeo:

  • Motorista MIPI:Adaptado a interface da câmera MIPI CSI-2 e sensores de imagem, suportando a aquisição de dados de imagem da câmera.

  • BT.1120 Condutor:Adaptado o chip do receptor de vídeo digital para permitir a aquisição de dados de vídeo através da interface BT.1120.

• Driver de interface de rede:Adaptativo Gigabit Ethernet, com suporte ao streaming de vídeo em rede (RTSP) e controle remoto de comando.

• Controladores de interface de comunicação:Interfaces integradas adaptadas, como UART, I2C e GPIO. Os usuários podem obter diretamente controle e interação de dados com dispositivos externos por meio de operações de arquivos ou chamadas de sistema.

A placa integra dois tipos de interfaces de entrada de vídeo para atender aos requisitos de ligação de diferentes sensores:

• Entrada de vídeo digital MIPI:Fornece uma interface V4L2 padrão. Os usuários podem adquirir dados de quadros de imagem através de chamadas padrão do sistema, comoEstá aberto.eOctl.

• BT.1120 Entrada de vídeo digital:Fornece uma interface unificada de dispositivo de vídeo para a camada de aplicação através da estrutura V4L2, facilitando o processamento de software unificado.

Integra uma NPU de arquitetura tri-núcleo que suporta operações híbridas INT4/INT8/INT16/FP16, lidando facilmente com tarefas de visão complexas, como detecção de objetos, classificação e rastreamento.Fornece a API de tempo de execução RKNN, que é responsável pelo carregamento de modelos RKNN, gerenciamento de entradas / saídas e execução de cálculos de inferência na NPU.

Para ajudar os usuários a começarem rapidamente, fornecemos exemplos de algoritmos em execução.não somos responsáveis pelo desempenho ou eficácia dos próprios algoritmos):

• Detecção de objetos:Fornece um exemplo de implantação do YOLOv5, que pode realizar diretamente a detecção de objetos em tempo real no fluxo de vídeo capturado e as caixas e categorias de limite de saída.

• Rastreamento de objetos:Integra exemplos de algoritmos de rastreamento relevantes, permitindo que os usuários obtenham controle de circuito fechado com base em dados de distância de falha.

• Integração com Streams de Vídeo:O programa exemplo demonstra como alimentar quadros de imagem para a NPU para inferência,e sobrepor os resultados de inferência (como caixas de delimitação) sobre o vídeo de saída através da função OSD (On-Screen Display), formando um ciclo fechado de aplicação de ponta a ponta.