V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
zemora
V2EX  ›  分享发现

做了一个无人车的环视系统

  •  
  •   zemora · 2019 年 10 月 24 日 · 3058 次点击
    这是一个创建于 2291 天前的主题,其中的信息可能已经有所发展或是发生改变。

    最近在单位的无人小车上面开发了一个环视系统的 demo 程序,硬件配置就是传统的四个环视鱼眼相机,实现了如下功能:

    1. 将四路鱼眼相机的图像拼接为 360 度全景图,并从中检测车道线 /车位线。
    2. 用神经网络检测四周的障碍物,判断人、车、柱子。

    其中全景图的效果视频可以见

    https://weibo.com/tv/v/Id1J4lXnX?fid=1034:4431048889584339

    代码是用纯 python (配合 opencv) 写的,可以流畅运行在 Xavier AGX 上 (每个相机固定为 640x480 分辨率),目前正在转 C++,希望用 Qt 做一个漂亮的界面。

    其实目前环视系统开发最大的门槛就在标定和拼接上,一旦能拼出毫无缝隙的全景图,后面做车道 /车位检测就容易多了。

    这个小车可以作为巡逻车使用,只需要把神经网络换成识别车牌或者人脸的非法车辆 /非法访客,也可以变成零售车,只需要加上识别手势的功能。

    不过目前搭载的一个 AGX 做不了太多的事情。

    后面我会写一个教程来介绍具体步骤并放出 Python 代码,这个无法作为产品使用,仅作为学习参考。

    7 条回复    2019-10-25 16:07:40 +08:00
    IC0ZB
        1
    IC0ZB  
       2019 年 10 月 25 日 via iPhone
    厉害呀
    dangyuluo
        2
    dangyuluo  
       2019 年 10 月 25 日
    不错啊,希望楼主分享下 python 代码😁谢谢
    clino
        3
    clino  
       2019 年 10 月 25 日 via Android
    感觉挺厉害
    designer
        4
    designer  
       2019 年 10 月 25 日 via iPhone
    厉害,让他自己学习个十年看下能不能成精(意识觉醒)
    zemora
        5
    zemora  
    OP
       2019 年 10 月 25 日
    @dangyuluo 后面会的,现在一些视觉算法还在测试阶段,一旦成熟了就公布 python 代码
    zzugyl
        6
    zzugyl  
       2019 年 10 月 25 日
    微博视频是拼接的?厉害啊,比我用的全景相机拼接的还完美。
    zemora
        7
    zemora  
    OP
       2019 年 10 月 25 日
    @zzugyl 四个相机的图像拼起来的,自信看能看出来前方的相机曝光稍微暗一些
    关于   ·   帮助文档   ·   自助推广系统   ·   博客   ·   API   ·   FAQ   ·   Solana   ·   2160 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 26ms · UTC 12:16 · PVG 20:16 · LAX 04:16 · JFK 07:16
    ♥ Do have faith in what you're doing.