usrp n310测试总结---环境搭建篇2-uhd-dpdk干货

在网络搜索使用uhd-dpdk的人很少,特总结一些自己使用点滴,希望有用!

一、UHD驱动安装(ubuntu 18.04)
官方指导:http://kb.ettus.com/Building_and_Installing_the_USRP_Open-Source_Toolchain_(UHD_and_GNU_Radio)_on_Linux
严格按照文档一步步来,这里不详细说明。
sudo apt-get update
sudo apt-get -y install git swig cmake doxygen build-essential libboost-all-dev libtool libusb-1.0-0 libusb-1.0-0-dev libudev-dev libncurses5-dev libfftw3-bin libfftw3-dev libfftw3-doc libcppunit-1.14-0 libcppunit-dev libcppunit-doc ncurses-bin cpufrequtils python-numpy python-numpy-doc python-numpy-dbg python-scipy python-docutils qt4-bin-dbg qt4-default qt4-doc libqt4-dev libqt4-dev-bin python-qt4 python-qt4-dbg python-qt4-dev python-qt4-doc python-qt4-doc libqwt6abi1 libfftw3-bin libfftw3-dev libfftw3-doc ncurses-bin libncurses5 libncurses5-dev libncurses5-dbg libfontconfig1-dev libxrender-dev libpulse-dev swig g++ automake autoconf libtool python-dev libfftw3-dev libcppunit-dev libboost-all-dev libusb-dev libusb-1.0-0-dev fort77 libsdl1.2-dev python-wxgtk3.0 git libqt4-dev python-numpy ccache python-opengl libgsl-dev python-cheetah python-mako python-lxml doxygen qt4-default qt4-dev-tools libusb-1.0-0-dev libqwtplot3d-qt5-dev pyqt4-dev-tools python-qwt5-qt4 cmake git wget libxi-dev gtk2-engines-pixbuf r-base-dev python-tk liborc-0.4-0 liborc-0.4-dev libasound2-dev python-gtk2 libzmq3-dev libzmq5 python-requests python-sphinx libcomedi-dev python-zmq libqwt-dev libqwt6abi1 python-six libgps-dev libgps23 gpsd gpsd-clients python-gps python-setuptools
   cd $HOME
   mkdir workarea-uhd
   cd workarea-uhd
    git clone https://github.com/EttusResearch/uhd
   cd uhd
   git tag -l
   git checkout v3.14.1.1
    cd host
   mkdir build
   cd build
    cmake ../
    make
    sudo make test
    sudo make install
    sudo ldconfig
    $HOME/.bashrc file: 
   export LD_LIBRARY_PATH=/usr/local/lib
   测试:uhd_find_devices uhd_usrp_probe
   $ sudo uhd_images_downloader或者从已有系统中拷贝:
 从本地拷至远程
 scp -r /usr/local/share/uhd/images [email protected]:/usr/local/share/uhd
 从远程拷至本地
 scp -r [email protected]:/usr/local/share/uhd/images .
  scp -r [email protected]:/home/workarea-uhd/uhd .
 解决问题:EnvironmentError: OSError: error in pthread_setschedparam
   sudo groupadd usrp
   sudo usermod -aG usrp $USER
Then add the line below to end of the file /etc/security/limits.conf: 
   @usrp - rtprio  99

二、关于n310的使用和连接方法:
    官方文档:https://kb.ettus.com/USRP_N300/N310/N320/N321_Getting_Started_Guide
    更详细的USRP N310 配置教程:https://blog.csdn.net/qq_34998254/article/details/88399065
    通过ssh登陆n310的arm系统:
    将网线插到n310的RJ45端口(上面的1G网线口),另一端可以直接接到一个路由器或者交换机上;
    插上n310里配件带的串口Serial到一个pc上,执行ip a可以看到分配给n310的地址;下次直接ssh登陆此ip即可;如果是设备环境都是已经配置好的,可以使用uhd_find_devices直接查看下ip地址。
    如果没有路由器或交换机可用,可以接到服务器的网口上,配置服务器此端口地址为:192.168.2.254,然后执行:
    dnsmasq -i enp7s0f1 --dhcp-range=192.168.2.151,192.168.2.254 --except-interface=lo --bind-dynamic --no-daemon
    如果n310本来用着好好的,突然发现不了设备了,再执行以下上面的命令。
    n310 RJ45 1G端口ssh,如果没有具有dhcp功能的路由器或交换机,可以使用linux server的dnsmasq模拟一个。
    将n310的 RJ45端口连到服务器的enp7s0f1网卡,配置enp7s0f1端口如下:注:此端口的ip地址和要分配给n310的地址需要同一网段
    vim /etc/network/interfaces
    auto enp7s0f1
    iface enp7s0f1 inet static
    address 192.168.2.254
    netmask 255.255.255.0
    MTU: 8000-----------一定要设为8000
    ifup enp7s0f1
    dnsmasq -i enp7s0f1 --dhcp-range=192.168.2.151,192.168.2.254 --except-interface=lo --bind-dynamic --no-daemon
    通过uhd_find_devices可以看到分配给n310的ip地址
    --------------------------------------------------
    -- UHD Device 1
    --------------------------------------------------
    Device Address:
        serial: 316645F
        claimed: False
        mgmt_addr: 192.168.2.242
        product: n310
        reachable: No
        type: n3xx
    
    采样模式:
    1Gb Streaming SFP Port 0:将子带光口转电口适配器插到SFP0上,用网线同服务器相连,设置服务器对应端口地址为192.168.10.1,mtu设置为1500(usrp n310的镜像使用HG)
    10Gb Streaming SFP Port 1:使用光纤将sfp1和服务器相连,设置服务器对应端口地址为192.168.20.1,mtu设置为8000(usrp n310的镜像使用HG或XG)
    Dual 10Gb Streaming SFP Ports 0/1:使用光纤将sfp1 sfp0和服务器相连,mtu设置为8000(usrp n310的镜像使用XG)
    服务端mtu的修改方法见环境搭建篇1;
    usrp n310 mtu设置位置见下,重启生效,将生成的sfp0.network~转换文件及时删除。重启后要ifconfig确认下。
     # ls /etc/systemd/network/
     eth0.network  sfp0.network  sfp1.network
         
    如果是使用dpdk的话:mtu要设置为9000.
     
    fpga镜像加载:
    uhd_image_loader --args "type=n3xx,addr=192.168.2.230,fpga=XG"
    uhd_image_loader --args "type=n3xx,fpga=HG"
    
   
三、srslte安装:
 参考指导:https://blog.csdn.net/xrh003/article/details/79461114
 ubuntu 18.04依赖库:
 sudo apt-get install cmake libfftw3-dev libmbedtls-dev libboost-program-options-dev libboost-thread-dev libconfig++-dev libsctp-dev  
 sudo apt-get install libboost-system-dev libboost-test-dev libboost-thread-dev libqwt-dev libqt4-dev  
 
    git clone https://github.com/suttonpd/srsgui.git  
    cd srsGUI  
    mkdir build  
    cd build  
    cmake ../  
    make  
    sudo make install  
    sudo ldconfig  

    git clone https://github.com/srsLTE/srsLTE  
    mkdir build  
    cd build  
    cmake ../  
    make  
    make test  
    sudo make install  
    sudo ldconfig  

    运行:
    sudo srsepc epc.conf  
    sudo srsenb enb.conf  
    sudo srsue ue.conf
    可以使用srslte/srsLTE/build/lib/examples目录下的例子进行一些测试

四:dpdk的环境搭建
参考文档:
https://files.ettus.com/manual/page_dpdk.html
https://doc.dpdk.org/guides-17.11/linux_gsg/linux_drivers.html#binding-and-unbinding-network-ports-to-from-the-kernel-modules 
网上也有很多dpdk的配置文档,可以作为补充指导http://www.pianshen.com/article/635691779/

1、18.04可以使用apt install dpdk dpdk-dev直接安装,不需要下代码自己编译。
2、先使用ifconfig记录下两个光口的MAC地址,然后将两个端口down掉ifdown ens3f0
73:
ens3f0: flags=4163<UP,BROADCAST,RUNNING,MULTICAST>  mtu 8000
        inet 192.168.20.1  netmask 255.255.255.0  broadcast 192.168.20.255
        inet6 fe80::5639:dfff:fed3:f416  prefixlen 64  scopeid 0x20<link>
        ether 54:39:df:d3:f4:16  txqueuelen 1000  (Ethernet)
        RX packets 0  bytes 0 (0.0 B)
        RX errors 0  dropped 0  overruns 0  frame 0
        TX packets 6  bytes 516 (516.0 B)
        TX errors 0  dropped 0 overruns 0  carrier 0  collisions 0

ens3f1: flags=4163<UP,BROADCAST,RUNNING,MULTICAST>  mtu 8000
        inet 192.168.10.1  netmask 255.255.255.0  broadcast 192.168.10.255
        inet6 fe80::5639:dfff:fed3:f417  prefixlen 64  scopeid 0x20<link>
        ether 54:39:df:d3:f4:17  txqueuelen 1000  (Ethernet)
        RX packets 0  bytes 0 (0.0 B)
        RX errors 0  dropped 0  overruns 0  frame 0
        TX packets 5  bytes 426 (426.0 B)
        TX errors 0  dropped 0 overruns 0  carrier 0  collisions 0
        
        start tx_first (""|10)
  
  71:
  ens3f0: flags=4098<BROADCAST,MULTICAST>  mtu 1500
        ether 74:a0:63:f2:96:e7  txqueuelen 1000  (Ethernet)
        RX packets 0  bytes 0 (0.0 B)
        RX errors 0  dropped 0  overruns 0  frame 0
        TX packets 0  bytes 0 (0.0 B)
        TX errors 0  dropped 0 overruns 0  carrier 0  collisions 0

ens3f1: flags=4098<BROADCAST,MULTICAST>  mtu 1500
        ether 74:a0:63:f2:96:e8  txqueuelen 1000  (Ethernet)
        RX packets 0  bytes 0 (0.0 B)
        RX errors 0  dropped 0  overruns 0  frame 0
        TX packets 0  bytes 0 (0.0 B)
        TX errors 0  dropped 0 overruns 0  carrier 0  collisions 0
74

3、dpdk环境配置
显示是否支持VT-d或VT-d是否成功打开
dmesg | grep -e DMAR -e IOMMU
若出现:IOMMU not found 或 不知如何在BIOS中enable00 VX-d,可参考博客:http://www.cnblogs.com/vancasola/p/9360837.html
检查 VT-d 在kernel中是否enabled, 运行:
$ cat /proc/cmdline | grep iommu=pt
$ cat /proc/cmdline | grep intel_iommu=on
如果没有显示,需要进行如下配置:
此步修改系统文件,容易误操作导致系统错误,修改前注意备份!
进入配置文件:
nano /etc/default/grub
GRUB_CMDLINE_LINUX="quiet splash iommu=pt intel_iommu=on"//添加配置信息
更新配置信息并重启
default_hugepagesz=1G hugepagesz=1G hugepages=8
10.设置大内存页,设置以后就可以不必每次运行程序的时候都执行setup.sh进行hugepage设置了。
查看cpu是否支持1G大内存页:
cat /proc/cpuinfo | grep pdpe1gb
如果有显示,则支持1G大内存页。
默认支持2M内存页,执行下面命令
cat /proc/cpuinfo |grep pse
如果有显示,则支持2M内存页

隔离分配给dpdk的cpu:
GRUB_CMDLINE_LINUX="isolcpus=1,3"
验证方法:(1)cat /proc/cmdline
BOOT_IMAGE=/boot/vmlinuz-4.15.0-66-lowlatency root=UUID=ec9d0961-3c21-43c3-904d-91c4f0e1fde4 ro iommu=pt intel_iommu=on default_hugepagesz=1G hugepagesz=1G hugepages=8 isolcpus=0,1,2,3,4 quiet intel_pstate=disable
(2)可以查看当前进程的cpu affinity: $taskset -cp $$ 是否有已经被隔离的cpu
sudo grub-mkconfig -o /boot/grub/grub.cfg 
sudo reboot 
sudo ./testpmd -l 0-3 -n 4 -- -i --portmask=0x3 --nb-cores=2

端口所在的socket要和指定的core所在的socket相同:
查看端口所在的socket:
# List all the NICs with PCI address and device IDs.
lspci -nn | grep Eth
#Check the PCI device related numa node id:
cat /sys/bus/pci/devices/0000\:xx\:00.x/numa_node

4、绑定端口:
通过 dpdk-devbind -s查看端口状态 
dpdk-devbind -b vfio-pci ens3f0
dpdk-devbind -b vfio-pci ens3f1
去绑定可以使用:
dpdk-devbind -b ixgbe 0000:01:00.1
dpdk-devbind -b ixgbe 0000:01:00.0
n310的端口mtu要设置为9000.
5.搞完之后建议按照下面网址检查一遍配置:
https://doc.dpdk.org/guides-17.11/linux_gsg/nic_perf_intel_platform.html#

6.新建一个uhd的配置文件如下:
system:/etc/uhd/uhd.conf
user:/root/.uhd/uhd.conf
将https://files.ettus.com/manual/page_dpdk.html给出的配置拷贝到文件中,修改上面的mac地址为实际mac地址。

uhd_dpdk_eal_init
查看dpdk的配置选项,可根据这个函数设置到uhd.conf文件中

可以修改vim /etc/dpdk/interfaces 文件加入对应的端口,就不用每次重启都重新绑端口了
pci     0000:01:00.1    vfio-pci
pci     0000:01:00:0    vfio-pci
有时候重启帮端口可能会不成功,最后使用dpdk-devbind -s确认下

7、修改cpu的工作频率
https://www.cnblogs.com/276815076/p/5434295.html
修改为performance,以期最佳性能。

五:关于gnuradio:
比较好的指导文档:
Gnuradio培训:http://ettus.com.cn/peixun/27/

六:使用过程中问题总结:
1、本来环境是ok的,突然找不到设备,再执行下:
dnsmasq -i enp7s0f1 --dhcp-range=192.168.2.151,192.168.2.254 --except-interface=lo --bind-dynamic --no-daemon

2、报错:RuntimeError: RuntimeError: Error during RPC call to `claim'. Error message: Someone tried to claim this device again
https://www.mail-archive.com/[email protected]/msg07599.html
登陆到n310的arm,执行systemctl restart usrp-hwd.service
然后重新下载镜像ok
uhd_image_loader --args "type=n3xx,fpga=XG"
uhd_image_loader --args "type=n3xx,fpga=HG"
uhd_image_loader --args "type=n3xx,addr=192.168.2.230,fpga=XG"

3、修改linux为performance后,服务器重启后发现cpufreq-info查看发现不是此模式,需要将cpufreq重启一下
/etc/init.d/cpufrequtils restart
 

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章