版本信息:
ODP(Open Data Plane): 1.19.0.2
OFP(Open Fast Path): 3.0.0
1、存在的问题
OpenFastPath作为一个开源的用户态TCP/IP协议栈,其对用户提供的Socket API,无论是宏定义、数据结构还是函数,均以OFP_开头。如下图所示:
1 int ofp_socket(int, int, int);
2 int ofp_socket_vrf(int, int, int, int);
3 int ofp_accept(int, struct ofp_sockaddr *, ofp_socklen_t *);
4 int ofp_bind(int, const struct ofp_sockaddr *, ofp_socklen_t);
5 int ofp_connect(int, const struct ofp_sockaddr *, ofp_socklen_t);
6 int ofp_listen(int, int);
7 int ofp_shutdown(int, int);
8 int ofp_close(int);
9
10 struct ofp_timeval {
11 uint32_t tv_sec; /* seconds */
12 uint32_t tv_usec; /* microseconds */
13 };
14
15 /*
16 * Option flags per-socket, kept in so_options.
17 */
18 #define OFP_SO_DEBUG 0x00000001 /* turn on debugging info recording */
19 #define OFP_SO_ACCEPTCONN 0x00000002 /* socket has had listen() */
20 #define OFP_SO_REUSEADDR 0x00000004 /* allow local address reuse */
21 #define OFP_SO_KEEPALIVE 0x00000008 /* keep connections alive */
22 #define OFP_SO_DONTROUTE 0x00000010 /* just use interface addresses */
这样子的实现,会带来一个问题:即用户之前编写的基于Linux Socket的应用程序(比如用户基于Linux Socket编写的WebServer),如果想移植到OFP上,由于上述符号的差异,将需要大量的修改。
如何解决这一问题,是本文讨论的话题。
2、OFP提供的解决方案
OFP提供给用户的example中,已经提供了一种可行的方案。读者在理解OFP提供的方案之前,可以先看两个C语言中的基础知识。
(1)C语言的构造函数
在gcc下可以使用关键字__attribute__((constructor))指定构造函数。这些构造函数由编译器处理,在执行main函数之前,就会执行。构造函数的定义参考如下:
void __attribute__((constructor)) func(void)。func即会在程序执行main函数之前执行。
(2)程序运行时,动态库的搜索先后顺序。
-
LD_PRELOAD中指定的搜索路径。
-
LD_LIBRARY_PATH中指定的搜索路径。
-
配置文件/etc/ld.so.conf中指定的动态库。
-
默认的动态库搜索路径(/lib, /usr/lib)。
OFP提供的具体方案:
OFP在example中提供了两个库,其中ofp_netwrap_proc.so库用来实现ODP/OFP的配置以及初始化。ofp_netwrap_crt.so库用来实现符号的重载和参数的转换,这些系统调用包括:socket(), close(), shutdown()等。
ofp_netwrap_proc.so是使用构造函数的方法来实现ODP/OFP的配置以及初始化,具体代码参考(example/ofp_netwrap_proc/app_main.c):
1 __attribute__((constructor)) static void ofp_netwrap_main_ctor(void)
2 {
3 appl_args_t params;
4 int core_count, ret_val;
5 odp_cpumask_t cpumask;
6 char cpumaskstr[64];
7 odph_odpthread_params_t thr_params;
8
9 memset(¶ms, 0, sizeof(params));
10 if (parse_env(¶ms) != EXIT_SUCCESS)
11 return;
12
13 /*
14 * Before any ODP API functions can be called, we must first init ODP
15 * globals, e.g. availale accelerators or software implementations for
16 * shared memory, threads, pool, qeueus, sheduler, pktio, timer, crypto
17 * and classification.
18 */
19 if (odp_init_global(&netwrap_proc_instance, NULL, NULL)) {
20 printf("Error: ODP global init failed.\n");
21 return;
22 }
23 netwrap_state = NETWRAP_ODP_INIT_GLOBAL;
说明:ofp_netwrap_main_ctor函数为构造函数,此函数会在main之前执行,用来实现ODP/OFP初始化及线程创建(包括命令行线程)。OFP运行时需要指定的参数(比如-i eth0)则是通过环境变量传入的,环境变量名为OFP_NETWRAP_ENV。
ofp_netwrap_crt.so库重写了socket的系统调用,我们可以通过一个例子来分析一下(example/ofp_netwrap_crt/netwrap_socket.c)。
1 int close(int sockfd)
2 {
3 int close_value;
4
5 if (IS_OFP_SOCKET(sockfd)) {
6 close_value = ofp_close(sockfd);
7 errno = NETWRAP_ERRNO(ofp_errno);
8 } else if (libc_close)
9 close_value = (*libc_close)(sockfd);
10 else { /* pre init*/
11 LIBC_FUNCTION(close);
12
13 if (libc_close)
14 close_value = (*libc_close)(sockfd);
15 else {
16 close_value = -1;
17 errno = EACCES;
18 }
19 }
20
21 /*printf("Socket '%d' closed returns:'%d'\n",
22 sockfd, close_value);*/
23 return close_value;
24 }
说明:以close()函数为例,ofp_netwrap_crt.so重载了此函数,当判断出是属于OFP创建的socket时,则调用ofp_close()函数;而其他情况下,则调用libc_close指针(则指针可以参考LIBC_FUNCTION宏),是通过dlsym的方法加载到标准的C库socket函数。
ofp_netwrap_crt.so库同样提供了一个构造函数,此构造函数用来预加载所有的socket符号(example/ofp_netwrap_crt/netwrap.c)
1 __attribute__((constructor)) static void setup_wrappers(void)
2 {
3 printf("start to setup netwrap");
4 sleep(20); /* add for test */
5
6 setup_socket_wrappers();
7 setup_sockopt_wrappers();
8 setup_ioctl_wrappers();
9 setup_fork_wrappers();
10 setup_select_wrappers();
11 setup_uio_wrappers();
12 setup_sendfile_wrappers();
13 setup_epoll_wrappers();
14
15 printf("finish to setup netwrap");
16 }
3、具体例子
1)写一个标准的且简单的TCP服务端程序:
1 #include<stdio.h>
2 #include<stdlib.h>
3 #include<errno.h>
4 #include<string.h>
5 #include<sys/types.h>
6 #include<netinet/in.h>
7 #include<sys/socket.h>
8 #include<sys/wait.h>
9
10 #define PORT 1500
11 #define BACKLOG 5
12
13 int main(){
14 int sockfd,new_fd;
15 struct sockaddr_in my_addr;
16 struct sockaddr_in their_addr;
17 int sin_size;
18
19 sockfd=socket(AF_INET,SOCK_STREAM,0);
20 if(sockfd==-1){
21 printf("socket failed:%d",errno);
22 return -1;
23 }
24 my_addr.sin_family=AF_INET;
25 my_addr.sin_port=htons(PORT);
26 my_addr.sin_addr.s_addr=htonl(INADDR_ANY);
27 bzero(&(my_addr.sin_zero),8);
28 if(bind(sockfd,(struct sockaddr*)&my_addr,sizeof(struct sockaddr))<0){
29 printf("bind error");
30 return -1;
31 }
32
33 listen(sockfd,BACKLOG);
34 while(1){
35 sin_size=sizeof(struct sockaddr_in);
36 new_fd=accept(sockfd,(struct sockaddr*)&their_addr,&sin_size);
37 if(new_fd==-1){
38 printf("receive failed");
39 } else{
40 printf("receive success");
41 send(new_fd,"Hello World!",12,0);
42 }
43 }
44 return 0;
45 }
说明:此程序是标准的基于linux socket的TCP服务端程序,程序的功能是当TCP建链成功后,向客户端发送hello world!将此程序直接编译成可执行文件tcpsrv。
2)./configure --prefix=/usr/local --with-odp=/usr/local --with-config-flv=netwrap-webserver --enable-sp=no
说明:原生态Linux Socket应用运行在OFP上时,慢平面(sp)的功能必须disable,另外需要配置netwrap-webserver。然后make clean;make;make install
3)修改ofp提供的配置文件scripts/ofp_netwrap.cli,配置fp0接口的ip地址:ifconfig fp0 192.168.43.2/24
4)修改ofp提供的脚本文件scripts/ofp_netwrap.sh
#!/bin/bash
export ROOT_DIR="$( cd "$( dirname "${BASH_SOURCE[0]}" )" && pwd )"
export OFP_NETWRAP_ENV_DEFAULT="-i eth0 -f ${ROOT_DIR}/ofp_netwrap.cli"
export OFP_NETWRAP_ENV="${OFP_NETWRAP_ENV:-${OFP_NETWRAP_ENV_DEFAULT}}"
LD_PRELOAD=libofp_netwrap_crt.so.0.0.0:libofp.so.0.0.0:libofp_netwrap_proc.so.0.0.0 $@
其中,第二行是用来指定OFP运行时的网卡和配置文件,根据实际情况修改。最后一行通过LD_PRELOAD导入libofp_netwrap_crt.so和libofp_netwrap_proc.so库。这两个库的入口都是构造函数,前文已经讲过了。
5)运行原生态Linux应用。
./ofp_netwrap.sh ./ofp_netwrap.sh /home/tcp-example/tcpsrv
特别说明:之前运行时,程序一直coredump时,后来花了较多时间调试,发现是odp/ofp初始化时,需要调用linux socket创建的socket多达40多个,但当配置--with-config-flv=netwrap-webserver时,分配给linux创建的socket总数不大于20,而将ofp socket创建的socket id的编号分配从20开始。所以,odp/ofp初始化时编号20以后的socket将使用ofp_socket创建,这会导致问题。
解决方案:OFP_SOCK_NUM_OFFSET的值从20修改为60。
/**Socket handle values returned are in the interval:
* [OFP_SOCK_NUM_OFFSET, OFP_SOCK_NUM_OFFSET + OFP_NUM_SOCKETS_MAX] */
#if defined(OFP_CONFIG_WEBSERVER)
/**Maximum number of sockets. */
# define OFP_NUM_SOCKETS_MAX 60000
/**First socket number value. */
# define OFP_SOCK_NUM_OFFSET 1024
/**Maximum number of TCP PCBs. */
# define OFP_NUM_PCB_TCP_MAX 60000
# define OFP_TCP_MAX_CONNECTION_RATE
#elif defined(OFP_CONFIG_NETWRAP_WEBSERVER)
/**Maximum number of sockets. */
# define OFP_NUM_SOCKETS_MAX 1000
/**First socket number value. */
# define OFP_SOCK_NUM_OFFSET 60 /* modify form 20 to 60 */
/**Maximum number of TCP PCBs. */
# define OFP_NUM_PCB_TCP_MAX 65534
# define OFP_TCP_MAX_CONNECTION_RATE
#else /*OFP_CONFIG_DEFAULT*/
/**Maximum number of sockets. */
# define OFP_NUM_SOCKETS_MAX 1024
/**First socket number value. */
# define OFP_SOCK_NUM_OFFSET 1024
/**Maximum number of TCP PCBs. */
# define OFP_NUM_PCB_TCP_MAX 2048
#endif /* OFP_CONFIGS*/
configure时,配置了--with-config-flv=netwrap-webserver选项,OFP_CONFIG_NETWRAP_WEBSERVER宏将被定义。
4、测试结果
1)linux下执行ifconfig,没有fp0接口,说明慢平面的功能被关闭。
2)另外一台机器ping 192.168.43.2(ofp快平面配置的ip),可以ping通。
3)PC开启tcp客户端功能,看tcp功能是否正常。
原文出处:https://www.cnblogs.com/shaoyangz/p/10346060.html