AIRobot

AIRobot quick note


  • 首页

  • 关于

  • 标签

  • 分类

  • 归档

  • 搜索

select poll epoll简单性能测试

发表于 2019-06-16
本文字数: 23k 阅读时长 ≈ 21 分钟

select,poll,epoll是老生常谈的东西了,这次从应用上进行简单的性能对比测试。服务端以简单的代理服务器为基础进行对本地和百度网站的访问测试。

以下是服务端代码:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
154
155
156
157
158
159
160
161
162
163
164
165
166
167
168
169
170
171
172
173
174
175
176
177
178
179
180
181
182
183
184
185
186
187
188
189
190
191
192
193
194
195
196
197
198
199
200
201
202
203
204
205
206
207
208
209
210
211
212
213
214
215
216
217
218
219
220
221
222
223
224
225
226
227
228
229
230
231
232
233
234
235
236
237
238
239
240
241
242
243
244
245
246
247
248
249
250
251
252
253
254
255
256
257
258
259
260
261
262
263
264
265
266
267
268
269
270
271
272
273
274
275
276
277
278
279
280
281
282
283
284
285
286
287
288
289
290
291
292
293
294
295
296
297
298
299
300
301
302
303
304
305
306
307
308
309
310
311
312
313
314
315
316
317
318
319
320
321
322
323
324
325
326
327
328
329
330
331
332
333
334
335
336
337
338
339
340
341
342
343
344
345
346
347
348
349
350
351
352
353
354
355
356
357
358
359
360
361
362
363
364
365
366
367
368
369
370
371
372
373
374
375
376
377
378
379
380
381
382
383
384
385
386
387
388
389
390
391
392
393
394
395
396
397
398
399
400
401
402
403
404
405
406
407
408
409
410
411
412
413
414
415
416
417
418
419
420
421
422
423
424
425
426
427
428
429
430
431
432
433
434
435
436
437
438
439
440
441
442
443
444
445
446
447
448
449
450
451
452
453
454
455
456
457
458
459
460
461
462
463
464
465
466
467
468
469
470
471
472
473
474
475
476
477
478
479
480
481
482
483
484
485
486
487
488
489
490
491
492
493
494
495
496
497
498
499
500
501
502
503
504
505
506
507
508
509
510
511
512
513
514
515
516
517
518
519
520
521
522
523
524
525
526
527
528
529
530
531
532
533
534
535
536
537
538
539
540
541
542
543
544
545
546
547
548
549
550
551
552
553
554
555
556
557
558
559
560
561
562
563
564
565
566
567
568
569
570
571
572
573
574
575
576
577
578
579
580
581
582
583
584
585
586
587
588
589
590
591
592
593
594
595
596
597
598
599
600
601
602
603
604
605
606
607
608
609
610
611
612
613
614
615
616
617
618
619
620
621
622
623
624
625
626
627
628
629
630
631
632
633
634
635
636
637
638
639
640
641
642
643
644
645
646
647
648
649
650
651
652
653
654
655
656
657
658
659
660
661
662
663
664
665
666
667
668
669
670
671
672
673
674
675
676
677
678
679
680
681
682
683
684
685
686
687
688
689
690
691
692
693
694
695
696
697
698
699
700
701
702
703
704
705
706
707
708
709
710
711
712
713
714
715
716
717
718
719
720
721
722
723
724
725
726
727
728
729
730
731
732
733
734
735
736
737
738
739
740
741
742
743
744
745
746
747
748
749
750
751
752
753
754
755
756
757
758
759
760
761
762
763
764
765
766
767
768
769
770
771
772
773
774
775
776
777
778
779
780
781
782
783
784
785
786
787
788
789
790
791
792
793
794
795
796
797
798
799
800
801
802
803
804
805
806
807
808
809
810
811
812
813
814
815
816
817
818
819
820
821
822
823
824
825
826
827
828
829
830
831
832
833
834
835
836
837
838
839
840
841
842
843
844
845
846
847
848
849
850
851
852
#include <arpa/inet.h>
#include <errno.h>
#include <libgen.h>
#include <netdb.h>
#include <resolv.h>
#include <signal.h>
#include <stdio.h>
#include <stdlib.h>
#include <string.h>
#include <sys/socket.h>
#include <unistd.h>
#include <sys/wait.h>
#include <netinet/in.h>
#include <sys/select.h>
#include <sys/poll.h>
#include <sys/epoll.h>

#include <string.h>

#define BUF_SIZE 8192

#define READ 0
#define WRITE 1

#define DEFAULT_LOCAL_PORT 8080
#define DEFAULT_REMOTE_PORT 8081
#define SERVER_SOCKET_ERROR -1
#define SERVER_SETSOCKOPT_ERROR -2
#define SERVER_BIND_ERROR -3
#define SERVER_LISTEN_ERROR -4
#define CLIENT_SOCKET_ERROR -5
#define CLIENT_RESOLVE_ERROR -6
#define CLIENT_CONNECT_ERROR -7
#define CREATE_PIPE_ERROR -8
#define BROKEN_PIPE_ERROR -9
#define HEADER_BUFFER_FULL -10
#define BAD_HTTP_PROTOCOL -11

#define MAX_HEADER_SIZE 8192


#if defined(OS_ANDROID)
#include <android/log.h>

#define LOG(fmt...) __android_log_print(ANDROID_LOG_DEBUG,__FILE__,##fmt)

#else
#define LOG(fmt...) do { fprintf(stderr,"%s %s ",__DATE__,__TIME__); fprintf(stderr, ##fmt); } while(0)
#endif


char remote_host[128];
int remote_port;
int local_port;

int server_sock;
int client_sock;
int remote_sock;


char *header_buffer;


enum
{
FLG_NONE = 0, /* 正常数据流不进行编解码 */
R_C_DEC = 1, /* 读取客户端数据仅进行解码 */
W_S_ENC = 2 /* 发送到服务端进行编码 */
};

static int io_flag; /* 网络io的一些标志位 */
static int m_pid; /* 保存主进程id */



void server_loop();

void stop_server();

void handle_client(int client_sock);

void forward_header(int destination_sock);

void forward_data(int source_sock, int destination_sock);

void rewrite_header();

int send_data(int socket, char *buffer, int len);

int receive_data(int socket, char *buffer, int len);

void hand_mproxy_info_req(int sock, char *header_buffer);

void get_info(char *output);

const char *get_work_mode();

int create_connection();

int _main(int argc, char *argv[]);


ssize_t readLine(int fd, void *buffer, size_t n)
{
ssize_t numRead;
size_t totRead;
char *buf;
char ch;

if (n <= 0 || buffer == NULL) {
errno = EINVAL;
return -1;
}

buf = buffer;

totRead = 0;
for (;;) {
numRead = receive_data(fd, &ch, 1);

if (numRead == -1) {
if (errno == EINTR)
continue;
else
return -1; /* 未知错误 */

} else if (numRead == 0) { /* EOF */
if (totRead == 0) /* No bytes read; return 0 */
return 0;
else /* Some bytes read; add '\0' */
break;

} else {

if (totRead < n - 1) { /* Discard > (n - 1) bytes */
totRead++;
*buf++ = ch;
}

if (ch == '\n')
break;
}
}

*buf = '\0';
return totRead;
}

int read_header(int fd, void *buffer)
{
// bzero(header_buffer,sizeof(MAX_HEADER_SIZE));
memset(header_buffer, 0, MAX_HEADER_SIZE);
char line_buffer[2048];
char *base_ptr = header_buffer;

for (;;) {
memset(line_buffer, 0, 2048);

int total_read = readLine(fd, line_buffer, 2048);
if (total_read <= 0) {
return CLIENT_SOCKET_ERROR;
}
//防止header缓冲区蛮越界
if (base_ptr + total_read - header_buffer <= MAX_HEADER_SIZE) {
strncpy(base_ptr, line_buffer, total_read);
base_ptr += total_read;
} else {
return HEADER_BUFFER_FULL;
}

//读到了空行,http头结束
if (strcmp(line_buffer, "\r\n") == 0 || strcmp(line_buffer, "\n") == 0) {
break;
}

}
return 0;

}

void extract_server_path(const char *header, char *output)
{
char *p = strstr(header, "GET /");
if (p) {
char *p1 = strchr(p + 4, ' ');
strncpy(output, p + 4, (int) (p1 - p - 4));
}

}

int extract_host(const char *header)
{

char *_p = strstr(header, "CONNECT"); /* 在 CONNECT 方法中解析 隧道主机名称及端口号 */
if (_p) {
char *_p1 = strchr(_p, ' ');

char *_p2 = strchr(_p1 + 1, ':');
char *_p3 = strchr(_p1 + 1, ' ');

if (_p2) {
char s_port[10];
bzero(s_port, 10);

strncpy(remote_host, _p1 + 1, (int) (_p2 - _p1) - 1);
strncpy(s_port, _p2 + 1, (int) (_p3 - _p2) - 1);
remote_port = atoi(s_port);

} else {
strncpy(remote_host, _p1 + 1, (int) (_p3 - _p1) - 1);
remote_port = 80;
}


return 0;
}


char *p = strstr(header, "Host:");
if (!p) {
return BAD_HTTP_PROTOCOL;
}
char *p1 = strchr(p, '\n');
if (!p1) {
return BAD_HTTP_PROTOCOL;
}

char *p2 = strchr(p + 5, ':'); /* 5是指'Host:'的长度 */

if (p2 && p2 < p1) {

int p_len = (int) (p1 - p2 - 1);
char s_port[p_len];
strncpy(s_port, p2 + 1, p_len);
s_port[p_len] = '\0';
remote_port = atoi(s_port);

int h_len = (int) (p2 - p - 5 - 1);
strncpy(remote_host, p + 5 + 1, h_len); //Host:
//assert h_len < 128;
remote_host[h_len] = '\0';
} else {
int h_len = (int) (p1 - p - 5 - 1 - 1);
strncpy(remote_host, p + 5 + 1, h_len);
//assert h_len < 128;
remote_host[h_len] = '\0';
remote_port = 80;
}
return 0;
}

/* 响应隧道连接请求 */
int send_tunnel_ok(int client_sock)
{
char *resp = "HTTP/1.1 200 Connection Established\r\n\r\n";
int len = strlen(resp);
char buffer[len + 1];
strcpy(buffer, resp);
if (send_data(client_sock, buffer, len) < 0) {
perror("Send http tunnel response failed\n");
return -1;
}
return 0;
}


//返回mproxy的运行基本信息
void hand_mproxy_info_req(int sock, char *header)
{
char server_path[255];
char response[8192];
extract_server_path(header, server_path);

LOG("server path:%s\n", server_path);
char info_buf[1024];
get_info(info_buf);
sprintf(response, "HTTP/1.0 200 OK\nServer: MProxy/0.1\n\
Content-type: text/html; charset=utf-8\n\n\
<html><body>\
<pre>%s</pre>\
</body></html>\n", info_buf);


write(sock, response, strlen(response));

}

/* 获取运行的基本信息输出到指定的缓冲区 */
void get_info(char *output)
{
int pos = 0;
char line_buffer[512];
sprintf(line_buffer, "======= mproxy (v0.1) ========\n");
int len = strlen(line_buffer);
memcpy(output, line_buffer, len);
pos += len;

sprintf(line_buffer, "%s\n", get_work_mode());
len = strlen(line_buffer);
memcpy(output + pos, line_buffer, len);
pos += len;

if (strlen(remote_host) > 0) {
sprintf(line_buffer, "start server on %d and next hop is %s:%d\n", local_port, remote_host, remote_port);

} else {
sprintf(line_buffer, "start server on %d\n", local_port);
}

len = strlen(line_buffer);
memcpy(output + pos, line_buffer, len);
pos += len;

output[pos] = '\0';

}


const char *get_work_mode()
{

if (strlen(remote_host) == 0) {
if (io_flag == FLG_NONE) {
return "start as normal http proxy";
} else if (io_flag == R_C_DEC) {
return "start as remote forward proxy and do decode data when recevie data";
}

} else {
if (io_flag == FLG_NONE) {
return "start as remote forward proxy";
} else if (io_flag == W_S_ENC) {
return "start as forward proxy and do encode data when send data";
}
}

return "unknow";

}

/* 处理客户端的连接 */
void handle_client(int client_sock)
{
int is_http_tunnel = 0;
if (strlen(remote_host) == 0) /* 未指定远端主机名称从http 请求 HOST 字段中获取 */
{

#ifdef DEBUG
LOG(" ============ handle new client ============\n");
LOG(">>>Header:%s\n",header_buffer);
#endif

if (read_header(client_sock, header_buffer) < 0) {
LOG("Read Http header failed\n");
return;
} else {
char *p = strstr(header_buffer, "CONNECT"); /* 判断是否是http 隧道请求 */
if (p) {
LOG("receive CONNECT request\n");
is_http_tunnel = 1;
}

if (strstr(header_buffer, "GET /mproxy") > 0) {
LOG("====== hand mproxy info request ====");
//返回mproxy的运行基本信息
hand_mproxy_info_req(client_sock, header_buffer);

return;
}

if (extract_host(header_buffer) < 0) {
LOG("Cannot extract host field,bad http protrotol");
return;
}
LOG("Host:%s port: %d io_flag:%d\n", remote_host, remote_port, io_flag);

}
}

if ((remote_sock = create_connection()) < 0) {
LOG("Cannot connect to host [%s:%d]\n", remote_host, remote_port);
return;
}

if (fork() == 0) { // 创建子进程用于从客户端转发数据到远端socket接口

if (strlen(header_buffer) > 0 && !is_http_tunnel) {
forward_header(remote_sock); //普通的http请求先转发header
}

forward_data(client_sock, remote_sock);
exit(0);
}

if (fork() == 0) { // 创建子进程用于转发从远端socket接口过来的数据到客户端

if (io_flag == W_S_ENC) {
io_flag = R_C_DEC; //发送请求给服务端进行编码,读取服务端的响应则进行解码
} else if (io_flag == R_C_DEC) {
io_flag = W_S_ENC; //接收客户端请求进行解码,那么响应客户端请求需要编码
}

if (is_http_tunnel) {
send_tunnel_ok(client_sock);
}

forward_data(remote_sock, client_sock);
exit(0);
}

close(remote_sock);
close(client_sock);
}

void forward_header(int destination_sock)
{
rewrite_header();
#ifdef DEBUG
LOG("================ The Forward HEAD =================");
LOG("%s\n",header_buffer);
#endif

int len = strlen(header_buffer);
send_data(destination_sock, header_buffer, len);
}

int send_data(int socket, char *buffer, int len)
{

if (io_flag == W_S_ENC) {
int i;
for (i = 0; i < len; i++) {
buffer[i] ^= 1;

}
}

return send(socket, buffer, len, 0);
}

int receive_data(int socket, char *buffer, int len)
{
int n = recv(socket, buffer, len, 0);
if (io_flag == R_C_DEC && n > 0) {
int i;
for (i = 0; i < n; i++) {
buffer[i] ^= 1;
// printf("%d => %d\n",c,buffer[i]);
}
}

return n;
}


/* 代理中的完整URL转发前需改成 path 的形式 */
void rewrite_header()
{
char *p = strstr(header_buffer, "http://");
char *p0 = strchr(p, '\0');
char *p5 = strstr(header_buffer, "HTTP/"); /* "HTTP/" 是协议标识 如 "HTTP/1.1" */
int len = strlen(header_buffer);
if (p) {
char *p1 = strchr(p + 7, '/');
if (p1 && (p5 > p1)) {
//转换url到 path
memcpy(p, p1, (int) (p0 - p1));
int l = len - (p1 - p);
header_buffer[l] = '\0';


} else {
char *p2 = strchr(p, ' '); //GET http://3g.sina.com.cn HTTP/1.1

// printf("%s\n",p2);
memcpy(p + 1, p2, (int) (p0 - p2));
*p = '/'; //url 没有路径使用根
int l = len - (p2 - p) + 1;
header_buffer[l] = '\0';

}
}
}


void forward_data(int source_sock, int destination_sock)
{
char buffer[BUF_SIZE];
int n;

while ((n = receive_data(source_sock, buffer, BUF_SIZE)) > 0) {

send_data(destination_sock, buffer, n);
}

shutdown(destination_sock, SHUT_RDWR);

shutdown(source_sock, SHUT_RDWR);
}


int create_connection()
{
struct sockaddr_in server_addr;
struct hostent *server;
int sock;

if ((sock = socket(AF_INET, SOCK_STREAM, 0)) < 0) {
return CLIENT_SOCKET_ERROR;
}

if ((server = gethostbyname(remote_host)) == NULL) {
errno = EFAULT;
return CLIENT_RESOLVE_ERROR;
}
LOG("======= forward request to remote host:%s port:%d ======= \n", remote_host, remote_port);
memset(&server_addr, 0, sizeof(server_addr));
server_addr.sin_family = AF_INET;
memcpy(&server_addr.sin_addr.s_addr, server->h_addr, server->h_length);
server_addr.sin_port = htons(remote_port);

if (connect(sock, (struct sockaddr *) &server_addr, sizeof(server_addr)) < 0) {
return CLIENT_CONNECT_ERROR;
}

return sock;
}


int create_server_socket(int port)
{
int server_sock, optval;
struct sockaddr_in server_addr;

if ((server_sock = socket(AF_INET, SOCK_STREAM, 0)) < 0) {
return SERVER_SOCKET_ERROR;
}

if (setsockopt(server_sock, SOL_SOCKET, SO_REUSEADDR, &optval, sizeof(optval)) < 0) {
return SERVER_SETSOCKOPT_ERROR;
}

memset(&server_addr, 0, sizeof(server_addr));
server_addr.sin_family = AF_INET;
server_addr.sin_port = htons(port);
server_addr.sin_addr.s_addr = INADDR_ANY;

if (bind(server_sock, (struct sockaddr *) &server_addr, sizeof(server_addr)) != 0) {
return SERVER_BIND_ERROR;
}

if (listen(server_sock, 20) < 0) {
return SERVER_LISTEN_ERROR;
}

return server_sock;
}

/* 处理僵尸进程 */
void sigchld_handler(int signal)
{
while (waitpid(-1, NULL, WNOHANG) > 0);
}


void server_loop()
{
struct sockaddr_in client_addr;
socklen_t addrlen = sizeof(client_addr);

while (1) {
client_sock = accept(server_sock, (struct sockaddr *) &client_addr, &addrlen);

if (fork() == 0) { // 创建子进程处理客户端连接请求
close(server_sock);
handle_client(client_sock);
exit(0);
}
close(client_sock);
}

}

void server_select()
{
int fdArray[sizeof(fd_set)<<3];
fdArray[0] = server_sock;
int num = sizeof(fdArray)/sizeof(fdArray[0]);
for(int i=1;i<num;++i)
fdArray[i] = -1;
while(1)
{
fd_set rfds;
FD_ZERO(&rfds);
int max = fdArray[0];
for(int i=0;i<num;++i)
{
if(fdArray[i]>=0)
{
FD_SET(fdArray[i], &rfds);
max = max>fdArray[i]?max:fdArray[i];
}
}
struct timeval timeout = {5, 0};
switch(select(max+1, &rfds, NULL, NULL, &timeout))
{
case 0:
printf("timeout\n");
break;
case -1:
perror("select");
break;
default:
{
for(int i=0;i<num;++i)
{
if(fdArray[i]==-1)
continue;
if(i==0 && fdArray[i]==server_sock && FD_ISSET(fdArray[i], &rfds))
{
struct sockaddr_in client_addr;
socklen_t addrlen = sizeof(client_addr);
int new_sock = accept(server_sock, (struct sockaddr *) &client_addr, &addrlen);
handle_client(new_sock);
close(new_sock);
}
}
}
}
}
}


void server_poll()
{
struct pollfd peerfd[1024];
peerfd[0].fd = server_sock;
peerfd[0].events = POLLIN;
int nfds = 1;
int ret;
int maxsize = sizeof(peerfd)/sizeof(peerfd[0]);
int timeout = -1;
for(int i=1;i<maxsize;++i)
peerfd[i].fd = -1;
while(1)
{
switch (ret = poll(peerfd, nfds, timeout))
{
case 0:
printf("timeout\n");
break;
case -1:
perror("poll");
break;
default:
{
for(int i=0;i<maxsize;++i)
{
struct sockaddr_in client_addr;
socklen_t addrlen = sizeof(client_addr);
if ((peerfd[i].fd == server_sock) && (peerfd[i].revents & POLLIN))
{
int new_sock = accept(server_sock, (struct sockaddr *) &client_addr, &addrlen);
int j = 1;
for ( ; j < maxsize; ++j) {
if (peerfd[j].fd < 0) {
peerfd[j].fd = new_sock;
peerfd[j].events = POLLIN;
peerfd[j].revents = 0;
break;
}
}
if (j == maxsize) {
printf("too many connections.\n");
close(new_sock);
}
if (j + 1 > nfds)
nfds = j + 1;
}
else if((peerfd[i].fd>0) &&(peerfd[i].revents & POLLIN))
{
handle_client(peerfd[i].fd);
close(peerfd[i].fd);
peerfd[i].fd = -1;
}
}
}
}
}

}


void server_epoll()
{
int epollfd = epoll_create(1024);
if(epollfd<0)
{
perror("epoll_create");
}
struct epoll_event ev;
ev.events = EPOLLIN;
ev.data.fd = server_sock;
if(epoll_ctl(epollfd, EPOLL_CTL_ADD, server_sock, &ev)<0)
{
perror("epoll_ctl");
}
int evnums = 0;
struct epoll_event evs[1024];
int timeout = -1;
while(1)
{
switch(evnums = epoll_wait(epollfd, evs, 1024, timeout))
{
case 0:
printf("timeout\n");
break;
case -1:
perror("epoll_wait");
break;
default:
{
for(int i=0;i<evnums;++i)
{
struct sockaddr_in client;
socklen_t len = sizeof(client);
if(evs[i].data.fd == server_sock && evs[i].events & EPOLLIN)
{
int new_sock = accept(server_sock, (struct sockaddr *) &client, &len);
ev.data.fd = new_sock;
ev.events = EPOLLIN;
epoll_ctl(epollfd, EPOLL_CTL_ADD, new_sock, &ev);
}
else if(evs[i].data.fd>0 && evs[i].events & EPOLLIN)
{
handle_client(evs[i].data.fd);
close(evs[i].data.fd);
epoll_ctl(epollfd, EPOLL_CTL_DEL, evs[i].data.fd, NULL);
}
}
}
}
}
}


void stop_server()
{
kill(m_pid, SIGKILL);
}

void usage(void)
{
printf("Usage:\n");
printf(" -l <port number> specifyed local listen port \n");
printf(" -h <remote server and port> specifyed next hop server name\n");
printf(" -d <remote server and port> run as daemon\n");
printf("-E encode data when forwarding data\n");
printf("-D decode data when receiving data\n");
exit(8);
}

void start_server(int daemon)
{
//初始化全局变量
header_buffer = (char *) malloc(MAX_HEADER_SIZE);

signal(SIGCHLD, sigchld_handler); // 防止子进程变成僵尸进程

if ((server_sock = create_server_socket(local_port)) < 0) { // start server
LOG("Cannot run server on %d\n", local_port);
exit(server_sock);
}

if (daemon) {
pid_t pid;
if ((pid = fork()) == 0) {
server_loop();
} else if (pid > 0) {
m_pid = pid;
LOG("mporxy pid is: [%d]\n", pid);
close(server_sock);
} else {
LOG("Cannot daemonize\n");
exit(pid);
}

} else {
//这里修改服务模式
server_loop();
// server_select();
// server_poll();
// server_epoll();
}

}

int main(int argc, char *argv[])
{
return _main(argc, argv);
}

int _main(int argc, char *argv[])
{
local_port = DEFAULT_LOCAL_PORT;
io_flag = FLG_NONE;
int daemon = 0;

char info_buf[2048];

int opt;
char optstrs[] = ":l:h:dED";
char *p = NULL;
while (-1 != (opt = getopt(argc, argv, optstrs))) {
switch (opt) {
case 'l':
local_port = atoi(optarg);
break;
case 'h':
p = strchr(optarg, ':');
if (p) {
strncpy(remote_host, optarg, p - optarg);
remote_port = atoi(p + 1);
} else {
strncpy(remote_host, optarg, strlen(remote_host));
}
break;
case 'd':
daemon = 1;
break;
case 'E':
io_flag = W_S_ENC;
break;
case 'D':
io_flag = R_C_DEC;
break;
case ':':
printf("\nMissing argument after: -%c\n", optopt);
usage();
case '?':
printf("\nInvalid argument: %c\n", optopt);
default:
usage();
}
}

get_info(info_buf);
LOG("%s\n", info_buf);
start_server(daemon);
return 0;

}

测试时使用的命令

1
2
3
4
5
6
7
8
webbench -c 1 http://la.airobot.link:8080/mproxy | grep Speed
webbench -c 10 http://la.airobot.link:8080/mproxy | grep Speed
webbench -c 100 http://la.airobot.link:8080/mproxy | grep Speed
webbench -c 1000 http://la.airobot.link:8080/mproxy | grep Speed
webbench -c 1 -p la.airobot.link:8080 https://www.baidu.com/ | grep Speed
webbench -c 10 -p la.airobot.link:8080 https://www.baidu.com/ | grep Speed
webbench -c 100 -p la.airobot.link:8080 https://www.baidu.com/ | grep Speed
webbench -c 1000 -p la.airobot.link:8080 https://www.baidu.com/ | grep Speed

分别模拟了1,10,100,1000个客户端访问服务器和通过服务器代理访问百度。
以下是使用webbench进行测试的结果表格,单位是pages/min。

客户端数 fork select poll epoll proxy_fork proxy_select proxy_poll proxy_epoll
1 7828 4932 12344 11120 5328 13140 4184 9546
10 39284 43848 67988 49718 47682 37224 68762 116912
100 46978 88650 63198 98566 94346 93330 93234 109246
1000 62710 60672 65728 101764 85542 92488 137546 90726

epoll在高并发低活跃数时比较占优势。

select poll epoll socket编程示例详解

发表于 2019-06-10 更新于 2019-06-26
本文字数: 27k 阅读时长 ≈ 24 分钟

socket编程

socket这个词可以表示很多概念,在TCP/IP协议中“IP地址 + TCP或UDP端口号”唯一标识网络通讯中的一个进程,“IP + 端口号”就称为socket。在TCP协议中,建立连接的两个进程各自有一个socket来标识,那么两个socket组成的socket pair就唯一标识一个连接。

预备知识

网络字节序:内存中多字节数据相对于内存地址有大端小端之分,磁盘文件中的多字节数据相对于文件中的偏移地址也有大端小端之分。网络数据流同样有大端小端之分,所以发送主机通常将发送缓冲区中的数据按内存地址从低到高的顺序发出,接收主机把从网络上接收到的字节按内存从低到高的顺序保存,因此网络数据流的地址应该规定:先发出的数据是低地址,后发出的数据是高地址。TCP/IP协议规定网络数据流应该采用大端字节序,即低地址高字节。所以发送主机和接收主机是小段字节序的在发送和接收之前需要做字节序的转换。

为了使网络程序具有可移植性可以调用以下函数进行网络字节数的转换。

1
2
3
4
5
#include <arpa/inet.h>
uint32_t htonl(uint32_t hostlong);
uint16_t htons(uint16_t hostshort);
uint32_t ntohl(uint32_t netlong);
uint16_t ntohs(uint16_t netshort);

socket地址数据类型及相关函数

sockaddr数据结构

IPv6和UNIXDomain Socket的地 址类型分别定义为常数AF_INET、AF_INET6、AF_UNIX。这样,只要取得某种sockaddr结构体的首地址,不需要知道具体是哪种类型的sockaddr结构体,就可以根据地址类型字段确定结构体中的 内容。因此,socket API可以接受各种类型的sockaddr结构体指针做参数,例如bind、accept、connect等函数,这些函数的参数应该设计成void *类型以便接受各种类型的指 针,但是sock API的实现早于ANSI C标准化,那时还没有空指针类型这些函数的参数都⽤用struct sockaddr 类型表示,在传递参数之前要强制类型转换一下。

本次只介绍基于IPv4的socket网络编程,sockaddr_in中的成员struct in_addr sin_addr表⽰示32位的IP 地址。但是我们通常⽤用点分十进制的字符串表示IP 地址,以下函数可以在字符串表⽰示 和in_addr表⽰示之间转换。也就是说可以将字符串转换成in_addr类型,也可以将本地字节转换成网络字节。相反由同样有从网络转换到本地的函数具体的用法我们下面的代码中来看。

#include <sys/socket.h>
#include <netinet/in.h>
#include <arpa/inet.h>
   int inet_aton(const char *cp, struct in_addr *inp);
   in_addr_t inet_addr(const char *cp);

   in_addr_t inet_network(const char *cp);

   char *inet_ntoa(struct in_addr in);

   struct in_addr inet_makeaddr(int net, int host);

   in_addr_t inet_lnaof(struct in_addr in)

tcpsocket 实现

实现模型:

1.服务器端 socket -> bind -> listen -> accept(阻塞,三次握手)-> send。

2.客户端 socket -> connect(阻塞,三次握手)-> rcv。
函数介绍:

int socket(int family, int type, int protocol)
family :指定协议的类型本次选择AF_INET(IPv4协议)。

type:网络数据类型,TCP是面向字节流的—SOCK_STREAM.

protocol:前两个参数一般确定了协议类型通常传0.

返回值:成功返回套接字符。

失败返回-1设置相关错误码。

int bind(int sockfd, const struct sockaddr *servaddr, socklen_t addrlen)

sockfd : socket函数成功时候返回的套接字描述符。

servaddr :服务器的IP和端口。

addrlen : 长度(sizeof(servaddr))。

返回值:成功返回0

失败返回-1,并设置相关错误码。

int listen(int sockfd, int backlog)

sockfd: socket函数成功时候返回的套接字描述符。

backlog : 内核中套接字排队的最大个数。

返回值:成功返回0

失败返回-1,并设置相关错误码。

int accept(int sockfd, const struct sockaddr *servaddr, socklen_t *addrlen)

sockfd : socket函数成功时候返回的套接字描述符。

servaddr : 输出型参数,客户端的ip和端口。

addrlen : 长度(sizeof(servaddr))。

返回值:成功:从监听套接字返回已连接套接字

失败:失败返回-1,并设置相关错误码。

int connect(int sockfd, const struct sockaddr *servaddr, socklen_t addrlen)

sockfd:函数返回的套接字描述符

servaddr :服务器的IP和端口

addrlen : 长度(sizeof(servaddr))。

返回值:成功返回0

失败返回-1,并设置相关错误码

实现代码
server.c

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
#include<stdio.h>
#include<sys/types.h>
#include<sys/socket.h>
#include<unistd.h>
#include<netinet/in.h>
#include<arpa/inet.h>
#include<stdlib.h>
#include<string.h>
static usage(const char* proc)
{
printf("Usage:%s[local-ip][local-port]\n",proc);
}
static int start_up(const char *local_ip,int local_port)
{
//1.create sock
int sock = socket(AF_INET,SOCK_STREAM,0);
if(sock < 0)
{
perror("socket");
close(sock);
exit(1);
}
//2,createbind
struct sockaddr_in local;
bzero(&local,sizeof(local));
local.sin_family = AF_INET;
local.sin_port = htons(local_port);
local.sin_addr.s_addr = inet_addr(local_ip);
if( bind(sock,(struct sockaddr *)&local,sizeof(local)) < 0)
{
perror("bind");
close(sock);
exit(2);
}
//3.listen
if(listen(sock,10) < 0)
{
perror("listen");
close(sock);
exit(3);
}
return sock;

}
int main(int argc, char *argv[])
{
if(argc != 3)
{
usage(argv[0]);
}
int sock = start_up(argv[1],atoi(argv[2]));
struct sockaddr_in client;
socklen_t len = sizeof(client);
while(1)
{
int new_sock = accept(sock,(struct sockaddr*)&client, &len);
if(new_sock < 0)
{
perror("accept");
close(sock);
return 1;
}
printf("client_ip:%s client_port:%d\n",inet_ntoa(client.sin_addr),ntohs(client.sin_port));
char buf[1024];
while(1)
{
ssize_t s = read(new_sock,buf,sizeof(buf)-1);
if(s > 0)
{
buf[s] = 0;
printf("client say# %s",buf);
}
else if(s == 0)
{
printf("client quit!\n");
break;
}
write(new_sock,buf, strlen(buf));
}
}

close(sock);
return 0;
}

client.c

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
#include<stdio.h>
#include<sys/types.h>
#include<sys/socket.h>
#include<unistd.h>
#include<netinet/in.h>
#include<arpa/inet.h>
#include<stdlib.h>
#include<string.h>
static void usage(const char* proc)
{
printf("Usage:%s [server-ip] [server-port]",proc);
}
int main(int argc,char *argv[])
{
if(argc != 3)
{
usage(argv[0]);
}
int sock = socket(AF_INET,SOCK_STREAM,0);
if(sock < 0)
{
perror("socket");
return 1;
}
struct sockaddr_in server;
server.sin_family = AF_INET;
server.sin_port = htons(atoi(argv[2]));
server.sin_addr.s_addr = inet_addr(argv[1]);
if(connect(sock,(struct sockaddr *)&server,sizeof(server)) < 0)
{
perror("connect");
return 2;
}
while(1)
{
printf("please Entry#");
fflush(stdout);
char buf[1024];
ssize_t s = read(0,buf,sizeof(buf)-1);
if(s > 0)//read success
{
buf[s] = 0;
}
write(sock,buf,strlen(buf));
ssize_t _s = read(sock,buf,sizeof(buf)-1);
if(_s > 0)
{
buf[_s - 1] = 0;
printf("server echo# %s\n",buf);
}
}
close(sock);
return 0;
}

上述代码只可以处理单个用户,为了可以处理多个用户请求我们可以编写多进程或者多线程的TCP套接字。完整代码如下。

多进程TCPsocket

https://coding.net/u/Hyacinth_Dy/p/MyCode/git/blob/master/%E5%A4%9A%E8%BF%9B%E7%A8%8BTCP%E5%A5%97%E6%8E%A5%E5%AD%97

多线程TCPsocket

https://coding.net/u/Hyacinth_Dy/p/MyCode/git/blob/master/%E5%A4%9A%E7%BA%BF%E7%A8%8BTcp%E5%A5%97%E6%8E%A5%E5%AD%97

对于上述代码就是进程或是线程执行到这些函数时必须等待某个事件的发生,如果事件没有发生,进程或线程就被阻塞,函数不能立即在性能上并不是合理的选择,因此我们需要提高代码的性能。下面介绍三种常用的高性能套接字编程方法。

I/O多路复用之select函数

select函数预备知识

struct fd_set可以理解为一个集合,这个集合中存放的是文件描述符(file descriptor),即文件句柄,这可以是我们所说的普通意义的文件,当然Unix下任何设备、管道、FIFO等都是文件形式,全部包括在内,所以毫无疑问一个socket就是一个文件,socket句柄就是一个文件描述符。fd_set集合可以通过一些宏由人为来操作。

(1) FD_CLR(inr fd,fd_set* set):用来清除描述词组set中相关fd 的位

(2)FD_ISSET(int fd,fd_set *set):用来测试描述词组set中相关fd 的位是否为真

FD_SET(int fd,fd_set*set):用来设置描述词组set中相关fd的位

2.struct timeval是一个大家常用的结构,用来代表时间值,有两个成员,一个是秒数,另一个是毫秒数。

FD_ZERO(fd_set *set);用来清除描述词组set的全部位
select函数介绍

int select(int maxfdp,fd_set *readfds,fd_set *writefds,fd_set *errorfds,struct timeval *timeout);

maxfdp : 需要监视的最大文件描述符加1。

readfds、writefds、errorfds:分别对应于需要检测的可读文件描述符的集合,可写文件描述符的集 合及异常文件描述符的集合。

timeout:等待时间,这个时间内,需要监视的描述符没有事件
发⽣生则函数返回,返回值为0。设为NULL 表示阻塞式等待,一直等到有事件就绪,函数才会返回,0表示非阻塞式等待,没有事件就立即返回,大于0表示等待的时间。

返回值:大于0表示就绪时间的个数,等于0表示timeout等待时间到了,小于0表示调用失败。

select函数原理

select系统调用是用来让我们的程序监视多个文件句柄的状态变化的。程序会停在select这⾥里等待,直到被监视的文件句柄有一个或多个发⽣生了状态改变。关于文件句柄,其实就是⼀一个整数,我们最熟悉的句柄是0、1、2三个,0是标准输入,1是标准输出,2是标准错误输出。0、1、2是整数表示的,对应的FILE *结构的表示就是stdin、stdout、stderr。

1.我们通常需要额外定义一个数组来保存需要监视的文件描述符,并将其他没有保存描述符的位置初始化为一个特定值,一般为-1,这样方便我们遍历数组,判断对应的文件描述符是否发生了相应的事件。

2.采用上述的宏操作FD_SET(int fd,fd_set*set)遍历数组将关心的文件描述符设置到对应的事件集合里。并且每次调用之前都需要遍历数组,设置文件描述符。

3.调用select函数等待所关心的文件描述符。有文件描述符上的事件就绪后select函数返回,没有事件就绪的文件描述符在文件描述符集合中对应的位置会被置为0,这就是上述第二步的原因。

4.select 返回值大于0表示就绪的文件描述符的个数,0表示等待时间到了,小于0表示调用失败,因此我们可以遍历数组采用FD_ISSET(int fd,fd_set *set)判断哪个文件描述符上的事件就绪,然后执行相应的操作。

采用select的tcp socket实现代码。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
154
155
156
157
#include<stdio.h>
#include<sys/types.h>
#include<sys/socket.h>
#include<unistd.h>
#include<netinet/in.h>
#include<arpa/inet.h>
#include<stdlib.h>
#include<string.h>
#include<sys/time.h>
static void Usage(const char* proc)
{
printf("%s [local_ip] [local_port]\n",proc);
}
int array[4096];
static int start_up(const char* _ip,int _port)
{
int sock = socket(AF_INET,SOCK_STREAM,0);
if(sock < 0)
{
perror("socket");
exit(1);
}
struct sockaddr_in local;
local.sin_family = AF_INET;
local.sin_port = htons(_port);
local.sin_addr.s_addr = inet_addr(_ip);
if(bind(sock,(struct sockaddr*)&local,sizeof(local)) < 0)
{
perror("bind");
exit(2);
}
if(listen(sock,10) < 0)
{
perror("listen");
exit(3);
}
return sock;
}
int main(int argc,char* argv[])
{
if(argc != 3)
{
Usage(argv[0]);
return -1;
}
int listensock = start_up(argv[1],atoi(argv[2]));
int maxfd = 0;
fd_set rfds;
fd_set wfds;
array[0] = listensock;
int i = 1;
int array_size = sizeof(array)/sizeof(array[0]);
for(; i < array_size;i++)
{
array[i] = -1;
}
while(1)
{
FD_ZERO(&rfds);
FD_ZERO(&wfds);
for(i = 0;i < array_size;++i)
{
if(array[i] > 0)
{
FD_SET(array[i],&rfds);
FD_SET(array[i],&wfds);
if(array[i] > maxfd)
{
maxfd = array[i];
}
}
}
switch(select(maxfd + 1,&rfds,&wfds,NULL,NULL))
{
case 0:
{
printf("timeout\n");
break;
}
case -1:
{
perror("select");
break;
}
default:
{
int j = 0;
for(; j < array_size; ++j)
{
if(j == 0 && FD_ISSET(array[j],&rfds))
{
//listensock happened read events
struct sockaddr_in client;
socklen_t len = sizeof(client);
int new_sock = accept(listensock,(struct sockaddr*)&client,&len);
if(new_sock < 0)//accept failed
{
perror("accept");
continue;
}
else//accept success
{
printf("get a new client%s\n",inet_ntoa(client.sin_addr));
fflush(stdout);
int k = 1;
for(; k < array_size;++k)
{
if(array[k] < 0)
{
array[k] = new_sock;
if(new_sock > maxfd)
maxfd = new_sock;
break;
}
}
if(k == array_size)
{
close(new_sock);
}
}
}//j == 0
else if(j != 0 && FD_ISSET(array[j], &rfds))
{
//new_sock happend read events
char buf[1024];
ssize_t s = read(array[j],buf,sizeof(buf) - 1);
if(s > 0)//read success
{
buf[s] = 0;
printf("clientsay#%s\n",buf);
if(FD_ISSET(array[j],&wfds))
{
char *msg = "HTTP/1.0 200 OK <\r\n\r\n<html><h1>yingying beautiful</h1></html>\r\n";
write(array[j],msg,strlen(msg));

}
}
else if(0 == s)
{
printf("client quit!\n");
close(array[j]);
array[j] = -1;
}
else
{
perror("read");
close(array[j]);
array[j] = -1;
}
}//else j != 0
}
break;
}
}
}
return 0;
}

client端同上面tcpsocket端相同。

select的优缺点

优点:

(1)select的可移植性好,在某些unix下不支持poll.

(2)select对超时值提供了很好的精度,精确到微秒,而poll式毫秒。

缺点:

(1)单个进程可监视的fd数量被限制,默认是1024。

(2)需要维护一个用来存放大量fd的数据结构,这样会使得用户空间和内核空间在传递该结构时复制开销大。

(3)对fd进行扫描时是线性扫描,fd剧增后,IO效率降低,每次调用都对fd进行线性扫描遍历,随着fd的增加会造成遍历速度慢的问题。

(4)select函数超时参数在返回时也是未定义的,考虑到可移植性,每次超时之后进入下一个select之前都要重新设置超时参数。

I/O多路复用之poll函数

poll函数预备知识

不同于select函数poll采用一个pollfd指针向内核传递需要关心的描述符及其相关事件。

fd : 需要关心的文件描述符

events : 需要关心的事件,合法事件如下

POLLIN         有数据可读。

POLLRDNORM      有普通数据可读。

POLLRDBAND      有优先数据可读。

POLLPRI        有紧迫数据可读。

POLLOUT       写数据不会导致阻塞。

POLLWRNORM      写普通数据不会导致阻塞。

POLLWRBAND      写优先数据不会导致阻塞。

POLLMSGSIGPOLL     消息可用。

revents : 关心的事件就绪时 revents会被设置成上述对应的事件,除此之外还可能设置为如下内容。

POLLER   指定的文件描述符发生错误。

POLLHUP   指定的文件描述符挂起事件。

POLLNVAL  指定的文件描述符非法。

poll函数介绍

#include <poll.h>
int poll ( struct pollfd * fds, unsigned int nfds, int timeout);

参数介绍:

fds : 对应上述介绍的结构体指针

nfds : 标记数组中结构体元素的总个数。

timeout : 超时时间 ,等于0表示非阻塞式等待,小于0表示阻塞式等待,大于0表示等待的时间。

返回值:

成功时返回fds数组中事件就绪的文件描述符的个数

返回0表示超时时间到了。

返回-1表示调用失败,对应的错误码会被设置。

EBADF   一个或多个结构体中指定的文件描述符无效。

EFAULTfds   指针指向的地址超出进程的地址空间。

EINTR     请求的事件之前产生一个信号,调用可以重新发起。

EINVALnfds  参数超出PLIMIT_NOFILE值。

ENOMEM   可用内存不足,无法完成请求。

poll函数实现原理

(1)将需要关心的文件描述符放进fds数组中

(2)调用poll函数

(3)函数成功返回后根据返回值遍历fds数组,将关心的事件与结构体中的revents相与判断事件是否就绪。

(4)事件就绪执行相关操作。

poll实现tcpsocket代码

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
#include<stdio.h>
#include<stdlib.h>
#include<string.h>
#include<sys/types.h>
#include<sys/socket.h>
#include<netinet/in.h>
#include<arpa/inet.h>
#include<poll.h>
static void usage(const char *proc)
{
printf("%s [local_ip] [local_port]\n",proc);
}
int start_up(const char*_ip,int _port)
{
int sock = socket(AF_INET,SOCK_STREAM,0);
if(sock < 0)
{
perror("socket");
return 2;
}
int opt = 1;
setsockopt(sock,SOL_SOCKET,SO_REUSEADDR,&opt,sizeof(opt));
struct sockaddr_in local;
local.sin_family = AF_INET;
local.sin_port = htons(_port);
local.sin_addr.s_addr = inet_addr(_ip);
if(bind(sock,(struct sockaddr*)&local,sizeof(local)) < 0)
{
perror("bind");
return 3;
}
if(listen(sock,10) < 0)
{
perror("listen");
return 4;
}
return sock;
}
int main(int argc, char*argv[])
{
if(argc != 3)
{
usage(argv[0]);
return 1;
}
int sock = start_up(argv[1],atoi(argv[2]));
struct pollfd peerfd[1024];
peerfd[0].fd = sock;
peerfd[0].events = POLLIN;
int nfds = 1;
int ret;
int maxsize = sizeof(peerfd)/sizeof(peerfd[0]);
int i = 1;
int timeout = -1;
for(; i < maxsize; ++i)
{
peerfd[i].fd = -1;
}
while(1)
{
switch(ret = poll(peerfd,nfds,timeout))
{
case 0:
printf("timeout...\n");
break;
case -1:
perror("poll");
break;
default:
{
if(peerfd[0].revents & POLLIN)
{
struct sockaddr_in client;
socklen_t len = sizeof(client);
int new_sock = accept(sock,\
(struct sockaddr*)&client,&len);
printf("accept finish %d\n",new_sock);
if(new_sock < 0)
{
perror("accept");
continue;
}
printf("get a new client\n");
int j = 1;
for(; j < maxsize; ++j)
{
if(peerfd[j].fd < 0)
{
peerfd[j].fd = new_sock;
break;
}
}
if(j == maxsize)
{
printf("to many clients...\n");
close(new_sock);
}
peerfd[j].events = POLLIN;
if(j + 1 > nfds)
nfds = j + 1;
}
for(i = 1;i < nfds;++i)
{
if(peerfd[i].revents & POLLIN)
{
printf("read ready\n");
char buf[1024];
ssize_t s = read(peerfd[i].fd,buf, \
sizeof(buf) - 1);
if(s > 0)
{
buf[s] = 0;
printf("client say#%s",buf);
fflush(stdout);
peerfd[i].events = POLLOUT;
}
else if(s <= 0)
{
close(peerfd[i].fd);
peerfd[i].fd = -1;
}
else
{

}
}//i != 0
else if(peerfd[i].revents & POLLOUT)
{
char *msg = "HTTP/1.0 200 OK \
<\r\n\r\n<html><h1> \
yingying beautiful \
</h1></html>\r\n";
write(peerfd[i].fd,msg,strlen(msg));
close(peerfd[i].fd);
peerfd[i].fd = -1;
}
else
{
}
}//for
}//default
break;
}
}
return 0;
}

客户端同上。

poll函数的优缺点

优点:

(1)不要求计算最大文件描述符+1的大小。

(2)应付大数量的文件描述符时比select要快。

(3)没有最大连接数的限制是基于链表存储的。

缺点:

(1)大量的fd数组被整体复制于内核态和用户态之间,而不管这样的复制是不是有意义。

(2)同select相同的是调用结束后需要轮询来获取就绪描述符。

I/O多路复用之epoll函数

epoll函数预备知识

epoll函数是多路复用IO接口select和poll函数的增强版本。显著减少程序在大量并发连接中只有少量活跃的情况下CPU利用率,他不会复用文件描述符集合来传递结果,而迫使开发者每次等待事件之前都必须重新设置要等待的文件描述符集合,另外就是获取事件时无需遍历整个文件描述符集合,只需要遍历被内核异步唤醒加入ready队列的描述符集合就行了 。

epoll函数相关系统调用

int epoll_create(int size);

生成一个epoll函数专用的文件描述符,其实是申请一个内核空间,用来存放你想关注的 socket fd 上是否发生以及发生了什么事件。 size 就是你在这个 Epoll fd 上能关注的最大 socket fd 数,大小自定,只要内存足够。

int epoll_ctl(int epfd, int op, int fd, struct epoll_event *event );

控制文件描述符上的事件,包括注册,删除,修改等操作。

epfd : epoll的专用描述符。

op : 相关操作,通常用以下宏来表示

event : 通知内核需要监听的事件,

EPOLL_CTL_ADD:注册新的fd到epfd中;
EPOLL_CTL_MOD:修改已经注册的fd的监听事件;
EPOLL_CTL_DEL:从epfd中删除⼀一个fd;

fd : 需要监听的事件。结构体格式如下:

events的合法参数如下

EPOLLIN :表示对应的文件描述符可以读(包括对端SOCKET正常关闭);

EPOLLOUT:表示对应的文件描述符可以写;

EPOLLPRI:表示对应的文件描述符有紧急的数据可读(这⾥里应该表⽰示有带外数据到来);

EPOLLERR:表示对应的文件描述符发生错误;

EPOLLHUP:表示对应的文件描述符被挂断;

EPOLLET: 将EPOLL设为边缘触发(Edge Triggered)模式,这是相对于⽔水平触发(Level Triggered)来说的。
EPOLLONESHOT:只监听⼀一次事件,当监听完这次事件之后,如果还需要继续监听这个socket的话,需要再次把这个socket加⼊入到EPOLL队列里。

int epoll_wait(int epfd, struct epoll_event * events, int maxevents, int timeout);

epfd : epoll特有的文件描述符

events :从内核中的就绪队列中拷贝出就绪的文件描述符。不可以是空指针,内核只负责将数据拷贝到这里,不会为我们开辟空间。

maxevent : 高速内核events有多大,一般不能超过epoll_create传递的size,

timeout : 函数超时时间,0表示非阻塞式等待,-1表示阻塞式等待,函数返回0表示已经超时。

  • epoll函数底层实现过程

首先epoll_create创建一个epoll文件描述符,底层同时创建一个红黑树,和一个就绪链表;红黑树存储所监控的文件描述符的节点数据,就绪链表存储就绪的文件描述符的节点数据;epoll_ctl将会添加新的描述符,首先判断是红黑树上是否有此文件描述符节点,如果有,则立即返回。如果没有, 则在树干上插入新的节点,并且告知内核注册回调函数。当接收到某个文件描述符过来数据时,那么内核将该节点插入到就绪链表里面。epoll_wait将会接收到消息,并且将数据拷贝到用户空间,清空链表。对于LT模式epoll_wait清空就绪链表之后会检查该文件描述符是哪一种模式,如果为LT模式,且必须该节点确实有事件未处理,那么就会把该节点重新放入到刚刚删除掉的且刚准备好的就绪链表,epoll_wait马上返回。ET模式不会检查,只会调用一次

  • epoll实现tcpsocket代码
    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    12
    13
    14
    15
    16
    17
    18
    19
    20
    21
    22
    23
    24
    25
    26
    27
    28
    29
    30
    31
    32
    33
    34
    35
    36
    37
    38
    39
    40
    41
    42
    43
    44
    45
    46
    47
    48
    49
    50
    51
    52
    53
    54
    55
    56
    57
    58
    59
    60
    61
    62
    63
    64
    65
    66
    67
    68
    69
    70
    71
    72
    73
    74
    75
    76
    77
    78
    79
    80
    81
    82
    83
    84
    85
    86
    87
    88
    89
    90
    91
    92
    93
    94
    95
    96
    97
    98
    99
    100
    101
    102
    103
    104
    105
    106
    107
    108
    109
    110
    111
    112
    113
    114
    115
    116
    117
    118
    119
    120
    121
    122
    123
    124
    125
    126
    127
    128
    129
    130
    131
    132
    133
    134
    135
    136
    137
    138
    139
    #include<stdio.h>
    #include<sys/types.h>
    #include<sys/socket.h>
    #include<netinet/in.h>
    #include<arpa/inet.h>
    #include<stdlib.h>
    #include<string.h>
    #include<sys/epoll.h>
    static Usage(const char* proc)
    {
    printf("%s [local_ip] [local_port]\n",proc);
    }
    int start_up(const char*_ip,int _port)
    {
    int sock = socket(AF_INET,SOCK_STREAM,0);
    if(sock < 0)
    {
    perror("socket");
    exit(2);
    }
    struct sockaddr_in local;
    local.sin_family = AF_INET;
    local.sin_port = htons(_port);
    local.sin_addr.s_addr = inet_addr(_ip);
    if(bind(sock,(struct sockaddr*)&local,sizeof(local)) < 0)
    {
    perror("bind");
    exit(3);
    }
    if(listen(sock,10)< 0)
    {
    perror("listen");
    exit(4);
    }
    return sock;
    }
    int main(int argc, char*argv[])
    {
    if(argc != 3)
    {
    Usage(argv[0]);
    return 1;
    }
    int sock = start_up(argv[1],atoi(argv[2]));
    int epollfd = epoll_create(256);
    if(epollfd < 0)
    {
    perror("epoll_create");
    return 5;
    }
    struct epoll_event ev;
    ev.events = EPOLLIN;
    ev.data.fd = sock;
    if(epoll_ctl(epollfd,EPOLL_CTL_ADD,sock,&ev) < 0)
    {
    perror("epoll_ctl");
    return 6;
    }
    int evnums = 0;//epoll_wait return val
    struct epoll_event evs[64];
    int timeout = -1;
    while(1)
    {
    switch(evnums = epoll_wait(epollfd,evs,64,timeout))
    {
    case 0:
    printf("timeout...\n");
    break;
    case -1:
    perror("epoll_wait");
    break;
    default:
    {
    int i = 0;
    for(; i < evnums; ++i)
    {
    struct sockaddr_in client;
    socklen_t len = sizeof(client);
    if(evs[i].data.fd == sock \
    && evs[i].events & EPOLLIN)
    {
    int new_sock = accept(sock, \
    (struct sockaddr*)&client,&len);
    if(new_sock < 0)
    {
    perror("accept");
    continue;
    }//if accept failed
    else
    {
    printf("Get a new client[%s]\n", \
    inet_ntoa(client.sin_addr));
    ev.data.fd = new_sock;
    ev.events = EPOLLIN;
    epoll_ctl(epollfd,EPOLL_CTL_ADD,\
    new_sock,&ev);
    }//accept success

    }//if fd == sock
    else if(evs[i].data.fd != sock && \
    evs[i].events & EPOLLIN)
    {
    char buf[1024];
    ssize_t s = read(evs[i].data.fd,buf,sizeof(buf) - 1);
    if(s > 0)
    {
    buf[s] = 0;
    printf("client say#%s",buf);
    ev.data.fd = evs[i].data.fd;
    ev.events = EPOLLOUT;
    epoll_ctl(epollfd,EPOLL_CTL_MOD, \
    evs[i].data.fd,&ev);
    }//s > 0
    else
    {
    close(evs[i].data.fd);
    epoll_ctl(epollfd,EPOLL_CTL_DEL, \
    evs[i].data.fd,NULL);
    }
    }//fd != sock
    else if(evs[i].data.fd != sock \
    && evs[i].events & EPOLLOUT)
    {
    char *msg = "HTTP/1.0 200 OK <\r\n\r\n<html><h1>yingying beautiful </h1></html>\r\n";
    write(evs[i].data.fd,msg,strlen(msg));
    close(evs[i].data.fd);
    epoll_ctl(epollfd,EPOLL_CTL_DEL, \
    evs[i].data.fd,NULL);
    }//EPOLLOUT
    else
    {
    }
    }//for
    }//default
    break;
    }//switch
    }//while
    return 0;
    }

epoll函数的优缺点

优点:

epoll的优点:

(1)支持一个进程打开大数目的socket描述符(FD)

select 最不能忍受的是一个进程所打开的FD是有一定限制的,由FD_SETSIZE设置,默认值是2048。对于那些需要支持的上万连接数目的IM服务器来说显 然太少了。这时候你一是可以选择修改这个宏然后重新编译内核,不过资料也同时指出这样会带来网络效率的下降,二是可以选择多进程的解决方案(传统的 Apache方案),不过虽然linux上面创建进程的代价比较小,但仍旧是不可忽视的,加上进程间数据同步远比不上线程间同步的高效,所以也不是一种完 美的方案。不过 epoll则没有这个限制,它所支持的FD上限是最大可以打开文件的数目,这个数字一般远大于2048,举个例子,在1GB内存的机器上大约是10万左 右,具体数目可以cat /proc/sys/fs/file-max察看,一般来说这个数目和系统内存关系很大。

(2)IO效率不随FD数目增加而线性下降

传统的select/poll另一个致命弱点就是当你拥有一个很大的socket集合,不过由于网络延时,任一时间只有部分的socket是”活跃”的, 但是select/poll每次调用都会线性扫描全部的集合,导致效率呈现线性下降。但是epoll不存在这个问题,它只会对”活跃”的socket进行 操作—这是因为在内核实现中epoll是根据每个fd上面的callback函数实现的。那么,只有”活跃”的socket才会主动的去调用 callback函数,其他idle状态socket则不会,在这点上,epoll实现了一个”伪”AIO,因为这时候推动力在os内核。在一些 benchmark中,如果所有的socket基本上都是活跃的—比如一个高速LAN环境,epoll并不比select/poll有什么效率,相 反,如果过多使用epoll_ctl,效率相比还有稍微的下降。但是一旦使用idle connections模拟WAN环境,epoll的效率就远在select/poll之上了。

(3)使用mmap加速内核与用户空间的消息传递。

这点实际上涉及到epoll的具体实现了。无论是select,poll还是epoll都需要内核把FD消息通知给用户空间,如何避免不必要的内存拷贝就 很重要,在这点上,epoll是通过内核于用户空间mmap同一块内存实现的。而如果你想我一样从2.5内核就关注epoll的话,一定不会忘记手工 mmap这一步的。

(4)内核微调

这一点其实不算epoll的优点了,而是整个linux平台的优点。也许你可以怀疑linux平台,但是你无法回避linux平台赋予你微调内核的能力。 比如,内核TCP/IP协议栈使用内存池管理sk_buff结构,那么可以在运行时期动态调整这个内存pool(skb_head_pool)的大小 — 通过echo XXXX>/proc/sys/net/core/hot_list_length完成。再比如listen函数的第2个参数(TCP完成3次握手 的数据包队列长度),也可以根据你平台内存大小动态调整。更甚至在一个数据包面数目巨大但同时每个数据包本身大小却很小的特殊系统上尝试最新的NAPI网 卡驱动架构。

https://blog.csdn.net/jyy305/article/details/73012706

jupyternotebook导出pdf的中文支持问题

发表于 2019-05-30
本文字数: 584 阅读时长 ≈ 1 分钟

jupyter导出pdf依赖于nbconvert。

nbconvert使用pandoc和latex工具。

pandoc是一个方便的转换工具,支持md 2 doc。

安装

安装完jupyter还要安装pandoc。

sudo apt-get install pandoc

详细参考文档

中文支持的问题

方案一手动

将ipynb编译为tex

ipython nbconvert --to latex Example.ipynb

修改tex,增加中文支持

在\documentclass{article}后面插入

1
2
\usepackage{fontspec, xunicode, xltxtra}
\setmainfont{Microsoft YaHei}

编译tex,生成pdf

xelatex Example.tex

方案二修改模板

在Lib\site-packages\nbconvert\templates\latex\article.tplx中修改\documentclass{ctexart}

已知问题

插入的图片在用xelatex编译时会自动设定为页面宽度。

解决方法:修改tex,加入合适的缩放比例。

\includegraphics{figpath}修改为\includegraphics[scale = .5]{figpath}

安装jupyterlab

发表于 2019-05-27
本文字数: 665 阅读时长 ≈ 1 分钟

简介

jupyterlab是jupyter notebook的升级版。还有一个版本是jupyter hub。hub是多人版。lab功能更多。

安装可以使用pip和conda,由于lab本身就是适合科学计算,实践练习的场景,所以anaconda包含了很多常用包,比较合适。

安装

本人习惯使用debian,以下内容皆在debian下进行。

添加用户

因为安全问题,lab最好运行于普通用户。
adduser name

安装anaconda

官网下载

在conda init后,shell会自动激活环境,如果要关闭自动激活则执行conda config --set auto_activate_base false

安装lab

conda install -c conda-forge jupyterlab

官网文档

安装c++ kernel

conda install -c conda-forge xeus-cling

其它配置

可以运行jupyter lab --ip=0.0.0.0先测试一下,不加ip参数默认为localhost。登陆token在终端内给出。

生成配置文件

jupyter lab --generate-config

在.jupyter/jupyter_notebook_config.py中c.NotebookApp.password设置密码hash值,hash值通过python shell用下面代码计算。

1
2
from notebook.auth import passwd
passwd('your password')

量子近似优化算法

发表于 2019-05-24 更新于 2019-05-25 分类于 quantum computing
本文字数: 0 阅读时长 ≈ 1 分钟
1…141516…26
AIRobot

AIRobot

AIRobot quick note
130 日志
15 分类
23 标签
GitHub E-Mail
Creative Commons
0%
© 2023 AIRobot | 716k | 10:51