1015 德才论 (25分) Python3 无超时优化过程

今天来个吹牛的题，此题在不管你是Google还是百度又或是Git上都无法查到Python3的解题答案。

此题据说公司的高人也否定了此题。认为Python效率问题导致超时case很难过。
So，所以才能吹牛啊~

事先声明牛是要吹的。不过此题最终能做出来，是因为我的领导一步步提供思路才能做出来！所以可以说此题可能除了他，全网无解~牛批！

先来说下这个题：

德才论 是用Python3解 PAT 题目时，第一个遇到的真正难题。难点在于常规写法，总有三个case总是超时~

此题根据输入将考生分为才德全尽、德胜才、德胜才、其他，总分相同时，按其德分降序排列；若德分也并列，则按准考证号的升序输出。但是考生数量为 <= 100000。所以当计算和排序时，因为数量太大，导致了3个超时~

下面是原题：

德才论

宋代史学家司马光在《资治通鉴》中有一段著名的“德才论”：“是故才德全尽谓之圣人，才德兼亡谓之愚人，德胜才谓之君子，才胜德谓之小人。凡取人之术，苟不得圣人，君子而与之，与其得小人，不若得愚人。”

现给出一批考生的德才分数，请根据司马光的理论给出录取排名。

输入格式：

输入第一行给出 3 个正整数，分别为：N（≤10^5），即考生总数；L（≥60），为录取最低分数线，即德分和才分均不低于 L 的考生才有资格被考虑录取；H（<100），为优先录取线——德分和才分均不低于此线的被定义为“才德全尽”，此类考生按德才总分从高到低排序；才分不到但德分到线的一类考生属于“德胜才”，也按总分排序，但排在第一类考生之后；德才分均低于 H，但是德分不低于才分的考生属于“才德兼亡”但尚有“德胜才”者，按总分排序，但排在第二类考生之后；其他达到最低线 L 的考生也按总分排序，但排在第三类考生之后。

随后 N 行，每行给出一位考生的信息，包括：准考证号德分才分，其中准考证号为 8 位整数，德才分为区间 [0, 100] 内的整数。数字间以空格分隔。

输出格式：

输出第一行首先给出达到最低分数线的考生人数 M，随后 M 行，每行按照输入格式输出一位考生的信息，考生按输入中说明的规则从高到低排序。当某类考生中有多人总分相同时，按其德分降序排列；若德分也并列，则按准考证号的升序输出。

输入样例：

14 60 80
10000001 64 90
10000002 90 60
10000011 85 80
10000003 85 80
10000004 80 85
10000005 82 77
10000006 83 76
10000007 90 78
10000008 75 79
10000009 59 90
10000010 88 45
10000012 80 100
10000013 90 99
10000014 66 60

输出样例：

12
10000013 90 99
10000012 80 100
10000003 85 80
10000011 85 80
10000004 80 85
10000007 90 78
10000006 83 76
10000005 82 77
10000002 90 60
10000014 66 60
10000008 75 79
10000001 64 90

时间限制: 400 ms
内存限制: 64 MB
代码长度限制: 16 KB

解题过程

因为本人计算机基础比较渣，可能描述的不够准确。毕竟大学连计算机原理跟高数都没学过的人==！

根据题目按部就班的实现 ↓

正常解法但是超时

# -*- coding: utf-8 -*-
n = input().split()  # 接收第一行输入的三个参数
# 学生人数，最低分，最高分
N, L, H = int(n[0]), int(n[1]), int(n[2])
# 存放四类人才
l1, l2, l3, l4 = [], [], [], []
for i in range(N):
    info = input().split()  # 接收考生信息
    moral_score = int(info[1])  # 德分
    talent_score = int(info[2])  # 才分
    if moral_score >= L and talent_score >= L:
        if moral_score >= H and talent_score >= H:
            l1.append(info)
        elif H <= moral_score:
            l2.append(info)
        elif talent_score <= moral_score:
            l3.append(info)
        else:
            l4.append(info)

# 当某类考生中有多人总分相同时，按其德分降序排列；若德分也并列，则按准考证号的升序输出
# 排序规则
order = lambda x: (-int(int(x[1]) + int(x[2])), -int(x[1]), int(x[0]))

l1 = sorted(l1, key=order)
l2 = sorted(l2, key=order)
l3 = sorted(l3, key=order)
l4 = sorted(l4, key=order)
result = l1 + l2 + l3 + l4
print(len(result))
for i in result:
    print(f'{i[0]} {i[1]} {i[2]}')

此代码运行结果如最开始的运行结果图，肯定会三个超时，如果运气足够好，可能是两个超时~

第一个优化点

优化接收参数过程。将input() 接收参数，此处改为 sys.stdin.readline()

在python3下两者性能差异已经不大，读取大量数据时，sys.stdin.readline 会快不少
input 会默认将每行最后的换行符删除掉，有一定的开销。等同于 sys.stdin.readline.strip()
根据测算 sys.stdin.readline 比 sys.stdin.readline.strip() 快20% （100万数据）
根据测算 sys.stdin.readline 比 input 10倍（100万数据）

把 print 改成 sys.stdout.write 思路类似。

第二个优化点

N, L, H = int(n[0]), int(n[1]), int(n[2]) 因为只运行一次，所以不考虑 int()的开销。
在 for 循环里，将德分和才分转换成了 int 类型。这个转换是需要转 N*2 次。如果我们转换 200000 次，那么开销大概是 0.03 秒~
如果将这个过程改成从字典里取值，那么性能提升大概 53% ~ 70%！！！

看效果

import timeit

print(timeit.timeit('int("1")', number=200000))
print(timeit.timeit('a = {"1": 1};a.get("1")', number=200000))

0.029694400000000003
0.018485100000000004

所以要定义一个大字典 key 是字符串类型的 0 ~ 100，value 是 int 类型的 0 ~ 100。
可以程序运行时生成，score_dict = dict(zip([str(i) for i in range(101)], range(101))) ,但是为了节省时间，直接写死一个字典。

第三个优化点

在判断考生属于哪类人时，没想到有什么可以优化的，需要注意的是，因为不知道case样本是什么样，所以，一上来就先判断得分跟才分是不是高于最低分，好像并不一定能节省时间~

优化存储信息结构(重点)

定义一个三维列表，列表的索引为学生德才总分，所以列表长度为 0 ~ 200。
已知总分相同，德分排序，所以在索引位置创建一个长度 0 ~ 100 的列表。使用时，依然采用分数当索引。
最里层的列表存放德分相同的准考证号。
数据存储完成后，也就完成了排序，且无 append() 操作。

这样的好处在于提前开辟好一个已知大小的空间去存放可能出现的数据，减少列表的 append 操作，append操作本身也是比较耗时的。

之前代码 l1, l2, l3, l4 = [], [], [], [],就改成了

l1 = [[[] for _ in range(101)] for _ in range(201)]
l2 = [[[] for _ in range(101)] for _ in range(201)]
l3 = [[[] for _ in range(101)] for _ in range(201)]
l4 = [[[] for _ in range(101)] for _ in range(201)]

题目要求，先输出达标的人数，然后输出详细信息。
这里需要注意，如果输出时，如最开始代码那样,print实际上是把所有数字都转换成了str，再进行输出，又因为输入信息与输出信息结构相同，所以最好的办法是直接输出完整的学生信息。

在这里创建一个字典，key 为准考证号，value 与输入一致的一行考生信息。

这样遍历多维列表时，最里层的准考证号取出来后，直接去字典里取完整的考生信息输出。

第四个优化点

这个点的优化直接从城乡偶尔超时到基本无超时。
将代码扔到定义的函数中去执行，提升很大。

import time

start = time.time()
a = []
for i in range(100000):
    a.append(i)
print(time.time() - start)

start = time.time()
def test():
    a = []
    for i in range(100000):
        a.append(i)
test()
print(time.time() - start)
# output
# 0.031200170516967773
# 0.015599727630615234

# -*- coding: utf-8 -*-
import sys


def print_result(l):
    for total in l[::-1]:
        if total:
            for d_score in total[::-1]:
                if d_score:
                    for k in sorted(d_score):
                        sys.stdout.write(student.get(k))


def set_result(list, total, d_score, card_no):
    if list[total] == 0:
        list[total] = [0] * 101
        list[total][d_score] = [card_no]
    elif list[total][d_score] == 0:
        list[total][d_score] = [card_no]
    else:
        list[total][d_score].append(card_no)


score_dict = {'0': 0, '1': 1, '2': 2, '3': 3, '4': 4, '5': 5, '6': 6, '7': 7, '8': 8, '9': 9,
              '10': 10, '11': 11, '12': 12, '13': 13, '14': 14, '15': 15, '16': 16, '17': 17,
              '18': 18, '19': 19, '20': 20, '21': 21, '22': 22, '23': 23, '24': 24, '25': 25,
              '26': 26, '27': 27, '28': 28, '29': 29, '30': 30, '31': 31, '32': 32, '33': 33,
              '34': 34, '35': 35, '36': 36, '37': 37, '38': 38, '39': 39, '40': 40, '41': 41,
              '42': 42, '43': 43, '44': 44, '45': 45, '46': 46, '47': 47, '48': 48, '49': 49,
              '50': 50, '51': 51, '52': 52, '53': 53, '54': 54, '55': 55, '56': 56, '57': 57,
              '58': 58, '59': 59, '60': 60, '61': 61, '62': 62, '63': 63, '64': 64, '65': 65,
              '66': 66, '67': 67, '68': 68, '69': 69, '70': 70, '71': 71, '72': 72, '73': 73,
              '74': 74, '75': 75, '76': 76, '77': 77, '78': 78, '79': 79, '80': 80, '81': 81,
              '82': 82, '83': 83, '84': 84, '85': 85, '86': 86, '87': 87, '88': 88, '89': 89,
              '90': 90, '91': 91, '92': 92, '93': 93, '94': 94, '95': 95, '96': 96, '97': 97,
              '98': 98, '99': 99, '100': 100}
n = sys.stdin.readline().split()
N = int(n[0])
Low, High = score_dict[n[1]], score_dict[n[2]]
student = {}


def main():
    l1, l2, l3, l4 = [0] * 201, [0] * 201, [0] * 201, [0] * 201
    for i in range(N):
        input_ = sys.stdin.readline()
        info = input_.split()
        card_no = info[0]
        d_score = score_dict[info[1]]  # 德分
        c_score = score_dict[info[2]]  # 才分
        total = d_score + c_score

        if d_score >= High and c_score >= High:
            set_result(l1, total, d_score, card_no)
            student[card_no] = input_
        elif d_score >= High and c_score >= Low:
            set_result(l2, total, d_score, card_no)
            student[card_no] = input_
        elif d_score >= c_score and c_score >= Low:
            set_result(l3, total, d_score, card_no)
            student[card_no] = input_
        elif d_score >= Low and c_score >= Low:
            set_result(l4, total, d_score, card_no)
            student[card_no] = input_

    print(len(student))
    print_result(l1)
    print_result(l2)
    print_result(l3)
    print_result(l4)


main()

优化后的代码提交基本不会有超时~

如果有兴趣可以自己做一下试试看，代码中还有一些小细节，就不挨个说了。因为我也说不好~

大晚上写了这么多，你又那么好看，给波关注呗~

1015 德才论 (25分) Python3 无超时优化过程

德才论

输入格式：

输出格式：

输入样例：

输出样例：

解题过程

正常解法但是超时

第一个优化点

第二个优化点

第三个优化点

优化存储信息结构(重点)

第四个优化点

AI模型 Llama 3体验笔记

【面试准备】又一次失败的面试经历，题目离谱～资深软件测试工程师

dotnet 8 版本与银河麒麟V10和UOS系统的 glibc 兼容性

一個老測試員對軟件測試理解（需要…

web安全黑盒測試之保證測試的全面…

1015 德才論 (25分) Python3 無超時優化過程

Python批量修改文件後綴名，文件內…

https://yachay.unat.edu.pe/blog/index.php?comment_area=format_blog&comment_component=blog&comment_co

linux以太網驅動總結