뭔가 숫자가 잘 나오는데…
{'loss': 2.1515, 'grad_norm': 1.7810357809066772, 'learning_rate': 0.00016226622662266225, 'mean_token_accuracy': 0.5406712146103382, 'epoch': 0.64}
{'loss': 2.0346, 'grad_norm': 2.157447576522827, 'learning_rate': 0.00015126512651265128, 'mean_token_accuracy': 0.562959048897028, 'epoch': 0.8}
{'loss': 1.9167, 'grad_norm': 2.2220420837402344, 'learning_rate': 0.00014026402640264027, 'mean_token_accuracy': 0.58708152577281, 'epoch': 0.96}
{'loss': 1.6722, 'grad_norm': 2.252610445022583, 'learning_rate': 0.00012926292629262927, 'mean_token_accuracy': 0.6362185156345368, 'epoch': 1.12}
{'loss': 1.5374, 'grad_norm': 2.773275136947632, 'learning_rate': 0.00011826182618261828, 'mean_token_accuracy': 0.6667953333258629, 'epoch': 1.28}
{'loss': 1.4464, 'grad_norm': 2.4418725967407227, 'learning_rate': 0.00010726072607260727, 'mean_token_accuracy': 0.6881154507398606, 'epoch': 1.44}
{'loss': 1.334, 'grad_norm': 2.734701156616211, 'learning_rate': 9.625962596259627e-05, 'mean_token_accuracy': 0.7138661375641823, 'epoch': 1.6}
{'loss': 1.2348, 'grad_norm': 2.780945062637329, 'learning_rate': 8.525852585258526e-05, 'mean_token_accuracy': 0.7382602807879448, 'epoch': 1.76}
{'loss': 1.1775, 'grad_norm': 2.708224296569824, 'learning_rate': 7.425742574257426e-05, 'mean_token_accuracy': 0.7518851125240326, 'epoch': 1.92}
{'loss': 0.9956, 'grad_norm': 3.3614084720611572, 'learning_rate': 6.325632563256326e-05, 'mean_token_accuracy': 0.795958017706871, 'epoch': 2.08}
{'loss': 0.9033, 'grad_norm': 2.9674887657165527, 'learning_rate': 5.225522552255225e-05, 'mean_token_accuracy': 0.8184430652856827, 'epoch': 2.24}
{'loss': 0.8606, 'grad_norm': 2.792252779006958, 'learning_rate': 4.1254125412541255e-05, 'mean_token_accuracy': 0.8285859042406082, 'epoch': 2.4}
{'loss': 0.8363, 'grad_norm': 2.900214910507202, 'learning_rate': 3.0253025302530253e-05, 'mean_token_accuracy': 0.8349002182483674, 'epoch': 2.56}
89%|███████████████████████████████████████████████████████████████████▉ | 1675/1875 [1:01:50<06:54, 2.07s/it] 숫자만 잘 나온건지… 성능도 잘 나올지… 훔….
