2018.12.1-2019.1.4学习总结

总结

• 知识表示论文
• Network representation
• Bert
• TensorFlow
• attention模型
• pyltp
• 结巴分词

12.3

1.看自然语言处理第8章后半部分内容。

2.看高级计算机系统课程的论文（涉及CNN处理优化）

12.4

1.依存分析相关内容。

2.CRF的数学含义理解

12.5

1.英文版中的Dependency Parsing一部分。

2.做ppt准备周五周会讲CRF和依存分析。

3.做了4道python题目。

12.6

1.看自然语言处理第9章内容。

2.看论文做ppt

12.7

1.开周会。

2.继续做完了昨天的论文ppt。

3.刷题6道

12.11

1.看自然语言处理第10章内容。

2.复习之前学的深度学习相关知识，学习tensorflow。

12.12。

1.tf官方教程的概述，图像神经网络，文字神经网络处理部分。

2.准备周五考试

12.14

1.开周会。

2.考试

3.继续看tf的官方教程。

12.16

1.看完tf的tutorial中的ML部分，接下来学习sequence和高阶API

12.17

1.学习统计机器翻译章节的11.1-11.4。主要是噪声信道模型和IBM的5个模型。

2.完成帮管理学院做的数据处理代码，他们的数据比原先说的要复杂一点，比预期多花了点时间。

12.18。

1.看tf中的数据表示法章节。

2.看自然语言处理11.5-11.8

12.19

1.自然语言处理11.9-11.17，准备相应笔记周会讲

12.20

1.写代码

2.准备周会

12.22

1.周会。

2.同门交流会。

3.看自然语言处理第13章分类问题与情感分析

12.24

1.学习自然语言处理第14章”QA系统”。

2.在docker下搭建了pyltp，学习了一下用自带模型的分句、分词、词性标注、依存语法分析等操作。

3.看了一篇介绍从词嵌入到Bert模型的介绍文章。主要提及了Word2vector，ELMO、GPT、transformer、Bert这些历年来常用的预训练相关技术都有什么特点、缺点。

12.25。

1.准备英语口语考试。

2.学习attention注意力模型。

3.看bert的论文

12.26

1.准备英语课笔试。

2.基本看完了Bert的论文，论文主要是在GPT和ELMo的思想上改进结合，利用双向上下文编码表示构建了一个预训练模型（基于masked 和 下句预测的任务训练）。然后针对不同用途进行微调，在自然语言处理标准中的各种问题下都取得的领先的效果。之后准备再看一下其中引用的一些概念、理论。

12.27。

1.准备周会讲的pyltp和bert论文相关内容。

2.修电脑装了ubuntu并安装相关要用的东西。

3.在中国法务网站 和一个 openlaw的网站上找了一些判决书，准备用一些工具试试看

1.2

1.准备明天的两门考试。

2.看github上的bert，它提供了基于中文语言的model和多语言版本的model，都是经过预训练好的，但是针对任务进行调整它推荐要在12gb以上的gpu上跑几个小时，暂时用不了。

3.下载了一些法院的判决书，准备进行处理，想一下要怎么提取出3元关键组RDF来构建一个小规模的知识图谱。

https://mp.weixin.qq.com/s/FU7laVOEboTChNW-fRHW6A 这篇文章里面就是用bert处理的法律领域的二分类问题，在经过少量训练后可以得到一个不错的准确率。

1.3

1.考试。

2.准备明天周会

1.4。

1.开周会。

2.读知识表示论文，写了总结。明天再详细看几个关键的模型