fastNLP

25 MB

Tree: 06891cf90a

Author	SHA1	Message	Date
yh_cc	b69f8985c8	1. 在embedding_loader中增加新的读取函数load_with_vocab(), load_without_vocab, 比之前的函数改变主要在(1)不再需要传入embed_dim(2)自动判断当前是word2vec还是glove. 2. vocabulary增加from_dataset(), index_dataset()函数。避免需要多行写index dataset的问题。 3. 在utils中新增一个cache_result()修饰器，用于cache函数的返回值。 4. callback中新增update_every属性	6 years ago
FengZiYjun	6a498bbdf2	* 给vocabulary添加遍历方法	6 years ago
yunfan	52b1b18a76	fix bugs in vocab	7 years ago
FengZiYjun	6427e85e8f	升级Vocab： * 增量添加单词到词典中 * lazy update: 当用到词典的时候才重新build * 当新添加的词导致词典大小超出限制时，打印一个warning Update Vocabulary: * More words can be added after the building. * Lazy update: rebuild automatically when vocab is used. * print warning when max size is reached	7 years ago
FengZiYjun	837bef47dc	* add unit tests for instance, vocabulary * remove and fix other unit tests * add more code comments	7 years ago