Li du: Li Du Novels | Series

Li Du — Антология ACL

2022

pdf нагрудник abs
e-CARE: новый набор данных для изучения объяснимых причинно-следственных связей
Li Du | Сяо Дин | Кай Сюн | Тинг Лю | Бин Цинь
Материалы 60-го Ежегодного собрания Ассоциации компьютерной лингвистики (Том 1: Длинные статьи)

Понимание причинно-следственных связей имеет жизненно важное значение для различных приложений обработки естественного языка (NLP). Помимо помеченных случаев, концептуальные объяснения причинности могут обеспечить глубокое понимание причинного факта, чтобы облегчить процесс причинного рассуждения. Однако такая информация для объяснения по-прежнему отсутствует в существующих ресурсах каузальных рассуждений. В этой статье мы заполняем этот пробел, представляя аннотированный человеком объяснимый набор данных CAUSAL REasoning (e-CARE), который содержит более 20 000 вопросов на причинно-следственные рассуждения вместе с объяснениями причинно-следственных вопросов, сформированными на естественном языке. Экспериментальные результаты показывают, что генерирование достоверных объяснений причинно-следственных фактов по-прежнему остается особенно сложной задачей для современных моделей, и информация об объяснении может быть полезна для повышения точности и стабильности моделей причинно-следственных рассуждений.

pdf нагрудник абс
Модель BERT с графическим расширением для прогнозирования событий
Li Du | Сяо Дин | Юэ Чжан | Тинг Лю | Бинг Цинь
Выводы Ассоциации компьютерной лингвистики: ACL 2022

Прогнозирование последующего события для существующего контекста события — важная, но сложная задача, поскольку она требует понимания лежащих в основе взаимосвязей между событиями. Предыдущие методы предлагают извлекать реляционные признаки из графа событий, чтобы улучшить моделирование корреляции событий. Однако разреженность графа событий может ограничивать получение соответствующей графической информации и, следовательно, влиять на производительность модели. Чтобы решить эту проблему, мы рассматриваем автоматическое построение графа событий с использованием модели BERT. С этой целью мы включаем в BERT дополнительную структурированную переменную, чтобы научиться предсказывать связи событий в процессе обучения. Следовательно, в процессе тестирования связь связи для невидимых событий может быть предсказана с помощью структурированной переменной. Результаты предсказания двух событий задачи: предсказание событий сценария и предсказание окончания истории, показывают, что наш подход может превзойти современные базовые методы.

pdf нагрудник abs
Скрытая изменчивость состояния предварительно обученных языковых моделей может направлять сокращение вычислений для трансферного обучения
Шуо Се | Цзяхао Цю | Анкита Пасад | Ли Ду | Цин Цюй | Hongyuan Mei
Выводы Ассоциации вычислительной лингвистики: EMNLP 2022

При переносе предварительно обученной языковой модели распространенные подходы обычно прикрепляют свои классификаторы для конкретных задач к верхнему уровню и адаптируют все предварительно обученные слои. Мы исследуем, можно ли сделать выбор для конкретной задачи, какое подмножество слоев адаптировать и где разместить классификатор. Цель состоит в том, чтобы снизить вычислительную стоимость методов трансферного обучения (например, точной настройки или настройки адаптера) без ущерба для его производительности. Мы предлагаем выбирать слои на основе изменчивости их скрытых состояний с учетом корпуса для конкретной задачи. Мы говорим, что слой уже «хорошо специализирован» в задаче, если внутриклассовая изменчивость его скрытых состояний низка по сравнению с межклассовой изменчивостью. Наша метрика изменчивости проста в вычислении и не требует обучения или настройки гиперпараметров. Он устойчив к дисбалансу данных и дефициту данных. Обширные эксперименты с эталонным тестом GLUE показывают, что выбор слоев на основе нашей метрики может обеспечить значительно более высокую производительность, чем использование того же количества верхних слоев, и часто соответствует производительности тонкой настройки или настройки адаптера всей языковой модели.

pdf нагрудник abs
CogBERT: Предварительно обученные языковые модели, управляемые познанием
Сяо Дин | Боуэн Чен | Ли Ду | Бин Цинь | Ting Liu
Proceedings of the 29th International Conference on Computational Linguistics

Мы изучаем проблему интеграции сигналов обработки когнитивного языка (например, данных отслеживания взгляда или данных ЭЭГ) в предварительно обученные языковые модели, такие как BERT. Существующие методы обычно точно настраивают предварительно обученные модели на когнитивных данных, игнорируя семантический разрыв между текстами и когнитивными сигналами. Чтобы восполнить этот пробел, мы предлагаем CogBERT, структуру, которая может создавать детализированные когнитивные функции из когнитивных данных и включать когнитивные функции в BERT, адаптивно регулируя вес когнитивных функций для различных задач НЛП. Обширные эксперименты показывают, что: (1) Предварительно обученные модели, управляемые познанием, могут стабильно работать лучше, чем базовые предварительно обученные модели, в десяти задачах НЛП. (2) Различные когнитивные функции по-разному влияют на разные задачи НЛП. Основываясь на этом наблюдении, мы даем подробное объяснение того, почему когнитивные данные полезны для НЛП. (3) Различные слои преобразователя предварительно обученных моделей должны кодировать разные когнитивные функции, с когнитивными функциями на уровне слов внизу и когнитивными функциями на семантическом уровне вверху. (4) Визуализация внимания демонстрирует, что CogBERT согласуется с моделями человеческого взгляда и улучшает его способность понимать естественный язык.

pdf нагрудник abs
ReCo: надежное обоснование причинно-следственной цепи с помощью структурно-каузальных рекуррентных нейронных сетей
Кай Сюн | Сяо Дин | Чжунъян Ли | Ли Ду | Тинг Лю | Бин Цинь | И Чжэн | Baoxing Huai
Материалы конференции 2022 года по эмпирическим методам обработки естественного языка

Рассуждения по цепочке причинно-следственных связей (CCR) — важная способность для многих систем ИИ, принимающих решения, которая требует, чтобы модель создавала надежные причинно-следственные цепочки, соединяя причинно-следственные пары. Однако CCR страдает от двух основных транзитивных проблем: порогового эффекта и дрейфа сцены. Другими словами, причинно-следственные пары, подлежащие сращиванию, могут иметь конфликтующую пороговую границу или сценарий. Для решения этих проблем мы предлагаем новую структуру обоснования надежной причинно-следственной цепи (ReCo), которая вводит экзогенные переменные для представления пороговых и сценарных факторов каждого из них. причинно-следственная пара в причинно-следственной цепи и оценивает пороговые и сценарные противоречия между экзогенными переменными с помощью структурно-каузальных рекуррентных нейронных сетей (SRNN). Эксперименты показывают, что ReCo превосходит ряд сильных базовых показателей на китайских и английских наборах данных CCR. Более того, вводя надежные знания о причинно-следственных цепочках, полученные ReCo, BERT может добиться более высоких результатов в четырех нижестоящих задачах, связанных с причинно-следственными связями, чем модели BERT, дополненные другими видами знаний.

2021

pdf нагрудник абс
ExCAR: Расширенные знания графа событий Объяснимые причинно-следственные связи
Ли Ду | Сяо Дин | Кай Сюн | Тинг Лю | Бинг Цинь
Материалы 59-го ежегодного собрания Ассоциации компьютерной лингвистики и 11-й Международной объединенной конференции по обработке естественного языка (Том 1: Длинные статьи)

Предыдущая работа выводит причинно-следственную связь между событиями, в основном на основе знаний, полученных из аннотированных причинно-следственные пары. Однако дополнительная доказательная информация, промежуточная по отношению к причине и следствию, остается неиспользованной. Включив такую ​​информацию, можно раскрыть логический закон, лежащий в основе причинности, и можно улучшить интерпретируемость и стабильность системы причинных рассуждений. Чтобы облегчить это, мы представляем E Знания вентиляционного графика расширены e x читаемый CA Стандартный R ( ExCAR ). ExCAR сначала получает дополнительную информацию о доказательствах из крупномасштабного графа причинных событий в качестве логических правил для причинно-следственных рассуждений. Чтобы изучить условную вероятностность логических правил, мы предлагаем условную марковскую нейронную логическую сеть (CMNLN), которая сочетает в себе изучение представлений и структурное изучение логических правил сквозным дифференцируемым образом. Экспериментальные результаты показывают, что ExCAR превосходит предыдущие современные методы. Состязательная оценка показывает улучшенную стабильность ExCAR по сравнению с базовыми системами. Оценка человека показывает, что ExCAR может достигать многообещающих объяснимых результатов.

pdf нагрудник абс
Изучение графа событий для абдуктивных рассуждений
Ли Ду | Сяо Дин | Тинг Лю | Бинг Цинь
Материалы 59-го ежегодного собрания Ассоциации компьютерной лингвистики и 11-й Международной объединенной конференции по обработке естественного языка (Том 1: Длинные статьи)

Абдуктивное рассуждение направлено на вывод наиболее правдоподобного объяснения наблюдаемых событий, которые могли бы быть воспроизведены. критические роли в различных приложениях НЛП, таких как понимание прочитанного и ответы на вопросы. Чтобы облегчить эту задачу, предлагается задача абдуктивного рассуждения на основе повествовательного текста 𝛼NLI вместе с исследованиями по созданию структуры рассуждений с использованием предварительно обученных языковых моделей. Однако обильные знания здравого смысла о событиях недостаточно хорошо используются для этой задачи. Чтобы восполнить этот пробел, мы предлагаем модель ege-RoBERTa, основанную на вариационном автоэнкодере, в которой используется скрытая переменная для получения необходимых знаний здравого смысла из графа событий для управления задачей абдуктивного рассуждения. Экспериментальные результаты показывают, что благодаря изучению графа внешних событий наш подход превосходит базовые методы в задаче 𝛼NLI.

pdf нагрудник абс
Нейронный естественный логический вывод для ответов на интерпретируемые вопросы
Цзихао Ши | Сяо Дин | Ли Ду | Тинг Лю | Бинг Цинь
Материалы конференции 2021 года по эмпирическим методам обработки естественного языка

Многие проблемы с ответами на вопросы в открытой области могут быть представлены как задача текстового следствия, где вопрос и варианты ответов объединяются для формирования гипотез. Затем система обеспечения качества определяет, влекут ли за собой гипотезы вспомогательные базы знаний, рассматриваемые как потенциальные предпосылки. В этой статье мы исследуем нейронно-символический подход к обеспечению качества, который интегрирует естественные логические рассуждения в архитектуры глубокого обучения для разработки эффективных и в то же время объяснимых моделей ответов на вопросы. Предлагаемая модель постепенно соединяет гипотезу и предпосылки-кандидаты, следуя шагам естественного логического вывода, чтобы построить пути доказательства. Оценка влечения между полученными промежуточными гипотезами и предпосылками-кандидатами измеряется, чтобы определить, влечет ли за собой предпосылка гипотезу. Поскольку процесс рассуждений естественной логики образует древовидную иерархическую структуру, мы помещаем гипотезы и предпосылки в гиперболическое пространство, а не в евклидово пространство, чтобы получить более точные представления. Эмпирически наш метод превосходит предыдущую работу по ответам на научные вопросы с несколькими вариантами ответов, достигая наилучших результатов на двух общедоступных наборах данных. Процесс естественного логического вывода по своей сути предоставляет доказательства, помогающие объяснить процесс предсказания.

2019

pdf нагрудник abs
Моделирование фона события для рассуждений на основе здравого смысла с использованием контекстно-зависимого вариационного автоэнкодера
Li Du | Сяо Дин | Тинг Лю | Zhongyang Li
Материалы конференции 2019 года по эмпирическим методам обработки естественного языка и 9-й Международной объединенной конференции по обработке естественного языка (EMNLP-IJCNLP)

Понимание событий и основанных на событиях рассуждений на основе здравого смысла имеют решающее значение для обработки естественного языка (NLP). Учитывая наблюдаемое событие, человеку легко сделать вывод о его намерениях и последствиях, в то время как этот тип рассуждений «если-то» по-прежнему остается сложным для систем НЛП. Чтобы облегчить это, предлагается набор данных для рассуждений на основе здравого смысла Atomic «Если-тогда» вместе с моделью Seq2Seq на основе RNN для проведения таких рассуждений.