"Rule-Based Models Should Be the Backbone" Interview with Muskaan Chopra

Interview: Elena Müller, GI

Muskaan Chopra and the Lamarr Institute

Elena Müller: Welcome to the German Informatics booth here at IJCAI. Could you introduce yourself and tell us what brought you to this year’s conference?

Muskaan Chopra: Hi, I’m Muskaan, and I’m a PhD candidate at the Lamarr Institute for Machine Learning and Artificial Intelligence. I have a paper here this year, and I’m presenting it: it’s about diabetic retinopathy screening using self-supervised learning.

EM: How was your presentation? Was it helpful to present it here?

MC: Yes, very helpful. It went very well. There were good questions, and I had the chance to discuss my paper with a lot of people here.

EM: Is this your first time at IJCAI, or have you been here before?

MC: Yes, this is my first time.

Hybrid AI and the Return of Rules

EM: Not long ago, rule-based AI, the kind that follows explicit logical rules the way older expert systems did, was considered a dead end. Now there’s renewed interest in hybrid AI systems that combine today’s data-driven learning models with those rule-based approaches. Would you say AI is coming full circle, or are we entering a new phase?

MC: I work in the Hybrid Machine Learning Lab at the Lamarr Institute, where we combine classical principles with today’s data and methods. I’d say we still have a lot more to come. Big firms like Meta, OpenAI, and Anthropic are working toward artificial general intelligence, and people are already collecting data so robots can do daily chores for us, like folding clothes or doing the dishes. I’m excited to see where this goes next, because I think we’re just at the beginning of where AI as a whole is headed.

EM: Can large language models ever replace symbolic reasoning? Will future top-tier models eventually draw logical conclusions and form educated guesses purely from data, or will they always need some kind of rule-based reasoning?

MC: Rule-based systems are still very important in certain settings. LLMs make it easier to predict something or answer questions, but rule-based systems come into play when we want to refine an LLM’s answers. My own work, which I presented here, uses a rule-based system to defer diabetic retinopathy cases to a clinician when the model is likely to be wrong. In a clinical setting, that kind of rule-based safety net matters a great deal.

Reasoning: What’s Still Missing

EM: Where do today’s AI reasoning systems still fall short? Where would you say they most need to improve?

MC: I’ve worked in a few domains, including German to English machine translation, and looked at how a model reasons behind the scenes, what its chain of thought actually looks like. I saw that the model often deflected or failed even at very simple points. There’s still a large scope for improvement in reasoning. The models are not at their peak; they need time and further work.

World Models, Data, and Real-World Constraints

EM: A missing piece often mentioned in this debate is having a working model of the world. Many researchers argue future AI systems will need an internal understanding of how the physical world works. Would you agree that building such an internal world model is essential as a next step?

MC: Yes. Humans think very differently from AI. AI is bound by the data it’s trained on; it can’t naturally go beyond that scope. Humans can think and act beyond what they’ve explicitly seen. Models can “think” in a certain sense today, but world models are important to push large language models further and make them better.

EM: Should this understanding of the world be learned purely from data, or does it need built-in rules and real-world constraints too?

MC: It definitely needs real-world constraints as well. Data matters, everyone is purchasing data at high cost; Google recently acquired an airline company largely for its data, to train models on proprietary customer information. But we also need rule-based, real-world constraints so nothing is misused. What we need are reliable and trustworthy systems. Take the Meta glasses that have been trending recently: there have been many cases of people feeling their privacy invaded by that kind of technology. Constraints and rules really matter in industry.

EM: Can language alone ever teach an AI to truly understand the world, or does it need real, embodied interaction with the world as well?

MC: AI needs embodied interaction with the world too. Robots are being trained to do human chores: people wear headsets that record their actions, or sensors are placed on their joints so their movements can be recorded, whether they’re playing a game or performing some task, and models learn from that how humans do things and how to copy them. Two days ago at the conference dinner, there were robots playing football; they learn actions like that through recorded human movement.

Confidence, Control, and Who Steers the Model

EM: Which type of reasoning do we still struggle with the most, and why?

MC: The biggest challenge I see is that models almost always try to answer something, even when they don’t actually know. They’ll produce a confident response, and when you say that’s not right, they’ll reply that they made a mistake and offer something else instead. They always try to answer, they “want” to satisfy the query. What we really need is a model that only answers when it’s confident and actually knows the answer, ideally with fewer than one percent of cases where it deviates or hallucinates. Right now it’s more like thirty-five to forty percent of cases where the model itself doesn’t know whether it’s answering correctly. That’s where better reasoning and self-knowledge matter a lot.

EM: In a hybrid AI system, should the rule-based part just double-check the output of the data-driven model, or should it actively steer and constrain the whole reasoning process?

MC: I think rule-based models should be the backbone of current large models. As convenient as LLMs are, they become more dangerous without implicit rules guiding their answers. Rule-based models and traditional machine learning systems are no longer complete black boxes, there are many explainable AI techniques that show how they make decisions and what criteria they use. For large language models and other very large models, we’re still working on building explainable systems that show how the model is thinking or answering. So to me, rule-based components should guide and constrain these larger models.

EM: Do you think a purely data-driven model could ever reliably supervise itself without any rule-based oversight?

MC: Not yet. The data space is huge, correct data, incorrect data, restricted data, across images, multimedia, and text. We need rule-based systems to help models reason better over that data and answer more reliably. Rule-based systems are still essential.

AI’s Role in Society

EM: Zooming out to the bigger picture: what should AI’s role be in society? What would be your personal vision, and perhaps your personal dystopia?

MC: When ChatGPT was publicly released in 2022 and 2023, it really changed the landscape, and we’ve seen a lot of major developments in the three years since. Now even very young children talk about AI and how it helps with homework. I think AI should always be there to help people, not make their lives harder. But even with many guardrails, some people still manage to misuse it, creating fake images, morphing faces, editing chats or evidence for legal cases, and so on. That makes it hard to know what to trust: if we have two screenshots or two video clips of an incident and one is AI-generated, the models can now be so good that we can’t easily tell real from fake.

On the other hand, AI is helping people spend more time with their families; they can finish work earlier and work smarter. With proper guardrails and rules, AI can be good for society. The job market is in a transitory period; people are afraid AI will take their jobs, but I also think new jobs will be created because of AI. It might take another year or a year and a half to see whether AI really takes off or whether the bubble bursts. We simply don’t know yet.

EM: Do you see specific sectors that are more likely to benefit from wider deployment of AI?

MC: Healthcare is definitely one. Remote surgeries are now possible: your surgeon might be in another city or country, but using robotics and software they can still operate on you. In my own life, my younger sister uses AI all the time for small things like homework, flashcards, and questions. For IT professionals and data scientists, AI helps with coding, giving them more time to think about better solutions while it handles repetitive work that used to be manual, like data recording and boilerplate code. It saves time and increases productivity for both individuals and companies.

Agents, Research, and the Role of Humans

EM: Right now, a lot of research focuses on single systems and how they score on benchmarks. In the future, AI systems will increasingly act as participants in complex social settings, alongside humans and other AI systems. Should AI research shift from optimizing single systems toward designing and evaluating whole social systems, and how might that interplay look?

MC: We’re already seeing AI agents designed to work together in orchestration, collaborating on tasks. On GitHub, for example, there are now agents that can automatically open a pull request, merge it, and resolve conflicts, all without a human in the loop. That’s where we’re heading in coding and even research workflows. But when it comes to generating truly new ideas, if I ask the best model available today for a new research idea, it still relies on its training data; what it produces won’t be completely new. We still need humans to think of genuinely new directions and propose fundamentally new models. An existing model can’t, by itself, invent a radically better model if the required data or concept isn’t already present in some form.

EM: So what would you say is the role of humans in AI, developing new models, working on benchmarks, something else?

MC: Humans need to think of new things, because we can come up with original ideas. The human brain is complex enough to imagine work that hasn’t been done before, while a model’s “thinking” is constrained by data and scenarios. If I’ve been using ChatGPT for six months, it has my history and can quickly gather context and combine that with what’s on the web or in its training data to give me something well-formulated. But if I want to think truly out of the box, that still has to come from a human.

EM: Which disciplines do you think AI researchers should collaborate more with? Sociology is an obvious one for social settings. Are there others that should be more intertwined with AI research?

MC: Healthcare is a primary one right now; it’s booming with AI. There are even articles suggesting radiology departments could be run ninety percent by AI in the future, with AI performing and analyzing X-rays, CT scans, and MRIs, and only a single human at the end to double-check reports before they reach patients. Many processes are being automated to make the work easier for doctors and clinicians, and I think that should remain a major focus area for AI.

AI in Healthcare: Promise and Risk

EM: Could you share a very positive example of AI in health, and also an example that shows why we have to be cautious when using AI in healthcare?

MC: A very positive example for me is robotic surgery, it’s personal, since my mother had one. I was amazed that a surgeon could operate robotically with only minor incisions that heal in two to four days, where it would otherwise have required many stitches. It’s also nice to see doctors themselves learning to operate robots and moving into more technical, engineering-oriented roles after their medical degrees.

On the risk side, I’ll use the problem I worked on: diabetic retinopathy. It has five grades, from zero to four, where zero is healthy and four is the worst, and this is actually a continuum rather than clean, separate categories. Moving from grade zero to one, the differences can be very subtle. A model might easily distinguish between zero and four, but for the in-between cases, one, two, and three, it can get confused; a borderline case that should be class two might be classified as one or three because the severity is hard to pin down. If AI misinterprets a case like that with no clinician in the loop, that can be hazardous for patients.

Closing Thoughts: Explainability and Smaller Models

EM: Is there anything you feel was missing from our conversation that you’d like to add? Feel free to plug your research further.

MC: Thank you for having me, I really enjoyed this conversation. One thing I’d emphasize is that we should work more on understanding how AI models work under the hood, analyzing decision patterns and how decisions are actually formed. Another direction is scaling models down so they’re less dependent on large, expensive hardware. Not everyone can afford a big GPU machine to run models, so small models should still be able to solve complex tasks. A lot of people are already working on this, and I hope we’ll see more progress there soon.

Transcribed and revised with Otter.ai